iLogtail

1756
下载
iLogtail 是阿里云日志服务(Log Service)中的一款高性能、可扩展的日志采集工具。它被设计用于实时收集、解析和传输各类日志数据,支持多种数据源和复杂的日志处理场景,广泛应用于分布式系统、Web 服务器、应用程序等环境中的日志管理。

Kafka


简介

service_kafka input插件实现了ServiceInputV1ServiceInputV2接口,插件用于采集Kafka的消息。

版本

Stable

配置参数

参数类型是否必选说明
TypeString插件类型,指定为service_kafka
FormatStringilogtail 1.6.0新增,仅ServiceInputV2支持。v2版本支持格式:raw, prometheus, otlp_metricv1otlp_tracev1
说明:raw格式以原始请求字节流传输数据,默认值:raw
VersionStringKafka集群版本号。
BrokersArrayKafka服务器地址列表。
ConsumerGroupStringKafka消费组名称。
TopicsArray待消费的Kafka订阅主题列表。
ClientIDString消费Kafka的用户ID。
OffsetStringKafka初始消费位移类型,可选值包括:oldest和newest。如果未添加该参数,则默认使用oldest,表示从最早可用的位移处开始消费。
MaxMessageLen(Deprecated)IntegerKafka消息的最大允许长度,单位为字节,取值范围为:1~524288。如果未添加该参数,则默认使用524288,即512KB。 ilogtail 1.6.0不再使用此参数
SASLUsernameStringSASL用户名。
SASLPasswordStringSASL密码。
AssignorString消费组消费分区分配策略。可以设置选项:range, roundrobin, sticky,默认值:range
DisableUncompressBooleanilogtail 1.6.0新增,禁用对于请求数据的解压缩, 默认取值为:false
目前仅针对Raw Format有效
仅v2版本有效
FieldsExtendBoolean是否支持非integer以外的数据类型(如String)
目前仅针对有 String、Bool 等额外类型的 influxdb Format 有效,仅v2版本有效

样例

采集服务器地址为172.xx.xx.48和172.xx.xx.34、主题为topicA和topicB的Kafka消息,并将采集结果输出至标准输出,其中Kafka集群的版本为2.1.1,消费组的名称为test-group,其余取默认值。

  • 输入
{"payload":"foo"}

采集配置(v1)

enable: true
inputs:
- Type: service_kafka
Version: 2.1.1
Brokers:
- 172.xx.xx.48
- 172.xx.xx.34
ConsumerGroup: test-group
Topics:
- topicA
- topicB
ClientID: sls
flushers:
- Type: flusher_stdout
OnlyStdout: true
  • 输出
{"payload":"foo"}

采集配置(v2)

v2ilogtail 1.6.0新增的实现,主要是支持配置Format指定一些特定的数据格式化方式raw, prometheus, otlp_metricv1otlp_tracev1
其它配置变更可查看【配置参数】表。如果没有特殊的需求,使用默认的v1即可。

enable: true
version: v2
inputs:
- Type: service_kafka
Version: 2.1.1
Brokers:
- 172.xx.xx.48
- 172.xx.xx.34
ConsumerGroup: test-group
Topics:
- topicA
- topicB
ClientID: sls
flushers:
- Type: flusher_stdout
OnlyStdout: true
  • 输出
{"eventType":"byteArray","name":"","timestamp":0,"observedTimestamp":0,"tags":{},"byteArray":"{\"payload \": \"foo \"}"}

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32