iLogtail

1752
下载
iLogtail 是阿里云日志服务(Log Service)中的一款高性能、可扩展的日志采集工具。它被设计用于实时收集、解析和传输各类日志数据,支持多种数据源和复杂的日志处理场景,广泛应用于分布式系统、Web 服务器、应用程序等环境中的日志管理。

ClickHouse


简介

flusher_clickhouse flusher插件可以实现将采集到的数据,经过处理后,发送到 ClickHouse,需要 ClickHouse 版本至少为 22.3

版本

Alpha

配置参数

参数类型是否必选说明
AddressesString数组ClickHouse 地址
ConvertStructilogtail数据转换协议配置
Convert.ProtocolStringilogtail数据转换协议,kafka flusher 可选值:custom_single,otlp_log_v1。默认值:custom_single
Convert.EncodingStringilogtail flusher数据转换编码,可选值:jsonnoneprotobuf,默认值:json
Convert.TagFieldsRenameMap对日志中tags中的json字段重命名
Convert.ProtocolFieldsRenameMapilogtail日志协议字段重命名,可当前可重命名的字段:contents,tagstime
AuthenticationStructClickhouse 连接访问认证配置
Authentication.PlainText.UsernameStringClickHouse 用户名
Authentication.PlainText.PasswordStringClickHouse 密码
Authentication.PlainText.DatabaseString插入数据目标数据库名称
Authentication.TLS.EnabledBoolean是否启用 TLS 安全连接,
Authentication.TLS.CAFileStringTLS CA 根证书文件路径
Authentication.TLS.CertFileStringTLS 连接证书文件路径
Authentication.TLS.KeyFileStringTLS 连接私钥文件路径
Authentication.TLS.MinVersionStringTLS 支持协议最小版本,可选配置:1.0, 1.1, 1.2, 1.3,默认:1.2
Authentication.TLS.MaxVersionStringTLS 支持协议最大版本,可选配置:1.0, 1.1, 1.2, 1.3,默认采用:crypto/tls支持的版本,当前1.3
ClusterString数据库对应集群名称
TableString插入数据目标 null engine 数据表名称
MaxExecutionTimeInt单次请求最长执行时间,默认 60 秒
DialTimeoutStringDial 超时时间,默认 10 秒
MaxOpenConnsInt最大连接数,默认 5
MaxIdleConnsInt连接池连接数,默认 5
ConnMaxLifetimeString连接维持最大时长,默认 10 分钟
BufferNumLayersIntBuffer 缓冲区数量,默认 16
BufferMinTimeInt缓冲区数据刷新限制条件 min_time,默认 10
BufferMaxTimeInt缓冲区数据刷新限制条件 max_time,默认 100
BufferMinRowsInt缓冲区数据刷新限制条件 min_rows,默认 10000
BufferMaxRowsInt缓冲区数据刷新限制条件 max_rows,默认 1000000
BufferMinBytesInt缓冲区数据刷新限制条件 min_bytes,默认 10000000
BufferMaxBytesInt缓冲区数据刷新限制条件 max_bytes,默认 100000000
CompressionString压缩方式,默认 lz4,可选 none/gzip/deflate/lz4/br/zstd

样例

采集/home/test-log/路径下的所有文件名匹配*.log规则的文件,并将采集结果发送到 ClickHouse。

enable: true
inputs:
- Type: input_file
FilePaths:
- /home/test-log/*.log
flushers:
- Type: flusher_clickhouse
Addresses:
- 192.XX.XX.1:9092
- 192.XX.XX.2:9092
Authentication:
PlainText:
Database: default
Username: user
Password: 123456
Table: demo

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32