LoongCollector

1758
下载
LoongCollector 源自阿里云可观测性团队所开源的 iLogtail 项目,在继承了 iLogtail 强大的日志采集与处理能力的基础上,进行了全面的功能升级与扩展。从原来单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。 LoongCollector 是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。愿景是:打造业界领先的“统一可观测 Agent(Unified Observability Agent)”与“端到端可观

采集配置


LoongCollector流水线是通过采集配置文件来定义的,每一个采集配置文件对应一条流水线。

格式

采集配置文件支持json和yaml文件格式,每个采集配置的一级字段如下:

参数类型是否必填默认值说明
enablebooltrue是否使用当前配置。
globalobject全局配置。
global.StructureTypestringv1流水线版本为v1或v2。
global.InputIntervalMsint1000MetricInput采集间隔,单位毫秒。
global.InputMaxFirstCollectDelayMsint10000MetricInput启动后, 第一次采集随机等待时长上限,如果采集间隔更小,则以采集间隔为准
global.EnableTimestampNanosecondboolfalse否启用纳秒级时间戳,提高时间精度。
inputs[object]/输入插件列表。目前只允许使用1个输入插件。
processors[object]处理插件列表。
aggregators[object]聚合插件列表。目前最多只能包含1个聚合插件,所有输出插件共享。
flushers[object]/输出插件列表。至少需要包含1个输出插件。
extenstions[object]扩展插件列表。

其中,inputs、processors、aggregators、flushers和extenstions中可包含任意数量的插件

组织形式

本地的采集配置文件默认均存放在./config/local目录下,每个采集配置一个文件,文件名即为采集配置的名称。

热加载

采集配置文件支持热加载,当您在./config/local目录下新增或修改已有配置文件,iLogtail将自动感知并重新加载配置。生效等待时间最长默认为10秒,可通过启动参数config_scan_interval进行调整。

示例

一个典型的采集配置如下所示:

enable: true
inputs:
- Type: input_file
FilePaths:
- /home/test-log/reg.log
processors:
- Type: processor_parse_regex_native
SourceKey: content
Regex: (\d*-\d*-\d*)\s(.*)
Keys:
- time
- msg
flushers:
- Type: flusher_stdout
OnlyStdout: true

其它常见的采集配置可参考example_config目录.


observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32