LoongCollector

1758
下载
LoongCollector 源自阿里云可观测性团队所开源的 iLogtail 项目,在继承了 iLogtail 强大的日志采集与处理能力的基础上,进行了全面的功能升级与扩展。从原来单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。 LoongCollector 是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。愿景是:打造业界领先的“统一可观测 Agent(Unified Observability Agent)”与“端到端可观

系统参数


LoongCollector启动时,会加载loongcollector_config.json配置文件,该配置文件指定了iLogtail正常运行的一些基本配置项。

参数列表

参数类型说明
cpu_usage_limitdoubleCPU使用阈值,以单核计算。取值范围:0.1~当前机器的CPU核心数
警告 cpu_usage_limit为软限制,实际iLogtail占用的CPU可能超过限制值,超限5分钟后将触发熔断保护,iLogtail自动重启。
例如设置为0.4,表示日志服务将尽可能限制 iLogtail 的CPU使用为CPU单核的40%,超出后 iLogtail 自动重启。
mem_usage_limitInt内存使用阈值。
警告 mem_usage_limit为软限制,实际iLogtail占用的内存可能超过限制值,超限5分钟后将触发熔断保护,Logtail自动重启。
default_access_key_idString写入 SLSaccess_id,需要具备写入权限。
default_access_keyString写入 SLSaccess_key,需要具备写入权限。
config_scan_intervalInt本地配置热加载的更新间隔,单位为秒。
data_server_portInt用于控制 flusher_slsSLS 发送的协议类型。

取值范围:443(默认),表示使用 HTTPS 协议发送;80表示使用 HTTP 协议发送。
如果使用SLS内网域名写入,建议使用HTTP协议发送,提高传输性能。
send_running_statusBool为了更好的了解 iLogtail 的使用情况,以便做出更有针对性的发展规划,iLogtail 会上报一些脱敏后的运行统计信息。您也可以手动关闭此开关。
host_path_blacklistString全局主机路径黑名单,黑名单为子串匹配,Linux下多个子串以:分隔,Windows下以;分隔。比如禁止采集NAS挂载,可以配置为/volumes/kubernetes.io~csi/nas-
metrics_report_methodString自身指标输出方式。默认为空,即不输出指标。
当前支持的值:file:每分钟将指标输出到ilogtail运行目录下的self_metrics目录,文件格式为self-metrics-&{time}.json,最多保留60个指标文件(即1小时的数据)。该方式适合本地调试使用。
ebpf.receive_event_chan_capInt用于接收内核事件的队列大小,默认为 4096
ebpf.admin_config.debug_modeBool是否开启 ebpf debug 模式,默认为 false
ebpf.admin_config.log_levelStringebpf 相关的日志级别,包括 info warn 和 debug,默认为 warn

典型配置

{
"default_access_key_id": "",
"default_access_key": "",
"cpu_usage_limit" : 0.4,
"mem_usage_limit" : 384
}
{
"ebpf": {
"receive_event_chan_cap": 4096,
"admin_config": {
"debug_mode": false,
"log_level": "warn"
}
}
}

环境变量

containerd runtime相关环境变量配置

参数类型说明
CONTAINERD_SOCK_PATHString自定义containerd sock路径,非必选。默认为/run/containerd/containerd.sock。自定义取值可以通过查看/etc/containerd/config.toml grpc.address字段获取。
CONTAINERD_STATE_DIRString自定义containerd 数据目录,非必选。自定义取值可以通过查看/etc/containerd/config.toml state字段获取。
LOGTAIL_LOG_LEVELString用于控制/apsara/sls/ilogtail和golang插件的日志等级,支持通用日志等级,如trace, debug,info,warning,error,fatal

因为k8s本身自带资源限制的功能,所以如果你要将ilogtail部署到k8s中,可以通过将cpu_usage_limitmem_usage_limit 设置为一个很大的值(比如99999999),以此来达到“关闭”ilogtail自身熔断功能的目的。


observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32