LoongCollector

1758
下载
LoongCollector 源自阿里云可观测性团队所开源的 iLogtail 项目,在继承了 iLogtail 强大的日志采集与处理能力的基础上,进行了全面的功能升级与扩展。从原来单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。 LoongCollector 是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。愿景是:打造业界领先的“统一可观测 Agent(Unified Observability Agent)”与“端到端可观

概览


输入

原生插件

名称提供方简介
input_file 文本日志SLS官方文本采集。
input_container_stdio 容器标准输出SLS官方从容器标准输出/标准错误流中采集日志。
input_ebpf_file_security eBPF文件安全数据SLS官方eBPF文件安全数据采集。
input_ebpf_network_observer eBPF网络可观测数据SLS官方eBPF网络可观测数据采集。
input_ebpf_network_security eBPF网络安全数据SLS官方eBPF网络安全数据采集。
input_ebpf_process_security eBPF进程安全数据SLS官方eBPF进程安全数据采集。
input_observer_network eBPF网络调用数据SLS官方支持从网络系统调用中收集四层网络调用,并借助网络解析模块,可以观测七层网络调用细节。

扩展插件

名称提供方简介
input_command 脚本执行数据社区 didachuxing采集脚本执行数据。
input_docker_stdout 容器标准输出SLS官方从容器标准输出/标准错误流中采集日志。
metric_debug_file 文本日志(debug)SLS官方用于调试的读取文件内容的插件。
metric_input_example MetricInput示例插件SLS官方MetricInput示例插件。
metric_meta_host 主机Meta数据SLS官方主机Meta数据。
metric_mock Mock数据-MetricSLS官方生成metric模拟数据的插件。
metric_system_v2 主机监控数据SLS官方主机监控数据。
service_canal MySQL BinlogSLS官方将MySQL Binlog输入到iLogtail。
service_go_profile GO ProfileSLS官方采集Golang pprof 性能数据。
service_gpu_metric GPU数据SLS官方支持收集英伟达GPU指标。
service_http_server HTTP数据SLS官方接收来自unix socket、http/https、tcp的请求,并支持sls协议、otlp等多种协议。
service_input_example ServiceInput示例插件SLS官方ServiceInput示例插件。
service_journal Journal数据SLS官方从原始的二进制文件中采集Linux系统的Journal(systemd)日志。
service_kafka KafkaSLS官方将Kafka数据输入到iLogtail。
service_mock Mock数据-ServiceSLS官方生成service模拟数据的插件。
service_mssql SqlServer查询数据SLS官方将Sql Server数据输入到iLogtail。
service_otlp OTLP数据社区 Zhu Shunjia通过http/grpc协议,接收OTLP数据。
service_pgsql PostgreSQL查询数据SLS官方将PostgresSQL数据输入到iLogtail。
service_syslog Syslog数据SLS官方采集syslog数据。

处理

原生插件

名称提供方简介
processor_parse_regex_native 正则解析原生处理插件SLS官方通过正则匹配解析事件指定字段内容并提取新字段。
processor_parse_json_native Json解析原生处理插件SLS官方解析事件中Json格式字段内容并提取新字段。
processor_parse_delimiter_native 分隔符解析原生处理插件SLS官方解析事件中分隔符格式字段内容并提取新字段。
processor_parse_timestamp_native 时间解析原生处理插件SLS官方解析事件中记录时间的字段,并将结果置为事件的__time__字段。
processor_filter_regex_native 过滤原生处理插件SLS官方根据事件字段内容来过滤事件。
processor_desensitize_native 脱敏原生处理插件SLS官方对事件指定字段内容进行脱敏。

扩展插件

名称提供方简介
processor_add_fields 添加字段SLS官方添加字段。
processor_cloud_meta 添加云资产信息SLS官方为日志增加云平台元数据信息。
processor_default 原始数据SLS官方不对数据任何操作,只是简单的数据透传。
processor_desensitize 数据脱敏SLS官方 Takuka0311对敏感数据进行脱敏处理。
processor_drop 丢弃字段SLS官方丢弃字段。
processor_encrypt 字段加密SLS官方加密字段
processor_fields_with_conditions 条件字段处理社区 pj1987111根据日志部分字段的取值,动态进行字段扩展或删除。
processor_filter_regex 日志过滤SLS官方通过正则匹配过滤日志。
processor_gotime GotimeSLS官方以 Go 语言时间格式解析原始日志中的时间字段。
processor_grok GrokSLS官方 Takuka0311通过 Grok 语法对数据进行处理
processor_json JsonSLS官方实现对Json格式日志的解析。
processor_log_to_sls_metric 日志转sls metricSLS官方将日志转sls metric
processor_regex 正则SLS官方通过正则匹配的模式实现文本日志的字段提取。
processor_rename 重命名字段SLS官方重命名字段。
processor_split_char 分隔符SLS官方通过单字符的分隔符提取字段。
processor_split_string 分隔符SLS官方通过多字符的分隔符提取字段。
processor_split_key_value 键值对SLS官方通过切分键值对的方式提取字段。
processor_split_log_regex 多行切分SLS官方实现多行日志(例如Java程序日志)的采集。
processor_string_replace 字符串替换SLS官方 pj1987111通过全文匹配、正则匹配、去转义字符等方式对文本日志进行内容替换。

聚合

名称提供方简介
aggregator_content_value_group社区 snakorse按照指定的Key对采集到的数据进行分组聚合
aggregator_metadata_group社区 urnotsally按照指定的Metadata Keys对采集到的数据进行重新分组聚合

输出

原生插件

名称提供方简介
flusher_sls SLSSLS官方将采集到的数据输出到SLS。
<font style="color:rgb(31, 35, 40);">flusher_blackhole</font> 原生Flusher测试SLS官方直接丢弃采集的事件,属于原生输出插件,主要用于测试。

扩展插件

名称提供方简介
flusher_kafka Kafka社区将采集到的数据输出到Kafka。推荐使用下面的flusher_kafka_v2
flusher_kafka_v2 Kafka社区 shalousun将采集到的数据输出到Kafka。
flusher_stdout 标准输出/文件SLS官方将采集到的数据输出到标准输出或文件。
flusher_otlp_log OTLP日志社区 liuhaoyang将采集到的数据支持Opentelemetry log protocol的后端。
flusher_http HTTP社区 snakorse将采集到的数据以http方式输出到指定的后端。
flusher_pulsar Kafka社区 shalousun将采集到的数据输出到Pulsar。
flusher_clickhouse ClickHouse社区 kl7sn将采集到的数据输出到ClickHouse。
flusher_elasticsearch ElasticSearch社区 joeCarf将采集到的数据输出到ElasticSearch。
flusher_loki Loki社区 abingcbc将采集到的数据输出到Loki。
flusher_prometheus Prometheus社区将采集到的数据输出到Prometheus。

扩展

ClientAuthenticator

名称提供方简介
ext_basicauth Basic认证社区 snakorse为 http_flusher 插件提供 basic 认证能力

FlushInterceptor

名称提供方简介
ext_groupinfo_filter GroupInfo过滤社区 snakorse为 http_flusher 插件提供根据GroupInfo筛选最终提交数据的能力

RequestInterceptor

名称提供方简介
ext_request_breaker 请求熔断器社区 snakorse为 http_flusher 插件提供请求熔断能力

Decoder

名称提供方简介
ext_default_decoder 默认的decoder扩展社区 snakorse将内置支持的Format以Decoder扩展的形式封装

Encoder

名称提供方简介
ext_default_encoder 默认的encoder扩展社区 yuanshuai.1900将内置支持的Format以Encoder扩展的形式封装

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32