LoongCollector

1804
下载
LoongCollector 是阿里云可观测性团队所开源的项目,是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。它继承了 iLogtail 强大的日志采集与处理能力,从原来单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。愿景是:打造业界领先的“统一可观测 Agent”与“端到端可观测”

概览



输入

原生插件

名称提供方简介
input_file
文本日志
SLS官方文本采集。
input_container_stdio
容器标准输出
SLS官方从容器标准输出/标准错误流中采集日志。
input_ebpf_file_security
eBPF文件安全数据
SLS官方eBPF文件安全数据采集。
input_ebpf_network_observer
eBPF网络可观测数据
SLS官方eBPF网络可观测数据采集。
input_ebpf_network_security
eBPF网络安全数据
SLS官方eBPF网络安全数据采集。
input_ebpf_process_security
eBPF进程安全数据
SLS官方eBPF进程安全数据采集。
input_observer_network
eBPF网络调用数据
SLS官方支持从网络系统调用中收集四层网络调用,并借助网络解析模块,可以观测七层网络调用细节。

扩展插件

名称提供方简介
input_command
脚本执行数据
社区
didachuxing
采集脚本执行数据。
input_docker_stdout
容器标准输出
SLS官方从容器标准输出/标准错误流中采集日志。
metric_debug_file
文本日志(debug)
SLS官方用于调试的读取文件内容的插件。
metric_input_example
MetricInput示例插件
SLS官方MetricInput示例插件。
metric_meta_host
主机Meta数据
SLS官方主机Meta数据。
metric_mock
Mock数据-Metric
SLS官方生成metric模拟数据的插件。
metric_system_v2
主机监控数据
SLS官方主机监控数据。
service_canal
MySQL Binlog
SLS官方将MySQL Binlog输入到iLogtail。
service_go_profile
GO Profile
SLS官方采集Golang pprof 性能数据。
service_gpu_metric
GPU数据
SLS官方支持收集英伟达GPU指标。
service_http_server
HTTP数据
SLS官方接收来自unix socket、http/https、tcp的请求,并支持sls协议、otlp等多种协议。
service_input_example
ServiceInput示例插件
SLS官方ServiceInput示例插件。
service_journal
Journal数据
SLS官方从原始的二进制文件中采集Linux系统的Journal(systemd)日志。
service_kafka
Kafka
SLS官方将Kafka数据输入到iLogtail。
service_mock
Mock数据-Service
SLS官方生成service模拟数据的插件。
service_mssql
SqlServer查询数据
SLS官方将Sql Server数据输入到iLogtail。
service_otlp
OTLP数据
社区
Zhu Shunjia
通过http/grpc协议,接收OTLP数据。
service_pgsql
PostgreSQL查询数据
SLS官方将PostgresSQL数据输入到iLogtail。
service_syslog
Syslog数据
SLS官方采集syslog数据。

处理

SPL 处理

名称提供方简介
processor_spl
SPL 处理
SLS官方通过SPL语言解析数据

原生插件

名称提供方简介
processor_parse_regex_native
正则解析原生处理插件
SLS官方通过正则匹配解析事件指定字段内容并提取新字段。
processor_parse_json_native
Json解析原生处理插件
SLS官方解析事件中 Json 格式字段内容并提取新字段。
processor_parse_delimiter_native
分隔符解析原生处理插件
SLS官方解析事件中分隔符格式字段内容并提取新字段。
processor_parse_timestamp_native
时间解析原生处理插件
SLS官方解析事件中记录时间的字段,并将结果置为事件的 __time__ 字段。
processor_filter_regex_native
过滤原生处理插件
SLS官方根据事件字段内容来过滤事件。
processor_desensitize_native
脱敏原生处理插件
SLS官方对事件指定字段内容进行脱敏。

扩展插件

名称提供方简介
processor_add_fields
添加字段
SLS官方添加字段。
processor_cloud_meta
添加云资产信息
SLS官方为日志增加云平台元数据信息。
processor_default
原始数据
SLS官方不对数据任何操作,只是简单的数据透传。
processor_desensitize
数据脱敏
SLS官方
Takuka0311
对敏感数据进行脱敏处理。
processor_drop
丢弃字段
SLS官方丢弃字段。
processor_encrypt
字段加密
SLS官方加密字段
processor_fields_with_conditions
条件字段处理
社区
pj1987111
根据日志部分字段的取值,动态进行字段扩展或删除。
processor_filter_regex
日志过滤
SLS官方通过正则匹配过滤日志。
processor_gotime
Gotime
SLS官方以 Go 语言时间格式解析原始日志中的时间字段。
processor_grok
Grok
SLS官方
Takuka0311
通过 Grok 语法对数据进行处理
processor_json
Json
SLS官方实现对Json格式日志的解析。
processor_log_to_sls_metric
日志转sls metric
SLS官方将日志转sls metric
processor_regex
正则
SLS官方通过正则匹配的模式实现文本日志的字段提取。
processor_rename
重命名字段
SLS官方重命名字段。
processor_split_char
分隔符
SLS官方通过单字符的分隔符提取字段。
processor_split_string
分隔符
SLS官方通过多字符的分隔符提取字段。
processor_split_key_value
键值对
SLS官方通过切分键值对的方式提取字段。
processor_split_log_regex
多行切分
SLS官方实现多行日志(例如Java程序日志)的采集。
processor_string_replace
字符串替换
SLS官方
pj1987111
通过全文匹配、正则匹配、去转义字符等方式对文本日志进行内容替换。

聚合

名称提供方简介
aggregator_base
基础聚合
SLS官方对单条日志进行聚合
aggregator_context
上下文聚合
SLS官方根据日志来源对单条日志进行聚合
aggregator_content_value_group
按Key聚合
社区
snakorse
按照指定的Key对采集到的数据进行分组聚合
aggregator_metadata_group
GroupMetadata聚合
社区
urnotsally
按照指定的Metadata Keys对采集到的数据进行重新分组聚合

输出

原生插件

名称提供方简介
flusher_sls
SLS
SLS官方将采集到的数据输出到SLS。
flusher_blackhole
原生Flusher测试
SLS官方直接丢弃采集的事件,属于原生输出插件,主要用于测试。

扩展插件

名称提供方简介
flusher_kafka
Kafka
社区将采集到的数据输出到Kafka。推荐使用下面的flusher_kafka_v2
flusher_kafka_v2
Kafka V2
社区
shalousun
将采集到的数据输出到Kafka。
flusher_stdout
标准输出/文件
SLS官方将采集到的数据输出到标准输出或文件。
flusher_otlp_log
OTLP日志
社区
liuhaoyang
将采集到的数据支持Opentelemetry log protocol的后端。
flusher_http
HTTP
社区
snakorse
将采集到的数据以http方式输出到指定的后端。
flusher_pulsar
Pulsar
社区
shalousun
将采集到的数据输出到Pulsar。
flusher_clickhouse
ClickHouse
社区
kl7sn
将采集到的数据输出到ClickHouse。
flusher_elasticsearch
ElasticSearch
社区
joeCarf
将采集到的数据输出到ElasticSearch。
flusher_loki
Loki
社区
abingcbc
将采集到的数据输出到Loki。
flusher_prometheus
Prometheus
社区
将采集到的数据,经过处理后,通过http格式发送到指定的 Prometheus RemoteWrite 地址。

扩展

  • ClientAuthenticator

    名称提供方简介
    ext_basicauth
    Basic认证
    社区
    snakorse
    为 http_flusher 插件提供 basic 认证能力
  • FlushInterceptor

    名称提供方简介
    ext_groupinfo_filter
    GroupInfo过滤
    社区
    snakorse
    为 http_flusher 插件提供根据GroupInfo筛选最终提交数据的能力
  • RequestInterceptor

    名称提供方简介
    ext_request_breaker
    请求熔断器
    社区
    snakorse
    为 http_flusher 插件提供请求熔断能力
  • Decoder

    名称提供方简介
    ext_default_decoder
    默认的decoder扩展
    社区
    snakorse
    将内置支持的Format以Decoder扩展的形式封装
  • Encoder

    名称提供方简介
    ext_default_encoder
    默认的encoder扩展
    社区
    yuanshuai.1900
    将内置支持的Format以Encoder扩展的形式封装

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32