LoongCollector

1758
下载
LoongCollector 源自阿里云可观测性团队所开源的 iLogtail 项目,在继承了 iLogtail 强大的日志采集与处理能力的基础上,进行了全面的功能升级与扩展。从原来单一日志场景,逐步扩展为可观测数据采集、本地计算、服务发现的统一体。 LoongCollector 是一款集卓越性能、超强稳定性和灵活可编程性于一身的数据采集器,专为构建下一代可观测 Pipeline 设计。愿景是:打造业界领先的“统一可观测 Agent(Unified Observability Agent)”与“端到端可观

sls协议


sls协议对应的Protobuf模式定义如下:

Content & LogTag

传输数据字段以及标签,简单的 key/value 对。

message Content
{
required string Key = 1;
required string Value = 2;
}
message LogTag
{
required string Key = 1;
required string Value = 2;
}

Log

Log 是表示单条日志的数据类型,Time 字段为日志时间,Contents 字段维护了此日志的内容,由一个 key/value 列表组成。

message Log
{
required uint32 Time = 1;// UNIX Time Format
repeated Content Contents = 2;
}

LogGroup

LogGroup(日志组)是对多条日志的包装:

  • Logs:包含所有日志。
  • Category:日志服务Logstore,可以类比Kafka 独立集群, 数据存储的独立单元。
  • Topic: 日志服务Topic,一个Category(Logstore)可以划分为多个topic,不填写时Topic 为空字符串,可以类比Kafka 独立集群下的Topic概念。
  • Source/MachineUUID:iLogtail 所在节点的信息,前者为 IP,后者为 UUID。
  • LogTags:所有日志共同的 tag,同样由 key/value 列表组成。
message LogGroup
{
repeated Log Logs = 1;
optional string Category = 2;
optional string Topic = 3;
optional string Source = 4;
optional string MachineUUID = 5;
repeated LogTag LogTags = 6;
}

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32