iLogtail

1756
下载
iLogtail 是阿里云日志服务(Log Service)中的一款高性能、可扩展的日志采集工具。它被设计用于实时收集、解析和传输各类日志数据,支持多种数据源和复杂的日志处理场景,广泛应用于分布式系统、Web 服务器、应用程序等环境中的日志管理。

数据筛选


GroupInfoFilter FlushInterceptor 扩展

简介

ext_groupinfo_filter 扩展插件,实现了 extensions.FlushInterceptor 接口,可以在 http_flusher 插件中引用,提供在向远端最终提交前筛选数据的能力。

版本

Alpha

配置参数

参数类型是否必选说明
TagsMap<String,Condition>需要过滤的GroupInfo.Tags的 key,value
MetasMap<String,Condition>需要过滤的GroupInfo.Metadata的 key,value

其中,Condition 的字段结构如下:

字段类型是否必填说明
PatternString匹配正则表达式
ReverseBoolean是否反向选择,即选择不匹配 Pattern 的数据

样例

使用 metric_mock input 插件生成数据,并将采集结果以 custom_single 协议、json格式提交到 http://localhost:8086/write

且在flusher处理时,仅选择GroupInfo的Tags中包含 tag1=tag1 的数据发送

enable: true
version: v2
inputs:
- Type: metric_mock
GroupMeta:
meta1: meta1
GroupTags:
tag1: tag1
- Type: metric_mock
GroupMeta:
meta2: meta2
GroupTags:
tag2: tag2
flushers:
- Type: flusher_http
RemoteURL: "http://localhost:8086/write"
Convert:
Protocol: custom_single
Encoding: json
FlushInterceptor:
Type: ext_groupinfo_filter
extensions:
- Type: ext_groupinfo_filter
Tags:
tag1:
Pattern: tag1

使用命名扩展

当希望在同一个pipeline中使用多个扩展时,可一给同一类型的不同扩展实例附加一个命名,引用时可以通过full-name来引用特定的实例。

如下示例,通过将Type: ext_groupinfo_filter 改写为 Type: ext_groupinfo_filter/tag1,追加命名tag1,在 http_flusher插件中通过 ext_groupinfo_filter/tag1来引用。

enable: true
version: v2
inputs:
- Type: metric_mock
GroupMeta:
meta1: meta1
GroupTags:
tag1: tag1
- Type: metric_mock
GroupMeta:
meta2: meta2
GroupTags:
tag2: tag2
flushers:
- Type: flusher_http
RemoteURL: "http://localhost:8086/write_select_tag1"
Convert:
Protocol: custom_single
Encoding: json
FlushInterceptor:
Type: ext_groupinfo_filter/tag1
- Type: flusher_http
RemoteURL: "http://localhost:8086/write_select_tag2"
Convert:
Protocol: custom_single
Encoding: json
FlushInterceptor:
Type: ext_groupinfo_filter/tag2
extensions:
- Type: ext_groupinfo_filter/tag1
Tags:
tag1:
Pattern: tag1
- Type: ext_groupinfo_filter/tag2
Tags:
tag2:
Pattern: tag2

observability.cn Authors 2024 | Documentation Distributed under CC-BY-4.0
Copyright © 2017-2024, Alibaba. All rights reserved. Alibaba has registered trademarks and uses trademarks.
浙ICP备2021005855号-32