Wuming 無名

Blog

Flume 与 Esper 构建事件管道(五)

· In Chinese · Technology

上一篇:Zeek 协议分析 · 下一篇:威胁情报匹配与知识库

前几篇介绍的引擎各自都在产出事件:Suricata 出特征告警和文件提取记录,Zeek 出协议日志和 notice,情报匹配模块出 IOC 命中,沙箱出样本分析结果,资产识别模块出软件和服务发现。它们格式不一、速率不一,而消费方同样五花八门:要进 Elasticsearch 供检索,要进 Redis 队列交给下一步分析,要转成 syslog 发给客户的 SIEM,有时还要推到 Kafka。

如果每个生产者直接对接每个消费者,连线会变成 N×M。我们的做法是在中间放一条事件管道:基于 Apache Flume 做收集、富化和路由,嵌入 Esper 做时间窗口聚合和多步关联。这一篇就讲这条管道。

Flume 的三件套

Flume 是 Apache 的日志收集框架,模型很简单:

  • Source:从外部接收事件;
  • Channel:缓冲区,解耦收和发的速率;
  • Sink:把事件写到目的地。

在 Source 和 Channel 之间还可以挂一串 Interceptor(拦截器),对每条事件做轻量的加工。一个 Flume 进程(agent)里可以有多组 source/channel/sink。Flume 自带的组件不够用时,用 Java 写自定义组件,打成 jar 放进去就行,我们的大部分组件都是这样扩展出来的。

 生产者(各检测引擎)
   │  ZeroMQ (IPC)
   ▼
 Source ──► Interceptor 链 ──► Channel ──► Sink ──► ES / Redis / Syslog / Kafka
                                  │
                                  └──► Esper:聚合 / 关联 ──► 新事件

输入:ZeroMQ Source

各引擎和管道通常部署在同一台设备上,我们选择 ZeroMQ 的 IPC 传输(Unix 域套接字)作为进程间通道:无需 broker,延迟低,吞吐高。每类事件一个独立的 socket/topic,比如“IPS 告警”“IOC 命中”“文件提取”“沙箱结果”“资产通告”。

另外有一点值得一提:在线流量和离线分析(用户上传 pcap 回放)的事件走两套独立的 source。这样离线任务一次性灌进大量事件时,不会挤占实时告警的通道,下游也能清楚区分事件来源。

自定义 Source 的配置大致如下(示意):

agent.sources.alerts.type    = com.example.flume.ZmqSubSource
agent.sources.alerts.endpoint = ipc:///run/pipeline/alerts.sock
agent.sources.alerts.topic   = ips_alert
agent.sources.alerts.channels = c_alert

富化:拦截器链

事件进入 Channel 之前,会依次经过一串拦截器:

拦截器 作用
GeoIP 把源/目的 IP 解析成国家、城市、经纬度(用 MaxMind 格式的 mmdb 库)
文件名 规范化文件名、扩展名,处理编码
邮件 MIME 解析发件人、收件人、附件名等邮件字段
引擎专用 针对某个引擎的事件格式补齐字段、统一命名
通信 ID 给事件打上会话级标识,方便跨来源把同一次通信的事件串起来
agent.sources.files.interceptors = norm fname geo mime commid
agent.sources.files.interceptors.geo.type = com.example.flume.GeoIpInterceptor$Builder
agent.sources.files.interceptors.geo.ipFields = src_ip dst_ip

一条经验:字段统一要在入口做。上一篇提到 Zeek 的 id.orig_h,Suricata 的 src_ip,别的引擎可能叫 sip。我们维护了一份“协议字段映射表”,在拦截器里统一改名。后面的聚合、关联规则才能只写一套。

缓冲:Channel 的取舍

我们主要用内存 Channel,按事件类型分开,告警类的容量设得最大(百万级),沙箱、文件这类事件量小,容量也小一个数量级。

类型 优点 缺点
Memory Channel 快,几乎无额外开销 进程崩溃即丢失;容量受 JVM 堆限制
File Channel 落盘,重启可恢复 磁盘 IO 成本,吞吐较低

对“协议元数据”这种量大、可容忍少量丢失的数据,内存 Channel 是合理选择;对“高危告警”这种一条都不想丢的数据,值得用 File Channel,或者在 Sink 端写入有持久化的队列。

聚合:用 Esper 给事件“压缩”

Esper 是一个 CEP(Complex Event Processing,复杂事件处理)引擎:你用一种类 SQL 的语言(EPL)描述“在某个时间窗口内,对某类事件做什么统计”,它在内存中持续计算并输出结果。

为什么要聚合?因为原始事件太多了。同一个客户端 30 秒内请求同一个站点几百次,同一条 IPS 规则对同一对 IP 连续命中上千次,如果原样入库,存储和分析界面都会被淹没。我们为每种协议和告警类型写了一条聚合语句,典型结构如下:

-- HTTP:同一对端、同一站点、同一方法和状态码,30 秒内合并
select src_ip, dst_ip, dst_port, host, method, status_code,
       count(*) as count, uri, user_agent, start_time
from http_event.win:time_batch(30 sec)
group by src_ip, dst_ip, dst_port, host, method, status_code
output first every 30 sec

-- IPS 告警:同一对 IP、同一条签名,30 秒内合并
select src_ip, dest_ip, signature, severity, category,
       count(*) as count, start_time
from ips_alert.win:time_batch(30 sec)
group by src_ip, dest_ip, signature
output first every 30 sec

几个关键点:

  • win:time_batch(30 sec):滚动的 30 秒批窗口;
  • group by:决定“什么算同一件事”,这是聚合效果和信息损失之间的旋钮;
  • count(*):保留被合并了多少条,信息不会凭空消失;
  • output first:每组只输出第一条的明细字段。

覆盖的事件类型很多:Web、DNS、邮件(SMTP/IMAP/POP3)、文件传输(FTP/SMB)、认证(NTLM/Kerberos/RADIUS)、远程访问(RDP/VNC/SSH)、工控协议(Modbus/DNP3)、VoIP,以及各类告警。在突发流量下,聚合常常能把事件量压缩一到两个数量级。

关联:多步规则

聚合解决“量”的问题,关联解决“意义”的问题。单条告警往往说明不了什么,但“先 A 后 B、发生在同一对主机之间、间隔不超过一天”就很说明问题了。

我们的关联规则是声明式的,每条规则由若干步骤组成,每一步定义:

  • 条件:匹配哪些事件(按告警类别、规则编号范围、字段值);
  • 关联键:哪些字段必须相同(例如 src_ip,dst_ip);
  • 时间窗口:从几分钟到几天;
  • 次数:最少出现几次(mintimes)、最多统计几次(maxtimes);
  • 可信度:这一步命中后对“已失陷”判断的贡献分;
  • 攻击结果:侦察、探测、还是已失陷。

规则整体还会标注严重级别、威胁分类和杀伤链阶段。一个自己编的示意:

rule: tls-fingerprint-then-malware-download
severity: high
killchain: command-and-control
steps:
  - name: suspicious_tls
    when: category == "malicious-tls-fingerprint"
    keys: [src_ip, dst_ip]
    window: 1d
    reliability: 5
  - name: malware_file
    when: category == "malware-file"
    keys: [src_ip, dst_ip]
    window: 1d
    min_times: 1
    reliability: 8
    result: compromise

在实现上,每一步被翻译成 Esper 里的模式匹配语句(pattern [every a=... -> b=... where timer:within(...)] 一类),命中后生成一条新的“关联告警”,重新进入管道,和普通告警一样被路由出去。更复杂的跨源关联和降噪放在独立的关联引擎里,第 9 篇会讲。

输出:按类型分发

目的地 用途
Elasticsearch 告警、元数据、沙箱结果的长期存储与检索
Redis List 作为工作队列,比如文件提取事件交给下游分析模块逐个消费
Syslog 按约定格式转发给第三方 SIEM
Kafka(可选) 大规模部署时作为高吞吐总线

Sink 都支持批量写入(例如每批 1000 条、超时 5 秒),ES Sink 还有连接池和异步线程。

踩过的坑

  1. “Channel is full”。 下游一慢(ES 合并段、磁盘满),Channel 很快写满,Source 开始拒收。临时办法是加大容量,根本办法是让 Sink 跟得上:加批量、加线程,或者把慢目的地拆到独立 Channel,避免一个慢 Sink 拖住所有事件。
  2. ES 只读。 磁盘水位超过阈值后,ES 会把索引置为只读,Sink 持续报错。要有磁盘监控和索引生命周期管理,而不是出事后手动解锁。
  3. JVM 堆。 内存 Channel 和 Esper 窗口都占堆。容量调大后记得同步调堆,用 G1 收集器控制停顿。
  4. 窗口长度是权衡。 窗口越长压缩越狠,但告警延迟也越大;15 秒和 30 秒在体感上差别不大,60 秒以上就会被用户感知。
  5. 关联规则“静默失效”。 规则里引用的字段名和实际事件不一致时,不会报错,只是永远不触发。所以前面强调的字段统一非常重要,最好再配一套用回放数据跑规则的回归测试。
  6. ZeroMQ 的慢订阅者问题。 PUB/SUB 模式下,订阅者在连接建立前发出的消息会丢失,订阅者处理慢时高水位线之外的消息也会丢。启动顺序和 HWM 设置要心里有数;IPC 套接字文件的权限也要设对,否则表现为“连上了但收不到”。

小结

这条管道是平台的“中枢神经”:所有引擎的事件在这里统一字段、补全上下文、按时间窗口压缩、按多步规则关联,然后分发到存储、队列和外部系统。Flume 提供了可插拔的收发框架,Esper 提供了声明式的流计算能力,两者组合的开发成本相当低。

下一篇看管道上游的一个重要生产者:情报匹配引擎,以及支撑全平台分类、评级和规则的知识库。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.