Flume 与 Esper 构建事件管道(五)
上一篇:Zeek 协议分析 · 下一篇:威胁情报匹配与知识库
前几篇介绍的引擎各自都在产出事件:Suricata 出特征告警和文件提取记录,Zeek 出协议日志和 notice,情报匹配模块出 IOC 命中,沙箱出样本分析结果,资产识别模块出软件和服务发现。它们格式不一、速率不一,而消费方同样五花八门:要进 Elasticsearch 供检索,要进 Redis 队列交给下一步分析,要转成 syslog 发给客户的 SIEM,有时还要推到 Kafka。
如果每个生产者直接对接每个消费者,连线会变成 N×M。我们的做法是在中间放一条事件管道:基于 Apache Flume 做收集、富化和路由,嵌入 Esper 做时间窗口聚合和多步关联。这一篇就讲这条管道。
Flume 的三件套
Flume 是 Apache 的日志收集框架,模型很简单:
- Source:从外部接收事件;
- Channel:缓冲区,解耦收和发的速率;
- Sink:把事件写到目的地。
在 Source 和 Channel 之间还可以挂一串 Interceptor(拦截器),对每条事件做轻量的加工。一个 Flume 进程(agent)里可以有多组 source/channel/sink。Flume 自带的组件不够用时,用 Java 写自定义组件,打成 jar 放进去就行,我们的大部分组件都是这样扩展出来的。
生产者(各检测引擎)
│ ZeroMQ (IPC)
▼
Source ──► Interceptor 链 ──► Channel ──► Sink ──► ES / Redis / Syslog / Kafka
│
└──► Esper:聚合 / 关联 ──► 新事件
输入:ZeroMQ Source
各引擎和管道通常部署在同一台设备上,我们选择 ZeroMQ 的 IPC 传输(Unix 域套接字)作为进程间通道:无需 broker,延迟低,吞吐高。每类事件一个独立的 socket/topic,比如“IPS 告警”“IOC 命中”“文件提取”“沙箱结果”“资产通告”。
另外有一点值得一提:在线流量和离线分析(用户上传 pcap 回放)的事件走两套独立的 source。这样离线任务一次性灌进大量事件时,不会挤占实时告警的通道,下游也能清楚区分事件来源。
自定义 Source 的配置大致如下(示意):
agent.sources.alerts.type = com.example.flume.ZmqSubSource
agent.sources.alerts.endpoint = ipc:///run/pipeline/alerts.sock
agent.sources.alerts.topic = ips_alert
agent.sources.alerts.channels = c_alert
富化:拦截器链
事件进入 Channel 之前,会依次经过一串拦截器:
| 拦截器 | 作用 |
|---|---|
| GeoIP | 把源/目的 IP 解析成国家、城市、经纬度(用 MaxMind 格式的 mmdb 库) |
| 文件名 | 规范化文件名、扩展名,处理编码 |
| 邮件 MIME | 解析发件人、收件人、附件名等邮件字段 |
| 引擎专用 | 针对某个引擎的事件格式补齐字段、统一命名 |
| 通信 ID | 给事件打上会话级标识,方便跨来源把同一次通信的事件串起来 |
agent.sources.files.interceptors = norm fname geo mime commid
agent.sources.files.interceptors.geo.type = com.example.flume.GeoIpInterceptor$Builder
agent.sources.files.interceptors.geo.ipFields = src_ip dst_ip
一条经验:字段统一要在入口做。上一篇提到 Zeek 的 id.orig_h,Suricata 的 src_ip,别的引擎可能叫 sip。我们维护了一份“协议字段映射表”,在拦截器里统一改名。后面的聚合、关联规则才能只写一套。
缓冲:Channel 的取舍
我们主要用内存 Channel,按事件类型分开,告警类的容量设得最大(百万级),沙箱、文件这类事件量小,容量也小一个数量级。
| 类型 | 优点 | 缺点 |
|---|---|---|
| Memory Channel | 快,几乎无额外开销 | 进程崩溃即丢失;容量受 JVM 堆限制 |
| File Channel | 落盘,重启可恢复 | 磁盘 IO 成本,吞吐较低 |
对“协议元数据”这种量大、可容忍少量丢失的数据,内存 Channel 是合理选择;对“高危告警”这种一条都不想丢的数据,值得用 File Channel,或者在 Sink 端写入有持久化的队列。
聚合:用 Esper 给事件“压缩”
Esper 是一个 CEP(Complex Event Processing,复杂事件处理)引擎:你用一种类 SQL 的语言(EPL)描述“在某个时间窗口内,对某类事件做什么统计”,它在内存中持续计算并输出结果。
为什么要聚合?因为原始事件太多了。同一个客户端 30 秒内请求同一个站点几百次,同一条 IPS 规则对同一对 IP 连续命中上千次,如果原样入库,存储和分析界面都会被淹没。我们为每种协议和告警类型写了一条聚合语句,典型结构如下:
-- HTTP:同一对端、同一站点、同一方法和状态码,30 秒内合并
select src_ip, dst_ip, dst_port, host, method, status_code,
count(*) as count, uri, user_agent, start_time
from http_event.win:time_batch(30 sec)
group by src_ip, dst_ip, dst_port, host, method, status_code
output first every 30 sec
-- IPS 告警:同一对 IP、同一条签名,30 秒内合并
select src_ip, dest_ip, signature, severity, category,
count(*) as count, start_time
from ips_alert.win:time_batch(30 sec)
group by src_ip, dest_ip, signature
output first every 30 sec
几个关键点:
win:time_batch(30 sec):滚动的 30 秒批窗口;group by:决定“什么算同一件事”,这是聚合效果和信息损失之间的旋钮;count(*):保留被合并了多少条,信息不会凭空消失;output first:每组只输出第一条的明细字段。
覆盖的事件类型很多:Web、DNS、邮件(SMTP/IMAP/POP3)、文件传输(FTP/SMB)、认证(NTLM/Kerberos/RADIUS)、远程访问(RDP/VNC/SSH)、工控协议(Modbus/DNP3)、VoIP,以及各类告警。在突发流量下,聚合常常能把事件量压缩一到两个数量级。
关联:多步规则
聚合解决“量”的问题,关联解决“意义”的问题。单条告警往往说明不了什么,但“先 A 后 B、发生在同一对主机之间、间隔不超过一天”就很说明问题了。
我们的关联规则是声明式的,每条规则由若干步骤组成,每一步定义:
- 条件:匹配哪些事件(按告警类别、规则编号范围、字段值);
- 关联键:哪些字段必须相同(例如
src_ip,dst_ip); - 时间窗口:从几分钟到几天;
- 次数:最少出现几次(mintimes)、最多统计几次(maxtimes);
- 可信度:这一步命中后对“已失陷”判断的贡献分;
- 攻击结果:侦察、探测、还是已失陷。
规则整体还会标注严重级别、威胁分类和杀伤链阶段。一个自己编的示意:
rule: tls-fingerprint-then-malware-download
severity: high
killchain: command-and-control
steps:
- name: suspicious_tls
when: category == "malicious-tls-fingerprint"
keys: [src_ip, dst_ip]
window: 1d
reliability: 5
- name: malware_file
when: category == "malware-file"
keys: [src_ip, dst_ip]
window: 1d
min_times: 1
reliability: 8
result: compromise
在实现上,每一步被翻译成 Esper 里的模式匹配语句(pattern [every a=... -> b=... where timer:within(...)] 一类),命中后生成一条新的“关联告警”,重新进入管道,和普通告警一样被路由出去。更复杂的跨源关联和降噪放在独立的关联引擎里,第 9 篇会讲。
输出:按类型分发
| 目的地 | 用途 |
|---|---|
| Elasticsearch | 告警、元数据、沙箱结果的长期存储与检索 |
| Redis List | 作为工作队列,比如文件提取事件交给下游分析模块逐个消费 |
| Syslog | 按约定格式转发给第三方 SIEM |
| Kafka(可选) | 大规模部署时作为高吞吐总线 |
Sink 都支持批量写入(例如每批 1000 条、超时 5 秒),ES Sink 还有连接池和异步线程。
踩过的坑
- “Channel is full”。 下游一慢(ES 合并段、磁盘满),Channel 很快写满,Source 开始拒收。临时办法是加大容量,根本办法是让 Sink 跟得上:加批量、加线程,或者把慢目的地拆到独立 Channel,避免一个慢 Sink 拖住所有事件。
- ES 只读。 磁盘水位超过阈值后,ES 会把索引置为只读,Sink 持续报错。要有磁盘监控和索引生命周期管理,而不是出事后手动解锁。
- JVM 堆。 内存 Channel 和 Esper 窗口都占堆。容量调大后记得同步调堆,用 G1 收集器控制停顿。
- 窗口长度是权衡。 窗口越长压缩越狠,但告警延迟也越大;15 秒和 30 秒在体感上差别不大,60 秒以上就会被用户感知。
- 关联规则“静默失效”。 规则里引用的字段名和实际事件不一致时,不会报错,只是永远不触发。所以前面强调的字段统一非常重要,最好再配一套用回放数据跑规则的回归测试。
- ZeroMQ 的慢订阅者问题。 PUB/SUB 模式下,订阅者在连接建立前发出的消息会丢失,订阅者处理慢时高水位线之外的消息也会丢。启动顺序和 HWM 设置要心里有数;IPC 套接字文件的权限也要设对,否则表现为“连上了但收不到”。
小结
这条管道是平台的“中枢神经”:所有引擎的事件在这里统一字段、补全上下文、按时间窗口压缩、按多步规则关联,然后分发到存储、队列和外部系统。Flume 提供了可插拔的收发框架,Esper 提供了声明式的流计算能力,两者组合的开发成本相当低。
下一篇看管道上游的一个重要生产者:情报匹配引擎,以及支撑全平台分类、评级和规则的知识库。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments