# Flume 与 Esper 构建事件管道（五）

- URL: https://wuming.si/blog/4013/
- Author: Wuming
- Published: 2025-02-18
- Language: zh-Hans
- Categories: Technology

> 上一篇：[Zeek 协议分析](https://wuming.si/blog/4012) · 下一篇：[威胁情报匹配与知识库](https://wuming.si/blog/4014)

前几篇介绍的引擎各自都在产出事件：Suricata 出特征告警和文件提取记录，Zeek 出协议日志和 notice，情报匹配模块出 IOC 命中，沙箱出样本分析结果，资产识别模块出软件和服务发现。它们格式不一、速率不一，而消费方同样五花八门：要进 Elasticsearch 供检索，要进 Redis 队列交给下一步分析，要转成 syslog 发给客户的 SIEM，有时还要推到 Kafka。

如果每个生产者直接对接每个消费者，连线会变成 N×M。我们的做法是在中间放一条**事件管道**：基于 Apache Flume 做收集、富化和路由，嵌入 Esper 做时间窗口聚合和多步关联。这一篇就讲这条管道。

## Flume 的三件套

Flume 是 Apache 的日志收集框架，模型很简单：

- **Source**：从外部接收事件；
- **Channel**：缓冲区，解耦收和发的速率；
- **Sink**：把事件写到目的地。

在 Source 和 Channel 之间还可以挂一串 **Interceptor**（拦截器），对每条事件做轻量的加工。一个 Flume 进程（agent）里可以有多组 source/channel/sink。Flume 自带的组件不够用时，用 Java 写自定义组件，打成 jar 放进去就行，我们的大部分组件都是这样扩展出来的。

```
 生产者(各检测引擎)
   │  ZeroMQ (IPC)
   ▼
 Source ──► Interceptor 链 ──► Channel ──► Sink ──► ES / Redis / Syslog / Kafka
                                  │
                                  └──► Esper：聚合 / 关联 ──► 新事件
```

## 输入：ZeroMQ Source

各引擎和管道通常部署在同一台设备上，我们选择 ZeroMQ 的 IPC 传输（Unix 域套接字）作为进程间通道：无需 broker，延迟低，吞吐高。每类事件一个独立的 socket/topic，比如“IPS 告警”“IOC 命中”“文件提取”“沙箱结果”“资产通告”。

另外有一点值得一提：在线流量和离线分析（用户上传 pcap 回放）的事件走**两套独立的 source**。这样离线任务一次性灌进大量事件时，不会挤占实时告警的通道，下游也能清楚区分事件来源。

自定义 Source 的配置大致如下（示意）：

```properties
agent.sources.alerts.type    = com.example.flume.ZmqSubSource
agent.sources.alerts.endpoint = ipc:///run/pipeline/alerts.sock
agent.sources.alerts.topic   = ips_alert
agent.sources.alerts.channels = c_alert
```

## 富化：拦截器链

事件进入 Channel 之前，会依次经过一串拦截器：

| 拦截器 | 作用 |
|---|---|
| GeoIP | 把源/目的 IP 解析成国家、城市、经纬度（用 MaxMind 格式的 mmdb 库） |
| 文件名 | 规范化文件名、扩展名，处理编码 |
| 邮件 MIME | 解析发件人、收件人、附件名等邮件字段 |
| 引擎专用 | 针对某个引擎的事件格式补齐字段、统一命名 |
| 通信 ID | 给事件打上会话级标识，方便跨来源把同一次通信的事件串起来 |

```properties
agent.sources.files.interceptors = norm fname geo mime commid
agent.sources.files.interceptors.geo.type = com.example.flume.GeoIpInterceptor$Builder
agent.sources.files.interceptors.geo.ipFields = src_ip dst_ip
```

一条经验：**字段统一要在入口做**。上一篇提到 Zeek 的 `id.orig_h`，Suricata 的 `src_ip`，别的引擎可能叫 `sip`。我们维护了一份“协议字段映射表”，在拦截器里统一改名。后面的聚合、关联规则才能只写一套。

## 缓冲：Channel 的取舍

我们主要用内存 Channel，按事件类型分开，告警类的容量设得最大（百万级），沙箱、文件这类事件量小，容量也小一个数量级。

| 类型 | 优点 | 缺点 |
|---|---|---|
| Memory Channel | 快，几乎无额外开销 | 进程崩溃即丢失；容量受 JVM 堆限制 |
| File Channel | 落盘，重启可恢复 | 磁盘 IO 成本，吞吐较低 |

对“协议元数据”这种量大、可容忍少量丢失的数据，内存 Channel 是合理选择；对“高危告警”这种一条都不想丢的数据，值得用 File Channel，或者在 Sink 端写入有持久化的队列。

## 聚合：用 Esper 给事件“压缩”

Esper 是一个 CEP（Complex Event Processing，复杂事件处理）引擎：你用一种类 SQL 的语言（EPL）描述“在某个时间窗口内，对某类事件做什么统计”，它在内存中持续计算并输出结果。

为什么要聚合？因为原始事件太多了。同一个客户端 30 秒内请求同一个站点几百次，同一条 IPS 规则对同一对 IP 连续命中上千次，如果原样入库，存储和分析界面都会被淹没。我们为每种协议和告警类型写了一条聚合语句，典型结构如下：

```sql
-- HTTP：同一对端、同一站点、同一方法和状态码，30 秒内合并
select src_ip, dst_ip, dst_port, host, method, status_code,
       count(*) as count, uri, user_agent, start_time
from http_event.win:time_batch(30 sec)
group by src_ip, dst_ip, dst_port, host, method, status_code
output first every 30 sec

-- IPS 告警：同一对 IP、同一条签名，30 秒内合并
select src_ip, dest_ip, signature, severity, category,
       count(*) as count, start_time
from ips_alert.win:time_batch(30 sec)
group by src_ip, dest_ip, signature
output first every 30 sec
```

几个关键点：

- `win:time_batch(30 sec)`：滚动的 30 秒批窗口；
- `group by`：决定“什么算同一件事”，这是聚合效果和信息损失之间的旋钮；
- `count(*)`：保留被合并了多少条，信息不会凭空消失；
- `output first`：每组只输出第一条的明细字段。

覆盖的事件类型很多：Web、DNS、邮件（SMTP/IMAP/POP3）、文件传输（FTP/SMB）、认证（NTLM/Kerberos/RADIUS）、远程访问（RDP/VNC/SSH）、工控协议（Modbus/DNP3）、VoIP，以及各类告警。在突发流量下，聚合常常能把事件量压缩一到两个数量级。

## 关联：多步规则

聚合解决“量”的问题，关联解决“意义”的问题。单条告警往往说明不了什么，但“先 A 后 B、发生在同一对主机之间、间隔不超过一天”就很说明问题了。

我们的关联规则是声明式的，每条规则由若干**步骤**组成，每一步定义：

- **条件**：匹配哪些事件（按告警类别、规则编号范围、字段值）；
- **关联键**：哪些字段必须相同（例如 `src_ip,dst_ip`）；
- **时间窗口**：从几分钟到几天；
- **次数**：最少出现几次（mintimes）、最多统计几次（maxtimes）；
- **可信度**：这一步命中后对“已失陷”判断的贡献分；
- **攻击结果**：侦察、探测、还是已失陷。

规则整体还会标注严重级别、威胁分类和杀伤链阶段。一个自己编的示意：

```yaml
rule: tls-fingerprint-then-malware-download
severity: high
killchain: command-and-control
steps:
  - name: suspicious_tls
    when: category == "malicious-tls-fingerprint"
    keys: [src_ip, dst_ip]
    window: 1d
    reliability: 5
  - name: malware_file
    when: category == "malware-file"
    keys: [src_ip, dst_ip]
    window: 1d
    min_times: 1
    reliability: 8
    result: compromise
```

在实现上，每一步被翻译成 Esper 里的模式匹配语句（`pattern [every a=... -> b=... where timer:within(...)]` 一类），命中后生成一条新的“关联告警”，重新进入管道，和普通告警一样被路由出去。更复杂的跨源关联和降噪放在独立的关联引擎里，第 9 篇会讲。

## 输出：按类型分发

| 目的地 | 用途 |
|---|---|
| Elasticsearch | 告警、元数据、沙箱结果的长期存储与检索 |
| Redis List | 作为工作队列，比如文件提取事件交给下游分析模块逐个消费 |
| Syslog | 按约定格式转发给第三方 SIEM |
| Kafka（可选） | 大规模部署时作为高吞吐总线 |

Sink 都支持批量写入（例如每批 1000 条、超时 5 秒），ES Sink 还有连接池和异步线程。

## 踩过的坑

1. **“Channel is full”。** 下游一慢（ES 合并段、磁盘满），Channel 很快写满，Source 开始拒收。临时办法是加大容量，根本办法是让 Sink 跟得上：加批量、加线程，或者把慢目的地拆到独立 Channel，避免一个慢 Sink 拖住所有事件。
2. **ES 只读。** 磁盘水位超过阈值后，ES 会把索引置为只读，Sink 持续报错。要有磁盘监控和索引生命周期管理，而不是出事后手动解锁。
3. **JVM 堆。** 内存 Channel 和 Esper 窗口都占堆。容量调大后记得同步调堆，用 G1 收集器控制停顿。
4. **窗口长度是权衡。** 窗口越长压缩越狠，但告警延迟也越大；15 秒和 30 秒在体感上差别不大，60 秒以上就会被用户感知。
5. **关联规则“静默失效”。** 规则里引用的字段名和实际事件不一致时，不会报错，只是永远不触发。所以前面强调的字段统一非常重要，最好再配一套用回放数据跑规则的回归测试。
6. **ZeroMQ 的慢订阅者问题。** PUB/SUB 模式下，订阅者在连接建立前发出的消息会丢失，订阅者处理慢时高水位线之外的消息也会丢。启动顺序和 HWM 设置要心里有数；IPC 套接字文件的权限也要设对，否则表现为“连上了但收不到”。

## 小结

这条管道是平台的“中枢神经”：所有引擎的事件在这里统一字段、补全上下文、按时间窗口压缩、按多步规则关联，然后分发到存储、队列和外部系统。Flume 提供了可插拔的收发框架，Esper 提供了声明式的流计算能力，两者组合的开发成本相当低。

下一篇看管道上游的一个重要生产者：情报匹配引擎，以及支撑全平台分类、评级和规则的知识库。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
