# 轻量级探针：把流量采集延伸到分支与云端（十三）

- URL: https://wuming.si/blog/4021/
- Author: Wuming
- Published: 2025-04-15
- Language: zh-Hans
- Categories: Technology

> 上一篇：[管理平台](https://wuming.si/blog/4020) · 下一篇：[部署、版本与升级回滚](https://wuming.si/blog/4022)

前面十二篇讲的都是"一台完整的检测设备"：万兆采集、两套 DPI 引擎、事件管道、情报匹配、机器学习、沙箱、多引擎杀毒、管理平台，全部塞在一台（或一对）服务器里。但现实中的网络并不总是集中在一个机房：分支机构只有一台小服务器，云上 VPC 里没法插分光器，边缘网关的内存按百兆计。为这些地方各放一整套平台，既不划算也没必要。

这一篇讲的就是平台在"最外沿"的一层：**轻量级探针（sensor）**。它只做一件事——在远端抓流量、提取元数据、可靠地送回中心，所有重活（检测、关联、存储、展示）都留在中心节点。

## 设计目标：只留最必要的部分

我们给探针定的约束很直接：

| 维度 | 目标 |
|---|---|
| 内存 | 整体低于 500 MB |
| CPU | 每 Gbps 流量占用个位数百分比的单核 |
| 本地依赖 | 只有 Suricata + 一个 Python 代理，不装 Elasticsearch / MySQL |
| 网络方向 | 只出不进，探针不开放任何入站端口 |
| 断网容忍 | 中心不可达时本地缓冲，恢复后补发 |
| 安装 | 一个安装包，几分钟配置完成 |

和完整平台相比，被砍掉的东西很多：不用 PF_RING ZC（改用内核自带的 AF_PACKET，"不换驱动也能跑"），不做文件还原，不跑 Zeek，规则集只保留精简子集甚至完全不加载规则。

## 三层结构

```
 远端主机（探针）                                 中心节点
┌─────────────────────────┐                ┌──────────────────────┐
│ ① 采集层                 │                │ 事件管道（ZeroMQ 源）  │
│   Suricata / AF_PACKET   │                │        │             │
│   输出 EVE JSON           │                │        ▼             │
│          │               │                │ 关联 / 情报 / 存储     │
│          ▼               │   ZeroMQ /     │        │             │
│ ② 事件处理层（Python）    │   TLS syslog   │        ▼             │
│   过滤 → 补充上下文 → 缓冲 │ ─────────────▶ │ Elasticsearch / 控制台 │
│          │               │                └──────────────────────┘
│          ▼               │
│ ③ 传输层                  │
│   批量、压缩、心跳、重连   │
└─────────────────────────┘
```

**① 采集层**：Suricata 以 AF_PACKET 模式运行，2～4 个工作线程。AF_PACKET 是 Linux 内核自带的高性能抓包接口，不需要专用驱动，云主机和虚拟机上都能用。输出统一走 EVE JSON（Suricata 的结构化事件日志，每行一个 JSON）。

**② 事件处理层**：一个 Python 守护进程持续读取 EVE 输出，做三件事：

- **过滤**：只保留关心的事件类型（alert / dns / http / tls / flow），告警按严重级别过滤；
- **补充上下文**：给每条事件加上探针 ID、主机名、所在位置、分组，中心才能区分"这条 DNS 来自哪个分支"；
- **落地缓冲**：先写进本地 SQLite 队列，再由发送线程取出。

**③ 传输层**：主通道是 ZeroMQ，备用通道是基于 TLS 的 syslog（RFC 5424）。事件按"满 100 条或满 5 秒"打包，zlib 压缩后发出；另有一个线程每 60 秒发一次心跳，上报缓冲积压量和运行时长。

一个简化的配置大概长这样（示意）：

```ini
[sensor]
sensor_id = branch-a-01
location  = branch-a

[capture]
interface = eth1
mode      = af_packet

[processing]
event_types  = alert,dns,http,tls,flow
min_severity = 2
batch_size   = 100
batch_timeout_sec = 5

[buffer]
max_size_mb = 1024

[transport]
primary = zeromq
heartbeat_sec = 60
```

## 中心侧要做什么

探针是"瘦"的，中心侧就要补上几样东西：

1. **接收端**：在事件管道里加一个专门的 agent，ZeroMQ 源和 TLS syslog 源各一个，下游同时写 Kafka（给关联引擎）和 Elasticsearch（给检索）。这和第五篇讲的管道是同一套机制，只是多了一个入口。
2. **探针注册表**：一张表记录每个探针的 ID、位置、最后心跳时间、状态（online / offline / error）、版本；另一张表按时间存心跳里带来的统计（发送量、积压量、CPU、内存）。
3. **控制台页面**：在管理平台里列出所有探针及其健康状态，"多久没心跳就判离线"由中心统一判断。

有了这三样，中心就能回答两个运营上最常见的问题："现在有几个探针在线？""某个分支的数据为什么断了？"

## 一次真实试运行的观察

我们在一台普通虚拟机上做过一次试运行，只开协议元数据（不加载任何检测规则），镜像口接的是一个小型办公网：

| 指标 | 结果 |
|---|---|
| 前 10 分钟处理事件 | 数万条，转发率 100% |
| 平均速率 | 约 90 条/秒，峰值触到限速阈值 |
| 内存 | Suricata 约 75 MB + 代理约 20 MB，合计不到 100 MB |
| CPU | 合计 2% 出头 |
| 出口带宽 | 10～20 Mbps |

资源目标是轻松达到了。更有意思的是"不加载规则"这个选择：探针只送 DNS、HTTP、TLS、flow 等元数据，**检测放在中心做**——情报匹配、DGA 识别、关联分析都只需要元数据。这样探针侧的规则更新问题直接消失了，代价是中心要承受更大的事件量。

## 踩过的坑

试运行顺利不代表设计没有问题。回头复盘，下面几条值得单独拿出来说。

### 1. ZeroMQ PUB/SUB 不是可靠传输

这是最大的坑。PUB 套接字是"发了就算"：没有订阅者、订阅者还没连上、或者高水位线被打满时，消息会被**静默丢弃**，`send()` 依旧返回成功。而我们的发送逻辑是"发送成功 → 从缓冲里删掉"，于是本地缓冲这道保险在中心不可达时其实并不生效。

改进方向有两种：

- 换成 PUSH/PULL 或 DEALER/ROUTER，配合应用层确认（中心收到一批后回一个 ack，探针收到 ack 才删）；
- 或者把 ZeroMQ 只当"快速通道"，可靠性交给带确认的协议（TLS syslog over TCP 至少能感知连接断开）。

```python
# 示意：只有收到确认才清理缓冲
batch = buffer.peek(100)
sock.send_json({"seq": seq, "events": batch})
if sock.poll(timeout=3000) and sock.recv_json().get("ack") == seq:
    buffer.delete(batch)
```

### 2. 事件 ID 的碰撞

缓冲表用事件 ID 做主键、`INSERT OR IGNORE` 去重，ID 由"时间戳 + flow_id + 事件类型"哈希得到。问题在于同一条流在同一时刻可能产生多条同类型事件（比如一个 DNS 应答里的多条记录、同一会话的多条 HTTP 事务），它们会被当作"重复"而丢掉。更稳妥的做法是对整行原始 JSON 做哈希，或者干脆用自增序号。

### 3. 谁来管 Suricata 的生命周期

最初的设计里，代理进程自己拉起 Suricata、自己停掉它。上线时发现和系统已有的 Suricata 服务冲突，最后改成"代理只管读事件和发送，Suricata 由 systemd 单独管理"。教训是：**一个进程只做一件事，生命周期交给 init 系统**，不要让业务代理兼当进程管理器。

### 4. 读文件 vs 读套接字

设计时假设 Suricata 输出到 Unix 套接字，实际部署为了简单改成写文件，代理退化成 `tail -f` 式读取（打开后 seek 到末尾）。这带来两个隐患：一是启动前写入的事件会被跳过；二是日志轮转后旧文件句柄还在，代理会"读不到新数据"却不报错。正确的做法是记录读取偏移，并定期比较 inode，发现轮转就重新打开。

### 5. 限速与"丢弃计数"

为了保护中心，探针设置了每秒事件上限。但统计里"已丢弃"一栏显示 0，备注里却写着"超过阈值的事件被丢弃"——说明丢弃路径没有计数。被限速丢掉的数据必须有独立计数器，并且随心跳上报，否则运维看到的永远是"100% 转发"。

### 6. TLS 不能"先关着"

试运行时为了省事关掉了 TLS。探针恰恰部署在最不受控的网络里（分支、公有云），事件里又包含内网 IP 和访问的域名，明文传输等于把内网画像送给中间人。TLS（最好是双向证书）应该是默认开启、需要显式关闭的选项。

## 取舍小结

| 选择 | 得到 | 付出 |
|---|---|---|
| AF_PACKET 替代 PF_RING ZC | 任意主机可部署 | 单机上限更低，10G 满载需要更多核 |
| 只送元数据、检测在中心 | 探针无规则维护负担 | 中心事件量和带宽压力增大 |
| 本地 SQLite 缓冲 | 断网可补发 | 需要处理磁盘上限和淘汰策略（满了丢最旧的 10%） |
| 心跳 + 注册表 | 中心可见所有探针状态 | 多一套状态管理和离线判定逻辑 |

轻量级探针本质上是把"采集"从"分析"里剥离出来。剥离之后，可靠传输、身份标识、远程可观测性这三件原本"天然存在"的事，都要重新设计一遍。

下一篇我们回到中心节点，看看这一大堆组件是怎么被装进一台机器、怎么用版本清单锁定、又怎么安全地升级和回滚的。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
