轻量级探针:把流量采集延伸到分支与云端(十三)
上一篇:管理平台 · 下一篇:部署、版本与升级回滚
前面十二篇讲的都是”一台完整的检测设备”:万兆采集、两套 DPI 引擎、事件管道、情报匹配、机器学习、沙箱、多引擎杀毒、管理平台,全部塞在一台(或一对)服务器里。但现实中的网络并不总是集中在一个机房:分支机构只有一台小服务器,云上 VPC 里没法插分光器,边缘网关的内存按百兆计。为这些地方各放一整套平台,既不划算也没必要。
这一篇讲的就是平台在”最外沿”的一层:轻量级探针(sensor)。它只做一件事——在远端抓流量、提取元数据、可靠地送回中心,所有重活(检测、关联、存储、展示)都留在中心节点。
设计目标:只留最必要的部分
我们给探针定的约束很直接:
| 维度 | 目标 |
|---|---|
| 内存 | 整体低于 500 MB |
| CPU | 每 Gbps 流量占用个位数百分比的单核 |
| 本地依赖 | 只有 Suricata + 一个 Python 代理,不装 Elasticsearch / MySQL |
| 网络方向 | 只出不进,探针不开放任何入站端口 |
| 断网容忍 | 中心不可达时本地缓冲,恢复后补发 |
| 安装 | 一个安装包,几分钟配置完成 |
和完整平台相比,被砍掉的东西很多:不用 PF_RING ZC(改用内核自带的 AF_PACKET,“不换驱动也能跑”),不做文件还原,不跑 Zeek,规则集只保留精简子集甚至完全不加载规则。
三层结构
远端主机(探针) 中心节点
┌─────────────────────────┐ ┌──────────────────────┐
│ ① 采集层 │ │ 事件管道(ZeroMQ 源) │
│ Suricata / AF_PACKET │ │ │ │
│ 输出 EVE JSON │ │ ▼ │
│ │ │ │ 关联 / 情报 / 存储 │
│ ▼ │ ZeroMQ / │ │ │
│ ② 事件处理层(Python) │ TLS syslog │ ▼ │
│ 过滤 → 补充上下文 → 缓冲 │ ─────────────▶ │ Elasticsearch / 控制台 │
│ │ │ └──────────────────────┘
│ ▼ │
│ ③ 传输层 │
│ 批量、压缩、心跳、重连 │
└─────────────────────────┘
① 采集层:Suricata 以 AF_PACKET 模式运行,2~4 个工作线程。AF_PACKET 是 Linux 内核自带的高性能抓包接口,不需要专用驱动,云主机和虚拟机上都能用。输出统一走 EVE JSON(Suricata 的结构化事件日志,每行一个 JSON)。
② 事件处理层:一个 Python 守护进程持续读取 EVE 输出,做三件事:
- 过滤:只保留关心的事件类型(alert / dns / http / tls / flow),告警按严重级别过滤;
- 补充上下文:给每条事件加上探针 ID、主机名、所在位置、分组,中心才能区分”这条 DNS 来自哪个分支”;
- 落地缓冲:先写进本地 SQLite 队列,再由发送线程取出。
③ 传输层:主通道是 ZeroMQ,备用通道是基于 TLS 的 syslog(RFC 5424)。事件按”满 100 条或满 5 秒”打包,zlib 压缩后发出;另有一个线程每 60 秒发一次心跳,上报缓冲积压量和运行时长。
一个简化的配置大概长这样(示意):
[sensor]
sensor_id = branch-a-01
location = branch-a
[capture]
interface = eth1
mode = af_packet
[processing]
event_types = alert,dns,http,tls,flow
min_severity = 2
batch_size = 100
batch_timeout_sec = 5
[buffer]
max_size_mb = 1024
[transport]
primary = zeromq
heartbeat_sec = 60
中心侧要做什么
探针是”瘦”的,中心侧就要补上几样东西:
- 接收端:在事件管道里加一个专门的 agent,ZeroMQ 源和 TLS syslog 源各一个,下游同时写 Kafka(给关联引擎)和 Elasticsearch(给检索)。这和第五篇讲的管道是同一套机制,只是多了一个入口。
- 探针注册表:一张表记录每个探针的 ID、位置、最后心跳时间、状态(online / offline / error)、版本;另一张表按时间存心跳里带来的统计(发送量、积压量、CPU、内存)。
- 控制台页面:在管理平台里列出所有探针及其健康状态,“多久没心跳就判离线”由中心统一判断。
有了这三样,中心就能回答两个运营上最常见的问题:“现在有几个探针在线?""某个分支的数据为什么断了?”
一次真实试运行的观察
我们在一台普通虚拟机上做过一次试运行,只开协议元数据(不加载任何检测规则),镜像口接的是一个小型办公网:
| 指标 | 结果 |
|---|---|
| 前 10 分钟处理事件 | 数万条,转发率 100% |
| 平均速率 | 约 90 条/秒,峰值触到限速阈值 |
| 内存 | Suricata 约 75 MB + 代理约 20 MB,合计不到 100 MB |
| CPU | 合计 2% 出头 |
| 出口带宽 | 10~20 Mbps |
资源目标是轻松达到了。更有意思的是”不加载规则”这个选择:探针只送 DNS、HTTP、TLS、flow 等元数据,检测放在中心做——情报匹配、DGA 识别、关联分析都只需要元数据。这样探针侧的规则更新问题直接消失了,代价是中心要承受更大的事件量。
踩过的坑
试运行顺利不代表设计没有问题。回头复盘,下面几条值得单独拿出来说。
1. ZeroMQ PUB/SUB 不是可靠传输
这是最大的坑。PUB 套接字是”发了就算”:没有订阅者、订阅者还没连上、或者高水位线被打满时,消息会被静默丢弃,send() 依旧返回成功。而我们的发送逻辑是”发送成功 → 从缓冲里删掉”,于是本地缓冲这道保险在中心不可达时其实并不生效。
改进方向有两种:
- 换成 PUSH/PULL 或 DEALER/ROUTER,配合应用层确认(中心收到一批后回一个 ack,探针收到 ack 才删);
- 或者把 ZeroMQ 只当”快速通道”,可靠性交给带确认的协议(TLS syslog over TCP 至少能感知连接断开)。
# 示意:只有收到确认才清理缓冲
batch = buffer.peek(100)
sock.send_json({"seq": seq, "events": batch})
if sock.poll(timeout=3000) and sock.recv_json().get("ack") == seq:
buffer.delete(batch)
2. 事件 ID 的碰撞
缓冲表用事件 ID 做主键、INSERT OR IGNORE 去重,ID 由”时间戳 + flow_id + 事件类型”哈希得到。问题在于同一条流在同一时刻可能产生多条同类型事件(比如一个 DNS 应答里的多条记录、同一会话的多条 HTTP 事务),它们会被当作”重复”而丢掉。更稳妥的做法是对整行原始 JSON 做哈希,或者干脆用自增序号。
3. 谁来管 Suricata 的生命周期
最初的设计里,代理进程自己拉起 Suricata、自己停掉它。上线时发现和系统已有的 Suricata 服务冲突,最后改成”代理只管读事件和发送,Suricata 由 systemd 单独管理”。教训是:一个进程只做一件事,生命周期交给 init 系统,不要让业务代理兼当进程管理器。
4. 读文件 vs 读套接字
设计时假设 Suricata 输出到 Unix 套接字,实际部署为了简单改成写文件,代理退化成 tail -f 式读取(打开后 seek 到末尾)。这带来两个隐患:一是启动前写入的事件会被跳过;二是日志轮转后旧文件句柄还在,代理会”读不到新数据”却不报错。正确的做法是记录读取偏移,并定期比较 inode,发现轮转就重新打开。
5. 限速与”丢弃计数”
为了保护中心,探针设置了每秒事件上限。但统计里”已丢弃”一栏显示 0,备注里却写着”超过阈值的事件被丢弃”——说明丢弃路径没有计数。被限速丢掉的数据必须有独立计数器,并且随心跳上报,否则运维看到的永远是”100% 转发”。
6. TLS 不能”先关着”
试运行时为了省事关掉了 TLS。探针恰恰部署在最不受控的网络里(分支、公有云),事件里又包含内网 IP 和访问的域名,明文传输等于把内网画像送给中间人。TLS(最好是双向证书)应该是默认开启、需要显式关闭的选项。
取舍小结
| 选择 | 得到 | 付出 |
|---|---|---|
| AF_PACKET 替代 PF_RING ZC | 任意主机可部署 | 单机上限更低,10G 满载需要更多核 |
| 只送元数据、检测在中心 | 探针无规则维护负担 | 中心事件量和带宽压力增大 |
| 本地 SQLite 缓冲 | 断网可补发 | 需要处理磁盘上限和淘汰策略(满了丢最旧的 10%) |
| 心跳 + 注册表 | 中心可见所有探针状态 | 多一套状态管理和离线判定逻辑 |
轻量级探针本质上是把”采集”从”分析”里剥离出来。剥离之后,可靠传输、身份标识、远程可观测性这三件原本”天然存在”的事,都要重新设计一遍。
下一篇我们回到中心节点,看看这一大堆组件是怎么被装进一台机器、怎么用版本清单锁定、又怎么安全地升级和回滚的。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments