万兆流量采集与零拷贝(二)
上一篇:全景:一套网络威胁检测平台 · 下一篇:Suricata 深度包检测与规则管理
网络安全平台里的每一次检测,都建立在一个朴素的承诺上:这个包我们看到了。如果采集层在高负载下丢了 2% 的流量,丢的并不是随机的 2%,而是集中在突发时段,恰恰是攻击正在发生、或者大文件正在传输的时候。TCP 流中间少一个包,DPI 引擎就可能放弃重组,里面的文件或漏洞利用代码也就永远不会被检查到。
本篇讲的是第一篇架构图里最底下那个框:流量怎样从镜像口进入按核划分的队列,让 Suricata 和 Zeek 能以 10 Gbps 以上的速率读取;以及为此需要在网卡、内核和 CPU 上做哪些调优。
问题:每个包只有 67 纳秒
万兆听起来是带宽问题,本质上其实是每秒包数(pps)的问题。
| 包长 | 10 Gbps 下每秒包数 | 每个包的时间预算 |
|---|---|---|
| 64 字节(最小) | 约 1488 万 | 约 67 ns |
| 512 字节 | 约 235 万 | 约 425 ns |
| 1500 字节 | 约 82 万 | 约 1.2 µs |
真实流量是混合的,但小包突发(DNS、TCP ACK、扫描)非常常见。一次访问主存的缓存未命中大约就要 100 ns,一次系统调用更贵。Linux 的标准路径是:驱动构造 socket buffer,内核走一遍协议栈,libpcap 再把包拷贝到用户态。这一套在单核上根本塞不进这个时间预算。
所以采集层要做三件事:
- 不拷贝:包从网卡到分析程序,字节不挪窝。
- 分摊负载:用多个核,但同一条连接始终留在同一个核上。
- 别添乱:不让中断、其他进程或内存布局偷走 worker 的 CPU 周期。
整体设计
SPAN / TAP (10G)
│
┌────────▼─────────────────────────────────────────────┐
│ 网卡 │
│ 多队列接收、硬件 RSS、关闭各类 offload │
└────────┬─────────────────────────────────────────────┘
│ DMA 直接写入预先映射好的缓冲区(零拷贝)
┌────────▼─────────────────────────────────────────────┐
│ PF_RING ZC 驱动 + 内核模块 │
│ 环形缓冲区放在大页内存中,映射到用户态 │
└────────┬─────────────────────────────────────────────┘
│
┌────────▼─────────────────────────────────────────────┐
│ 负载均衡进程(独占一个核) │
│ 对称五元组哈希 -> 队列编号 │
│ 可同时分发给多组消费者 │
└───┬──────────┬──────────┬──────────┬─────────────────┘
│ q0 │ q1 │ ... │ qN-1 (共享内存,无锁)
┌───▼───┐ ┌───▼───┐ ┌───▼───┐ ┌───▼───┐
│ DPI │ │ DPI │ │ DPI │ │ DPI │ 每个隔离核一个 worker
│ wkr 0 │ │ wkr 1 │ │ ... │ │ wkr N │
└───────┘ └───────┘ └───────┘ └───────┘
用 PF_RING ZC 实现零拷贝
PF_RING 是 ntop 项目开源的抓包框架。它的 ZC(Zero Copy,零拷贝)模式使用改造过的网卡驱动,让网卡把包通过 DMA 直接写进同时映射到用户态进程的内存缓冲区。应用程序就在网卡放包的地方读包:没有 socket buffer,没有协议栈,也没有 recvfrom() 的那次拷贝。
用户态这边用轮询而不是等中断。流量小的时候轮询也会占满一个核,但在高速率下它比”每批包一次中断”便宜得多,延迟也变得可预期。
负载均衡进程
网卡本身就能用 RSS(Receive Side Scaling,网卡对包头做哈希并据此选队列)把包分散到多个硬件队列。为什么还要在上面再加一个软件均衡器?
- 掌控哈希方式。 很多网卡默认的 RSS 哈希是非对称的,同一条 TCP 连接的去向和回向可能落到不同队列。只看到半边对话的 DPI 引擎没法重组数据流。软件均衡器让我们可以选择对称哈希。
- 解耦 worker 数量。 硬件队列数由网卡决定,而分析 worker 的数量取决于能腾出多少核。均衡器负责在两者之间做映射。
- 一份流量,多方消费。 同一个包可以同时交给多组消费者,比如 8 个 Suricata worker 和 4 个 Zeek worker,而无需复制两遍。每组消费者有自己的一组队列,指向同一批缓冲区。
- 可观测。 进来多少包、每个队列多少包、丢了多少,都在一个地方统计。
PF_RING 自带一个小巧的零拷贝均衡工具,正好干这件事。分发给 worker 走的是共享内存的无锁队列:每个 worker 通过集群 ID 和队列编号挂到自己的队列上。
分发模式的选择
| 模式 | 原理 | 适用场景 | 问题 |
|---|---|---|---|
| 轮询 | 下一个包 → 下一个队列 | 无状态计数 | 会破坏所有有状态的分析器 |
| 按流(五元组) | 对源/目的 IP、源/目的端口、协议做哈希 | DPI、IDS、流日志 | 超大流(大象流)可能压垮某一个 worker |
| 按 IP 对(二元组) | 只对源/目的 IP 做哈希 | 分片包、动态端口协议(FTP 数据通道、SIP) | 均衡粒度较粗 |
| 自定义 | 自己写哈希函数 | 隧道、特殊封装 | 需要自己维护 |
对 DPI 平台来说,答案几乎总是对称的按流哈希。“对称”指交换源和目的之后哈希结果不变。常见做法是在哈希前把两端组合成与顺序无关的值:
/* 示意:对称流哈希 */
static inline uint32_t flow_hash(uint32_t sip, uint32_t dip,
uint16_t sp, uint16_t dp, uint8_t proto)
{
uint32_t a = sip ^ dip; /* 异或与顺序无关 */
uint32_t b = (uint32_t)(sp ^ dp);
uint32_t h = a * 0x9E3779B1u ^ (b << 16 | proto);
return h ^ (h >> 15);
}
/* queue = flow_hash(...) % num_workers; */
有一点要注意:IP 分片除了第一片,其余分片都不带端口。如果哈希里包含端口,同一个数据报的分片可能被打散。要么在均衡前先重组分片,要么对分片退回到二元组哈希。
让机器”听话”
零拷贝去掉了最大的开销,剩下的时间预算主要被机器本身吃掉。下面是影响最大的几项调优。
1. 给 CPU 分区
一个典型的 16 核划分:
core 0-1 操作系统、网卡中断、杂务
core 2 负载均衡进程
core 3-9 Suricata worker
core 10-13 Zeek worker
core 14-15 本地服务(Redis、管道 agent)
然后用 isolcpus、nohz_full、rcu_nocbs 等启动参数让内核别碰 worker 核,再用 CPU 亲和性把每个 worker 绑上去。被隔离的核只跑一个线程,没有调度时钟打扰,也没有别的任务来冲掉它的缓存。
2. 中断远离 worker
通过 IRQ 亲和性设置,把网卡和磁盘中断都绑到杂务核上,并关掉 irqbalance(它会”好心”地把中断挪回去)。
3. 尊重 NUMA
双路服务器上,每块网卡挂在某一个 CPU 插槽的 PCIe 通道上。如果均衡器和 worker 跑在另一个插槽上,每个包都要跨一次插槽间互联。经验法则:网卡、它的内存缓冲区、均衡器、读这块网卡的 worker,都应该在同一个 NUMA 节点上。 用 numactl 或抓包库自带的绑定选项,选核之前先确认网卡在哪个节点。
4. 使用大页内存
包环形缓冲区很大。用 4 KB 页需要成千上万个 TLB 表项,用 2 MB 大页只要几个。开机时就在正确的 NUMA 节点上预留大页,保证随时可用且物理连续。
5. 关闭网卡 offload
GRO/LRO(把多个小包合并成大包)、TSO/GSO 这类 offload 对服务器是好事,对探针是坏事。它们改写了线上的真实情况:IDS 看到一个从未在网络上出现过的 64 KB “大包”,藏在分段边界里的逃逸手法也随之消失。采集口上要关掉这些功能,同时把网卡接收环调大:
# 示意:准备一个采集网口
ethtool -K cap0 gro off lro off tso off gso off rx-vlan-offload off
ethtool -G cap0 rx 4096
ethtool -L cap0 combined 8
6. 尽早过滤
如果某些流量明确没有检测价值(备份任务、存储复制),可以在采集阶段、均衡器之前就用 BPF 过滤掉。每少投递一个包,就省一份 CPU。但这里要保守:被过滤掉的东西,对所有检测器都是不可见的。
盯住丢包
量不出来的东西就修不了。丢包会发生在三个地方,每处都需要单独的计数器:
| 位置 | 含义 | 常见原因 |
|---|---|---|
| 网卡(rx_missed / rx_no_buffer) | 网卡没地方 DMA 这个包 | 接收环太小、均衡器太慢 |
| 均衡器 → 队列 | 某个 worker 的队列满了 | 这个 worker 过载 |
| 分析引擎内部 | 引擎跳过或截断了处理 | 内存上限被打满、规则开销大 |
可以写个小脚本,由 cron 或进程监控每分钟跑一次:检查均衡器进程是否存活、读取各队列计数、丢包率超过阈值(比如 0.1%)就记告警。再把这些数字送进指标系统(见第 15 篇),“我们觉得没问题”就变成了一张看得见的曲线。
队列不均衡值得单独检查。如果某个 worker 收到的包远超平均,通常不是哈希的问题,而是流量本身:一条巨大的备份流,或者大部分用户都在访问同一个代理。对称按流哈希无法拆分单条流。可选的办法有:过滤掉这条流、给它分配专用 worker,或者接受丢包并对此告警。
坑与取舍
- 驱动绑定。 零拷贝需要特定型号的网卡和匹配版本的驱动,内核一升级,驱动编译可能就挂了。内核和驱动版本要一起锁定,在发布清单里当成一个整体。
- 永远留一条退路。 不是每个部署都有受支持的网卡(虚拟机、云主机、杂牌硬件)。采集层应该能通过一个配置开关退回到标准 PF_RING、AF_PACKET 或 libpcap,接受更低的吞吐。
- 轮询吃电也吃核。 忙轮询的均衡器半夜也会把一个核跑满。这是换取可预期延迟的代价,要提前算进预算。
- 隧道与 VLAN。 镜像过来的流量常常裹着 VLAN 标签、GRE 或 VXLAN。如果哈希只看外层头,所有隧道流量都会挤到一个 worker 上。有隧道时要按内层头哈希。
- 时间同步。 检测和关联要比较不同探针的时间戳。采集主机要用硬件时钟或可靠的 NTP,否则多探针的时间线会”说谎”。
- 用真实的流量形态测试。 回放大文件传输能轻松跑满线速、零丢包;回放小包 DNS 洪水才能看到真正的上限。两种都要测。
下一篇
现在,包已经完整地到达了各个隔离核,每条连接都没被拆散。下一篇我们看读包的那一层:作为 DPI 引擎的 Suricata 如何把数据流变成告警、元数据和还原文件,以及一个大规模规则集是如何组织、分类并保持同步的。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments