# 万兆流量采集与零拷贝（二）

- URL: https://wuming.si/blog/4010/
- Author: Wuming
- Published: 2025-01-28
- Language: zh-Hans
- Categories: Technology

> 上一篇：[全景：一套网络威胁检测平台](https://wuming.si/blog/4009) · 下一篇：[Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)

网络安全平台里的每一次检测，都建立在一个朴素的承诺上：这个包我们看到了。如果采集层在高负载下丢了 2% 的流量，丢的并不是随机的 2%，而是集中在突发时段，恰恰是攻击正在发生、或者大文件正在传输的时候。TCP 流中间少一个包，DPI 引擎就可能放弃重组，里面的文件或漏洞利用代码也就永远不会被检查到。

本篇讲的是[第一篇](https://wuming.si/blog/4009)架构图里最底下那个框：流量怎样从镜像口进入按核划分的队列，让 Suricata 和 Zeek 能以 10 Gbps 以上的速率读取；以及为此需要在网卡、内核和 CPU 上做哪些调优。

## 问题：每个包只有 67 纳秒

万兆听起来是带宽问题，本质上其实是每秒包数（pps）的问题。

| 包长 | 10 Gbps 下每秒包数 | 每个包的时间预算 |
|---|---|---|
| 64 字节（最小） | 约 1488 万 | 约 67 ns |
| 512 字节 | 约 235 万 | 约 425 ns |
| 1500 字节 | 约 82 万 | 约 1.2 µs |

真实流量是混合的，但小包突发（DNS、TCP ACK、扫描）非常常见。一次访问主存的缓存未命中大约就要 100 ns，一次系统调用更贵。Linux 的标准路径是：驱动构造 socket buffer，内核走一遍协议栈，libpcap 再把包拷贝到用户态。这一套在单核上根本塞不进这个时间预算。

所以采集层要做三件事：

1. **不拷贝**：包从网卡到分析程序，字节不挪窝。
2. **分摊负载**：用多个核，但同一条连接始终留在同一个核上。
3. **别添乱**：不让中断、其他进程或内存布局偷走 worker 的 CPU 周期。

## 整体设计

```
   SPAN / TAP (10G)
         │
┌────────▼─────────────────────────────────────────────┐
│ 网卡                                                 │
│  多队列接收、硬件 RSS、关闭各类 offload              │
└────────┬─────────────────────────────────────────────┘
         │ DMA 直接写入预先映射好的缓冲区（零拷贝）
┌────────▼─────────────────────────────────────────────┐
│ PF_RING ZC 驱动 + 内核模块                           │
│  环形缓冲区放在大页内存中，映射到用户态              │
└────────┬─────────────────────────────────────────────┘
         │
┌────────▼─────────────────────────────────────────────┐
│ 负载均衡进程（独占一个核）                           │
│  对称五元组哈希 -> 队列编号                          │
│  可同时分发给多组消费者                              │
└───┬──────────┬──────────┬──────────┬─────────────────┘
    │ q0       │ q1       │ ...      │ qN-1   （共享内存，无锁）
┌───▼───┐  ┌───▼───┐  ┌───▼───┐  ┌───▼───┐
│ DPI   │  │ DPI   │  │ DPI   │  │ DPI   │   每个隔离核一个 worker
│ wkr 0 │  │ wkr 1 │  │  ...  │  │ wkr N │
└───────┘  └───────┘  └───────┘  └───────┘
```

### 用 PF_RING ZC 实现零拷贝

**PF_RING** 是 ntop 项目开源的抓包框架。它的 **ZC**（Zero Copy，零拷贝）模式使用改造过的网卡驱动，让网卡把包通过 DMA 直接写进同时映射到用户态进程的内存缓冲区。应用程序就在网卡放包的地方读包：没有 socket buffer，没有协议栈，也没有 `recvfrom()` 的那次拷贝。

用户态这边用轮询而不是等中断。流量小的时候轮询也会占满一个核，但在高速率下它比"每批包一次中断"便宜得多，延迟也变得可预期。

### 负载均衡进程

网卡本身就能用 **RSS**（Receive Side Scaling，网卡对包头做哈希并据此选队列）把包分散到多个硬件队列。为什么还要在上面再加一个软件均衡器？

- **掌控哈希方式。** 很多网卡默认的 RSS 哈希是非对称的，同一条 TCP 连接的去向和回向可能落到不同队列。只看到半边对话的 DPI 引擎没法重组数据流。软件均衡器让我们可以选择**对称**哈希。
- **解耦 worker 数量。** 硬件队列数由网卡决定，而分析 worker 的数量取决于能腾出多少核。均衡器负责在两者之间做映射。
- **一份流量，多方消费。** 同一个包可以同时交给多组消费者，比如 8 个 Suricata worker 和 4 个 Zeek worker，而无需复制两遍。每组消费者有自己的一组队列，指向同一批缓冲区。
- **可观测。** 进来多少包、每个队列多少包、丢了多少，都在一个地方统计。

PF_RING 自带一个小巧的零拷贝均衡工具，正好干这件事。分发给 worker 走的是共享内存的无锁队列：每个 worker 通过集群 ID 和队列编号挂到自己的队列上。

### 分发模式的选择

| 模式 | 原理 | 适用场景 | 问题 |
|---|---|---|---|
| 轮询 | 下一个包 → 下一个队列 | 无状态计数 | 会破坏所有有状态的分析器 |
| 按流（五元组） | 对源/目的 IP、源/目的端口、协议做哈希 | DPI、IDS、流日志 | 超大流（大象流）可能压垮某一个 worker |
| 按 IP 对（二元组） | 只对源/目的 IP 做哈希 | 分片包、动态端口协议（FTP 数据通道、SIP） | 均衡粒度较粗 |
| 自定义 | 自己写哈希函数 | 隧道、特殊封装 | 需要自己维护 |

对 DPI 平台来说，答案几乎总是**对称的按流哈希**。"对称"指交换源和目的之后哈希结果不变。常见做法是在哈希前把两端组合成与顺序无关的值：

```c
/* 示意：对称流哈希 */
static inline uint32_t flow_hash(uint32_t sip, uint32_t dip,
                                 uint16_t sp,  uint16_t dp, uint8_t proto)
{
    uint32_t a = sip ^ dip;           /* 异或与顺序无关 */
    uint32_t b = (uint32_t)(sp ^ dp);
    uint32_t h = a * 0x9E3779B1u ^ (b << 16 | proto);
    return h ^ (h >> 15);
}
/* queue = flow_hash(...) % num_workers; */
```

有一点要注意：IP 分片除了第一片，其余分片都不带端口。如果哈希里包含端口，同一个数据报的分片可能被打散。要么在均衡前先重组分片，要么对分片退回到二元组哈希。

## 让机器"听话"

零拷贝去掉了最大的开销，剩下的时间预算主要被机器本身吃掉。下面是影响最大的几项调优。

### 1. 给 CPU 分区

一个典型的 16 核划分：

```
core  0-1   操作系统、网卡中断、杂务
core  2     负载均衡进程
core  3-9   Suricata worker
core 10-13  Zeek worker
core 14-15  本地服务（Redis、管道 agent）
```

然后用 `isolcpus`、`nohz_full`、`rcu_nocbs` 等启动参数让内核别碰 worker 核，再用 CPU 亲和性把每个 worker 绑上去。被隔离的核只跑一个线程，没有调度时钟打扰，也没有别的任务来冲掉它的缓存。

### 2. 中断远离 worker

通过 IRQ 亲和性设置，把网卡和磁盘中断都绑到杂务核上，并关掉 `irqbalance`（它会"好心"地把中断挪回去）。

### 3. 尊重 NUMA

双路服务器上，每块网卡挂在某一个 CPU 插槽的 PCIe 通道上。如果均衡器和 worker 跑在另一个插槽上，每个包都要跨一次插槽间互联。经验法则：**网卡、它的内存缓冲区、均衡器、读这块网卡的 worker，都应该在同一个 NUMA 节点上。** 用 `numactl` 或抓包库自带的绑定选项，选核之前先确认网卡在哪个节点。

### 4. 使用大页内存

包环形缓冲区很大。用 4 KB 页需要成千上万个 TLB 表项，用 2 MB 大页只要几个。开机时就在正确的 NUMA 节点上预留大页，保证随时可用且物理连续。

### 5. 关闭网卡 offload

**GRO/LRO**（把多个小包合并成大包）、**TSO/GSO** 这类 offload 对服务器是好事，对探针是坏事。它们改写了线上的真实情况：IDS 看到一个从未在网络上出现过的 64 KB "大包"，藏在分段边界里的逃逸手法也随之消失。采集口上要关掉这些功能，同时把网卡接收环调大：

```bash
# 示意：准备一个采集网口
ethtool -K cap0 gro off lro off tso off gso off rx-vlan-offload off
ethtool -G cap0 rx 4096
ethtool -L cap0 combined 8
```

### 6. 尽早过滤

如果某些流量明确没有检测价值（备份任务、存储复制），可以在采集阶段、均衡器之前就用 BPF 过滤掉。每少投递一个包，就省一份 CPU。但这里要保守：被过滤掉的东西，对所有检测器都是不可见的。

## 盯住丢包

量不出来的东西就修不了。丢包会发生在三个地方，每处都需要单独的计数器：

| 位置 | 含义 | 常见原因 |
|---|---|---|
| 网卡（rx_missed / rx_no_buffer） | 网卡没地方 DMA 这个包 | 接收环太小、均衡器太慢 |
| 均衡器 → 队列 | 某个 worker 的队列满了 | 这个 worker 过载 |
| 分析引擎内部 | 引擎跳过或截断了处理 | 内存上限被打满、规则开销大 |

可以写个小脚本，由 cron 或进程监控每分钟跑一次：检查均衡器进程是否存活、读取各队列计数、丢包率超过阈值（比如 0.1%）就记告警。再把这些数字送进指标系统（见第 15 篇），"我们觉得没问题"就变成了一张看得见的曲线。

队列不均衡值得单独检查。如果某个 worker 收到的包远超平均，通常不是哈希的问题，而是流量本身：一条巨大的备份流，或者大部分用户都在访问同一个代理。对称按流哈希无法拆分单条流。可选的办法有：过滤掉这条流、给它分配专用 worker，或者接受丢包并对此告警。

## 坑与取舍

- **驱动绑定。** 零拷贝需要特定型号的网卡和匹配版本的驱动，内核一升级，驱动编译可能就挂了。内核和驱动版本要一起锁定，在发布清单里当成一个整体。
- **永远留一条退路。** 不是每个部署都有受支持的网卡（虚拟机、云主机、杂牌硬件）。采集层应该能通过一个配置开关退回到标准 PF_RING、AF_PACKET 或 libpcap，接受更低的吞吐。
- **轮询吃电也吃核。** 忙轮询的均衡器半夜也会把一个核跑满。这是换取可预期延迟的代价，要提前算进预算。
- **隧道与 VLAN。** 镜像过来的流量常常裹着 VLAN 标签、GRE 或 VXLAN。如果哈希只看外层头，所有隧道流量都会挤到一个 worker 上。有隧道时要按内层头哈希。
- **时间同步。** 检测和关联要比较不同探针的时间戳。采集主机要用硬件时钟或可靠的 NTP，否则多探针的时间线会"说谎"。
- **用真实的流量形态测试。** 回放大文件传输能轻松跑满线速、零丢包；回放小包 DNS 洪水才能看到真正的上限。两种都要测。

## 下一篇

现在，包已经完整地到达了各个隔离核，每条连接都没被拆散。下一篇我们看读包的那一层：作为 DPI 引擎的 Suricata 如何把数据流变成告警、元数据和还原文件，以及一个大规模规则集是如何组织、分类并保持同步的。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
