Wuming 無名

Blog

万兆流量采集与零拷贝(二)

· In Chinese · Technology

上一篇:全景:一套网络威胁检测平台 · 下一篇:Suricata 深度包检测与规则管理

网络安全平台里的每一次检测,都建立在一个朴素的承诺上:这个包我们看到了。如果采集层在高负载下丢了 2% 的流量,丢的并不是随机的 2%,而是集中在突发时段,恰恰是攻击正在发生、或者大文件正在传输的时候。TCP 流中间少一个包,DPI 引擎就可能放弃重组,里面的文件或漏洞利用代码也就永远不会被检查到。

本篇讲的是第一篇架构图里最底下那个框:流量怎样从镜像口进入按核划分的队列,让 Suricata 和 Zeek 能以 10 Gbps 以上的速率读取;以及为此需要在网卡、内核和 CPU 上做哪些调优。

问题:每个包只有 67 纳秒

万兆听起来是带宽问题,本质上其实是每秒包数(pps)的问题。

包长 10 Gbps 下每秒包数 每个包的时间预算
64 字节(最小) 约 1488 万 约 67 ns
512 字节 约 235 万 约 425 ns
1500 字节 约 82 万 约 1.2 µs

真实流量是混合的,但小包突发(DNS、TCP ACK、扫描)非常常见。一次访问主存的缓存未命中大约就要 100 ns,一次系统调用更贵。Linux 的标准路径是:驱动构造 socket buffer,内核走一遍协议栈,libpcap 再把包拷贝到用户态。这一套在单核上根本塞不进这个时间预算。

所以采集层要做三件事:

  1. 不拷贝:包从网卡到分析程序,字节不挪窝。
  2. 分摊负载:用多个核,但同一条连接始终留在同一个核上。
  3. 别添乱:不让中断、其他进程或内存布局偷走 worker 的 CPU 周期。

整体设计

   SPAN / TAP (10G)
         │
┌────────▼─────────────────────────────────────────────┐
│ 网卡                                                 │
│  多队列接收、硬件 RSS、关闭各类 offload              │
└────────┬─────────────────────────────────────────────┘
         │ DMA 直接写入预先映射好的缓冲区(零拷贝)
┌────────▼─────────────────────────────────────────────┐
│ PF_RING ZC 驱动 + 内核模块                           │
│  环形缓冲区放在大页内存中,映射到用户态              │
└────────┬─────────────────────────────────────────────┘
         │
┌────────▼─────────────────────────────────────────────┐
│ 负载均衡进程(独占一个核)                           │
│  对称五元组哈希 -> 队列编号                          │
│  可同时分发给多组消费者                              │
└───┬──────────┬──────────┬──────────┬─────────────────┘
    │ q0       │ q1       │ ...      │ qN-1   (共享内存,无锁)
┌───▼───┐  ┌───▼───┐  ┌───▼───┐  ┌───▼───┐
│ DPI   │  │ DPI   │  │ DPI   │  │ DPI   │   每个隔离核一个 worker
│ wkr 0 │  │ wkr 1 │  │  ...  │  │ wkr N │
└───────┘  └───────┘  └───────┘  └───────┘

用 PF_RING ZC 实现零拷贝

PF_RING 是 ntop 项目开源的抓包框架。它的 ZC(Zero Copy,零拷贝)模式使用改造过的网卡驱动,让网卡把包通过 DMA 直接写进同时映射到用户态进程的内存缓冲区。应用程序就在网卡放包的地方读包:没有 socket buffer,没有协议栈,也没有 recvfrom() 的那次拷贝。

用户态这边用轮询而不是等中断。流量小的时候轮询也会占满一个核,但在高速率下它比”每批包一次中断”便宜得多,延迟也变得可预期。

负载均衡进程

网卡本身就能用 RSS(Receive Side Scaling,网卡对包头做哈希并据此选队列)把包分散到多个硬件队列。为什么还要在上面再加一个软件均衡器?

  • 掌控哈希方式。 很多网卡默认的 RSS 哈希是非对称的,同一条 TCP 连接的去向和回向可能落到不同队列。只看到半边对话的 DPI 引擎没法重组数据流。软件均衡器让我们可以选择对称哈希。
  • 解耦 worker 数量。 硬件队列数由网卡决定,而分析 worker 的数量取决于能腾出多少核。均衡器负责在两者之间做映射。
  • 一份流量,多方消费。 同一个包可以同时交给多组消费者,比如 8 个 Suricata worker 和 4 个 Zeek worker,而无需复制两遍。每组消费者有自己的一组队列,指向同一批缓冲区。
  • 可观测。 进来多少包、每个队列多少包、丢了多少,都在一个地方统计。

PF_RING 自带一个小巧的零拷贝均衡工具,正好干这件事。分发给 worker 走的是共享内存的无锁队列:每个 worker 通过集群 ID 和队列编号挂到自己的队列上。

分发模式的选择

模式 原理 适用场景 问题
轮询 下一个包 → 下一个队列 无状态计数 会破坏所有有状态的分析器
按流(五元组) 对源/目的 IP、源/目的端口、协议做哈希 DPI、IDS、流日志 超大流(大象流)可能压垮某一个 worker
按 IP 对(二元组) 只对源/目的 IP 做哈希 分片包、动态端口协议(FTP 数据通道、SIP) 均衡粒度较粗
自定义 自己写哈希函数 隧道、特殊封装 需要自己维护

对 DPI 平台来说,答案几乎总是对称的按流哈希。“对称”指交换源和目的之后哈希结果不变。常见做法是在哈希前把两端组合成与顺序无关的值:

/* 示意:对称流哈希 */
static inline uint32_t flow_hash(uint32_t sip, uint32_t dip,
                                 uint16_t sp,  uint16_t dp, uint8_t proto)
{
    uint32_t a = sip ^ dip;           /* 异或与顺序无关 */
    uint32_t b = (uint32_t)(sp ^ dp);
    uint32_t h = a * 0x9E3779B1u ^ (b << 16 | proto);
    return h ^ (h >> 15);
}
/* queue = flow_hash(...) % num_workers; */

有一点要注意:IP 分片除了第一片,其余分片都不带端口。如果哈希里包含端口,同一个数据报的分片可能被打散。要么在均衡前先重组分片,要么对分片退回到二元组哈希。

让机器”听话”

零拷贝去掉了最大的开销,剩下的时间预算主要被机器本身吃掉。下面是影响最大的几项调优。

1. 给 CPU 分区

一个典型的 16 核划分:

core  0-1   操作系统、网卡中断、杂务
core  2     负载均衡进程
core  3-9   Suricata worker
core 10-13  Zeek worker
core 14-15  本地服务(Redis、管道 agent)

然后用 isolcpus、nohz_full、rcu_nocbs 等启动参数让内核别碰 worker 核,再用 CPU 亲和性把每个 worker 绑上去。被隔离的核只跑一个线程,没有调度时钟打扰,也没有别的任务来冲掉它的缓存。

2. 中断远离 worker

通过 IRQ 亲和性设置,把网卡和磁盘中断都绑到杂务核上,并关掉 irqbalance(它会”好心”地把中断挪回去)。

3. 尊重 NUMA

双路服务器上,每块网卡挂在某一个 CPU 插槽的 PCIe 通道上。如果均衡器和 worker 跑在另一个插槽上,每个包都要跨一次插槽间互联。经验法则:网卡、它的内存缓冲区、均衡器、读这块网卡的 worker,都应该在同一个 NUMA 节点上。 用 numactl 或抓包库自带的绑定选项,选核之前先确认网卡在哪个节点。

4. 使用大页内存

包环形缓冲区很大。用 4 KB 页需要成千上万个 TLB 表项,用 2 MB 大页只要几个。开机时就在正确的 NUMA 节点上预留大页,保证随时可用且物理连续。

5. 关闭网卡 offload

GRO/LRO(把多个小包合并成大包)、TSO/GSO 这类 offload 对服务器是好事,对探针是坏事。它们改写了线上的真实情况:IDS 看到一个从未在网络上出现过的 64 KB “大包”,藏在分段边界里的逃逸手法也随之消失。采集口上要关掉这些功能,同时把网卡接收环调大:

# 示意:准备一个采集网口
ethtool -K cap0 gro off lro off tso off gso off rx-vlan-offload off
ethtool -G cap0 rx 4096
ethtool -L cap0 combined 8

6. 尽早过滤

如果某些流量明确没有检测价值(备份任务、存储复制),可以在采集阶段、均衡器之前就用 BPF 过滤掉。每少投递一个包,就省一份 CPU。但这里要保守:被过滤掉的东西,对所有检测器都是不可见的。

盯住丢包

量不出来的东西就修不了。丢包会发生在三个地方,每处都需要单独的计数器:

位置 含义 常见原因
网卡(rx_missed / rx_no_buffer) 网卡没地方 DMA 这个包 接收环太小、均衡器太慢
均衡器 → 队列 某个 worker 的队列满了 这个 worker 过载
分析引擎内部 引擎跳过或截断了处理 内存上限被打满、规则开销大

可以写个小脚本,由 cron 或进程监控每分钟跑一次:检查均衡器进程是否存活、读取各队列计数、丢包率超过阈值(比如 0.1%)就记告警。再把这些数字送进指标系统(见第 15 篇),“我们觉得没问题”就变成了一张看得见的曲线。

队列不均衡值得单独检查。如果某个 worker 收到的包远超平均,通常不是哈希的问题,而是流量本身:一条巨大的备份流,或者大部分用户都在访问同一个代理。对称按流哈希无法拆分单条流。可选的办法有:过滤掉这条流、给它分配专用 worker,或者接受丢包并对此告警。

坑与取舍

  • 驱动绑定。 零拷贝需要特定型号的网卡和匹配版本的驱动,内核一升级,驱动编译可能就挂了。内核和驱动版本要一起锁定,在发布清单里当成一个整体。
  • 永远留一条退路。 不是每个部署都有受支持的网卡(虚拟机、云主机、杂牌硬件)。采集层应该能通过一个配置开关退回到标准 PF_RING、AF_PACKET 或 libpcap,接受更低的吞吐。
  • 轮询吃电也吃核。 忙轮询的均衡器半夜也会把一个核跑满。这是换取可预期延迟的代价,要提前算进预算。
  • 隧道与 VLAN。 镜像过来的流量常常裹着 VLAN 标签、GRE 或 VXLAN。如果哈希只看外层头,所有隧道流量都会挤到一个 worker 上。有隧道时要按内层头哈希。
  • 时间同步。 检测和关联要比较不同探针的时间戳。采集主机要用硬件时钟或可靠的 NTP,否则多探针的时间线会”说谎”。
  • 用真实的流量形态测试。 回放大文件传输能轻松跑满线速、零丢包;回放小包 DNS 洪水才能看到真正的上限。两种都要测。

下一篇

现在,包已经完整地到达了各个隔离核,每条连接都没被拆散。下一篇我们看读包的那一层:作为 DPI 引擎的 Suricata 如何把数据流变成告警、元数据和还原文件,以及一个大规模规则集是如何组织、分类并保持同步的。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.