Wuming 無名

Blog

基于 Suricata 的深度包检测与规则管理(三)

· In Chinese · Technology

上一篇:万兆流量采集 · 下一篇:Zeek 协议分析

上一篇我们把数据包送到了隔离的 CPU 核上,并保证每条连接都落在同一个 worker。接下来要有人读这些包。在这套平台里,干这活的是 Suricata,一个开源的 IDS/IPS(入侵检测/防御系统)引擎。它紧挨着采集层,系统其余部分消费的东西几乎都由它产出:告警、协议元数据和还原出来的文件。

DPI 引擎的水平取决于它的规则,所以本篇分两半。前一半讲引擎:包怎样变成流,流怎样变成协议事务,事务又怎样被匹配。后一半讲规则管理:大规模规则集从哪来,每条规则如何分类、如何映射到杀伤链阶段,更新又怎样下发到探针而不冲掉本地的调优成果。

上半场:引擎

处理流水线

 按核划分的包队列(来自采集层)
        │
 ┌──────▼──────┐  以太网 / VLAN / MPLS / IP / TCP / UDP 头解析,
 │ 解码        │  IP 分片重组
 └──────┬──────┘
 ┌──────▼──────┐  五元组流表、按协议设置超时、
 │ 流管理      │  内存上限与紧急回收
 └──────┬──────┘
 ┌──────▼──────┐  双向 TCP 流重组、乱序处理、
 │ 流重组      │  每条流的重组深度上限
 └──────┬──────┘
 ┌──────▼──────┐  按内容而非端口识别协议;
 │ 应用层解析  │  HTTP、DNS、TLS、SMB、SMTP、FTP、SSH 等
 └──┬───┬───┬──┘
    │   │   │
    ▼   ▼   ▼
  检测 文件 日志
    │   │   │
 ┌──▼───▼───▼──┐  告警、协议记录、文件信息
 │ 输出        │  -> JSON 文件、ZeroMQ 流、文件存储
 └─────────────┘

引擎以 workers 模式运行:每个线程从一个队列取包,从头到尾跑完整条流水线。线程之间不交接,热路径上没有锁;又因为均衡器保证了同一条流不被拆散,每个线程完全独占自己的那些流。

为什么应用层解析很重要

朴素的 IDS 直接在原始包字节里搜索。一旦 URL 被拆在两个 TCP 分段里、被 gzip 压缩、或者跑在非标准端口上,这种做法就失效了。Suricata 先重组数据流再解析协议,规则就可以针对规范化后的缓冲区来写,比如”HTTP URI”、“DNS 查询名”或”TLS SNI”(Server Name Indication,客户端在 TLS 握手里声明要访问的主机名)。这样规则既更精确也更省:引擎只需搜索规则关心的那个缓冲区。

协议识别基于内容。跑在 8081 端口上的 HTTP 依然会被认作 HTTP,单这一点就堵住了很多低成本的逃逸手法。

规模化的快速匹配

在数万条规则同时启用的情况下,让每条规则都去匹配每个包是不可能的。Suricata 用多模式匹配器做预过滤:每条规则指定一个”快速模式”(fast pattern),即规则要命中就必须出现的一段字面串。所有快速模式被编译进同一个自动机(在较新的 Intel CPU 上用 Hyperscan),每个缓冲区只扫一遍,就能得到值得完整评估的一小撮规则。没有好的快速模式的规则正是拖慢性能的元凶,在规则性能分析(profiling)里一目了然。

三类输出

1. 告警。 某条规则命中了。告警记录包含签名 ID、消息、分类、严重度、流标识,还可以附带触发它的载荷和 HTTP 请求。

2. 协议元数据。 即使没有告警,引擎也会记录:每个 HTTP 事务、每个 DNS 查询与应答、每次 TLS 握手(含 SNI、证书主体与签发者,以及 JA3 指纹,即对客户端 TLS hello 参数做的哈希,可用来识别客户端软件)、SMTP 会话、SSH 标识,以及每条连接一条流记录。威胁情报匹配、机器学习检测和分析人员真正依赖的就是这些数据。它的量也比告警大 10 到 100 倍。

3. 文件。 引擎能把 HTTP、SMTP、FTP、SMB 上传输的文件重组出来,计算 MD5/SHA-1/SHA-256,按魔数(而不是文件名)识别真实类型,并把选定类型写到磁盘,交给沙箱和杀毒引擎。

一个示意性的输出配置:

# 仅作示意
outputs:
  - eve-log:
      filetype: regular            # 落盘一份,可靠
      filename: eve.json
      types: [alert, http, dns, tls, files, smtp, ssh, flow]
  - eve-log:
      filetype: zmq                # 实时推送给事件管道
      address: "<pipeline endpoint>"
      types: [alert, http, dns, tls, files]
  - file-store:
      enabled: yes
      force-hash: [sha256]

同时写本地文件和实时流是有意为之。实时流喂给实时管道(第 5 篇);本地文件是管道宕机时的兜底,也是离线回放的数据源。

哪些文件值得留

把每张图片、每个样式表都还原出来,会把磁盘和沙箱一起淹没。所以需要一个小策略,按检测出的真实类型决定留什么:

保留 通常跳过
可执行文件和库(PE、ELF、DEX/APK、JAR) 图片、字体、CSS
Office 文档和 PDF 音视频流
压缩包(ZIP、RAR、7z、gzip) 极小的文件
以下载形式投递的脚本 超过大小上限的文件

先做一次很快的魔数检查(例如 Windows 可执行文件以 MZ 开头,Linux 二进制以 \x7fELF 开头,PDF 以 %PDF- 开头),再做更重的处理。交给下游前先按哈希去重,能省下大量沙箱时间:300 名员工下载的同一个安装包,只需分析一次。

IDS 还是 IPS

串联(IPS)模式下,引擎可以丢弃或拒绝数据包;旁路模式下(镜像口探针的常见情形)只告警。这里的部署大多是旁路的,所以”阻断”是通过把指标下发给防火墙来实现的,而不是引擎自己动手。

关键的引擎调优项

调优项 作用 代价
流表内存上限与预分配 能容纳多少并发流 太小 → 进入紧急模式,流被提前淘汰
流重组深度 每条流检查到多深 越深 → CPU 和内存越多,大传输看得越全
禁用高噪声规则 减少无意义告警 每禁一条就多一个盲点
采集阶段 BPF 过滤 跳过明确无关的流量 对所有检测器都不可见
CPU 亲和性分组 管理、收包、worker 线程分开 需要仔细的核规划(见第 2 篇)

每条流约 1 MB 的重组深度是比较常见的折中:大多数攻击在连接的前段就会露出端倪,而超出这个深度的大块传输主要是载荷,交给文件还原单独处理即可。

下半场:规则管理

规则从哪里来

来源 覆盖范围
开源社区规则集(例如 Emerging Threats Open) 恶意软件、漏洞利用、扫描、Web 攻击、策略违规
自研规则 社区规则漏掉的部分、本地特有的应用
由情报生成的规则 来自情报源的恶意 IP、域名、证书
协议异常规则 违反 RFC 的行为、畸形报文
攻击结果研判规则 通过响应判断攻击是否得手
文件类型规则 用魔数模式快速识别文件类型

攻击结果研判规则是个小点子,回报却很大。SQL 注入尝试在互联网上是司空见惯的背景噪音;但响应里紧接着出现数据库报错信息的 SQL 注入尝试,是分析人员今天就该看的东西。一组示意规则:

# 仅作示意
alert http any any -> $HOME_NET any (msg:"Web SQLi attempt in URI";
  flow:to_server,established; http.uri; content:"union select"; nocase;
  classtype:web-application-attack; sid:1000101; rev:1;)

alert http $HOME_NET any -> any any (msg:"Possible successful SQLi: DB error in response";
  flow:to_client,established; http.response_body; content:"SQL syntax"; nocase;
  classtype:successful-admin; sid:1000102; rev:1;)

当第二条在同一条流上出现时,关联层就可以把第一条告警升级。

一条规则不只是一条规则

一条原始的 Suricata 规则说的是”如果出现这些字节,就用这条消息告警”。而分析人员需要知道的多得多:这是哪类威胁、有多严重、这条告警里谁是攻击者谁是受害者、我该怎么处置、它处在攻击的哪个阶段。所以每条规则都放在一个知识库里,周围附带元数据。一个通用化的模型如下:

大类 classification(Web 攻击、木马活动、侦察、拒绝服务、策略违规……)
   └── 小类 category(SQL 注入、C2 心跳、端口扫描 等)
          严重度、攻击者/受害者角色、描述、
          处置建议、参考资料

规则 rule
   签名文本、签名 ID、修订号
   所属小类 → 大类
   杀伤链阶段
   ATT&CK 技术编号(可选)
   严重度、可靠度(命中时有多大概率是真的)
   是否启用、是否废弃
   本地修改标记

可靠度和严重度刻意分开。一条规则描述的可能是非常严重的事情(远程代码执行),但它本身可能很吵。关联层会同时考虑两者。

杀伤链阶段让关联引擎能把事件按顺序排成一个故事。模型采用业界熟知的七阶段:

阶段 规则类型举例
侦察 端口和服务扫描、DNS 枚举
武器化 漏洞利用工具包落地页、投放器特征
投递 恶意附件、挂马下载、钓鱼
利用 缓冲区溢出、注入、远程代码执行
安装 恶意软件下载、持久化
命令与控制 心跳回连、已知 C2 协议
目标行动 横向移动、权限提升、数据外泄

两个库:主库与运营库

规则数据有两份:

 ┌───────────────────────────────┐
 │ 知识库(主库)                │  集中维护,随升级包下发
 │ 分类体系 / 杀伤链 / 规则      │
 └──────────────┬────────────────┘
                │ 定时同步(例如每晚一次,以及每次升级后)
 ┌──────────────▼────────────────┐
 │ 运营库(每套系统一份)        │  管理平台编辑的就是它
 │ + 本地启用/禁用状态           │
 │ + 本地修改过的规则            │
 └──────────────┬────────────────┘
                │ 把已启用规则渲染成规则文件
 ┌──────────────▼────────────────┐
 │ Suricata(热加载)            │  以及关联引擎、管理平台
 └───────────────────────────────┘

同步任务按固定顺序执行,而顺序恰恰是关键:

  1. 先刷新参照表(杀伤链阶段、大类、小类),因为规则要引用它们。
  2. 删除所有未被本地修改的规则。
  3. 从主库插入本地没有的规则,但前提是它引用的阶段、大类、小类都存在(保证引用完整性,坏的更新包不会制造”孤儿”规则)。
  4. 删除主库中已经不存在的规则(上游已退役)。
  5. 用已启用的规则重新渲染规则文件,通知 Suricata 重新加载。

用伪 SQL 表示:

-- 仅作示意
DELETE FROM op.rule WHERE locally_modified = 0;

INSERT INTO op.rule
SELECT m.*, 0 AS locally_modified
FROM   master.rule m
WHERE  m.category_id IN (SELECT id FROM op.category)
  AND  m.stage_id    IN (SELECT id FROM op.kill_chain_stage)
  AND  m.sid NOT IN (SELECT sid FROM op.rule);

DELETE FROM op.rule WHERE sid NOT IN (SELECT sid FROM master.rule);

locally_modified 这个标记是关键细节。没有它,每晚的同步都会悄无声息地抹掉分析人员花一周时间为自家网络调好的规则。

关掉规则,而不是删掉

有些规则本身没错,但在特定环境里毫无用处:比如”看到了 curl 的 User-Agent”、引擎内部的流重组事件、信息类规则等。这些放进一个禁用清单,可以按签名 ID 匹配,也可以按消息模式匹配(例如”信息类下的所有规则”)。禁用而不是删除,规则仍保留在知识库里,排查时随时可以重新打开,下次同步也不会丢。

不丢包地重新加载

在 10G 链路上重启 DPI 引擎,意味着启动的那几秒流量全丢。Suricata 支持规则热加载:在后台构建新的检测引擎,然后原子地切换过去。更新流程是:同步 → 渲染 → 用一个独立进程试加载新规则文件以捕获语法错误 → 触发热加载。一条坏规则绝不能把探针搞挂。

坑与经验

  • 规则数量不等于覆盖面。 大规模规则集看着唬人,但几百条高噪声规则就可能贡献大部分告警。按规则统计告警量,定期复盘排名靠前的那些,该调就调、该禁就禁。
  • 给规则做性能分析。 一条快速模式选得差、或者带重型正则的规则,CPU 开销可能超过一千条好规则。Suricata 的规则 profiling 能把它们揪出来。
  • 保持标识稳定。 关联、仪表盘、白名单都以签名 ID 为键。永远不要把一个 ID 挪作他用,改规则就升修订号。
  • 本地规则用独立的 ID 区间,避免与上游规则集冲突。
  • 元数据才是真正的产品。 实践中,协议日志(DNS、HTTP、TLS、文件)在下游产生的检测比签名本身还多。存储和管道要按它来规划。
  • 加载前先测试。 每次重载前做一次校验,是很便宜的保险。

下一篇

Suricata 精确,但依赖规则。下一篇我们看读取同一批数据包的另一个引擎 Zeek:它把流量翻译成丰富的协议事件,让我们用脚本来表达检测逻辑;以及自定义输出插件如何把这些事件送进平台的其他部分。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.