# 威胁情报匹配与知识库（六）

- URL: https://wuming.si/blog/4014/
- Author: Wuming
- Published: 2025-02-25
- Language: zh-Hans
- Categories: Technology

> 上一篇：[Flume + Esper 事件管道](https://wuming.si/blog/4013) · 下一篇：[规则驱动的异常检测](https://wuming.si/blog/4015)

大量攻击都会复用基础设施：同一批 C2 服务器、同一批钓鱼域名、同一批恶意软件下载地址。把这些“已知的坏东西”收集起来，就是威胁情报里最基础的部分——IOC（Indicator of Compromise，失陷指标，比如恶意 IP、域名、URL、文件哈希）。拿网络流量去和 IOC 比对，成本低、准确率高，是最划算的一类检测。

但光有匹配还不够。一条告警出来，用户会问：这属于哪类威胁？严重吗？处于攻击的哪个阶段？该怎么处置？这些回答需要一个全平台共享的“词典”。所以这一篇讲两个东西：**在线的情报匹配引擎**，它消费 Zeek/Suricata 产出的协议元数据，产出 IOC 告警送进上一篇的事件管道；以及**离线的知识库**，它为所有引擎提供统一的分类、评级、杀伤链和规则定义。

## 一、情报匹配引擎

### 整体结构

匹配引擎是一个 Python 服务，内部有一个轻量的任务管理器：每个任务是一个线程，启动前做环境检查，运行中监听配置变化，配置一变就重启对应任务。注册的任务包括：

- 一个管理 API 任务（查询状态、增删白名单、热加载情报和规则）；
- 每种协议一个检测任务：DNS、HTTP、SMTP、POP3、IMAP、TLS、TCP 连接，以及一个可选的原始包任务（用于对 IPS 告警做包级复核）。

输入有两种模式：**ZeroMQ 模式**下每个协议任务直接订阅对应的元数据通道，性能更好，是默认推荐；**Redis 模式**则从一个公共列表里阻塞弹出事件，再按协议分发，属于早期方案。负载太高时，可以通过配置关掉不需要的协议通道（比如连接日志量最大，往往第一个被关掉）。

```
 协议元数据（ZeroMQ / Redis）
        │
        ▼
 ┌─────────────────────────────────────┐
 │ 任务管理器                           │
 │  DNS │ HTTP │ 邮件 │ TLS │ 连接 │ … │ ← 每协议一个线程
 └─────────────────────────────────────┘
        │  逐条走检测流水线
        ▼
   告警（打上规则编号、分类、严重级别）
        │
        ▼
   事件管道 / 队列 / ES
```

### 每条事件的检测流水线

对每条事件，按固定顺序检查，**第一个命中就生成告警并停止**：

```
事件 ─► 白名单？──是──► 丢弃
         │否
         ▼
      行为规则命中？──是──► 告警
         │否
         ▼
      域名在情报里？──是──► 告警（访问恶意域名）
         │否
         ▼
      目的 IP 在情报里？──是──► 告警（连接到恶意 IP）
         │否
         ▼
      源 IP 在情报里？──是──► 告警（来自恶意 IP 的连接）
         │否
         ▼
       放行
```

用 DNS 举例（示意代码）：

```python
def handle_dns(ev):
    if ev.get("qtype_name") == "PTR":      # 反查记录没有检测价值，跳过
        return
    q = ev.get("query", "")
    if not is_valid_domain(q):
        return
    if whitelist.hit(domain=q):
        return
    if behavior_rules["dns"].match(ev):
        return emit(ev, "dns-abnormal")
    if domain_intel.hit(q):
        return emit(ev, "dns-query-malicious-domain")
    if ip_intel.hit(ev["dst_ip"]):
        return emit(ev, "conn-to-malicious-ip")
    if ip_intel.hit(ev["src_ip"]):
        return emit(ev, "conn-from-malicious-ip")
```

注意“连到恶意 IP”和“来自恶意 IP”是两种不同的告警：前者通常说明内网主机可能已经失陷，后者多半是外部扫描或攻击。方向不同，严重程度和处置建议也不一样。

### 各协议看什么

| 协议 | 主要比对对象 |
|---|---|
| DNS | 查询的域名、解析结果 IP |
| HTTP | Host、完整 URL、User-Agent、下载地址 |
| SMTP/POP3/IMAP | 发件人/收件人域名、邮件服务器 IP、附件信息 |
| TLS | SNI、证书信息、客户端指纹（JA3） |
| 连接 | 目的/源 IP、可疑端口 |

### 匹配技术

情报规模通常在几十万到上百万条，每秒要比对的事件也是万级，因此匹配必须是 O(1) 或接近 O(1)：

- **精确匹配**：IP、完整域名、URL 放进哈希集合；
- **后缀/通配匹配**：`*.evil.example` 要匹配任意子域名。做法是把域名按标签从右往左逐级查表，而不是对每条通配规则跑一次正则；
- **CIDR 匹配**：网段情报和白名单用前缀树或按掩码长度分桶；
- **布隆过滤器**：在查真正的集合之前先过一遍布隆过滤器，绝大多数干净事件在这一步就被排除，省内存也省时间。

```python
def domain_hit(name, exact, wildcard):
    if name in exact:
        return True
    labels = name.split(".")
    for i in range(1, len(labels) - 1):          # 逐级去掉最左边的标签
        if ".".join(labels[i:]) in wildcard:
            return True
    return False
```

### 情报来源与热更新

情报来源有三类：开源项目 Maltrail 整理的公开情报（C2、恶意软件基础设施、钓鱼、扫描器等）、自维护的黑名单、以及用户在管理平台里添加的自定义情报。每条情报带有类别，类别再映射到知识库里的威胁分类，这样告警出来时直接带上分类和建议。

情报更新不需要重启：管理 API 提供“重新加载情报”和“重新加载规则”的接口，后台加载新数据后整体替换旧引用。

### 白名单

情报匹配最大的问题是误报，来源主要是：CDN 和云平台的共享 IP、被安全厂商接管的 sinkhole 域名、过期没清理的情报。白名单支持精确值、通配域名、后缀和 CIDR 网段，可以通过 API 动态增删，并且是流水线的第一步，确保白名单里的东西不会因为任何一种情报而告警。

### 行为规则

除了 IOC，匹配引擎还执行一类轻量的“行为规则”：指定协议、字段、匹配模式，以及可选的源/目的地址范围和生效时间段，外加一段 JSON 格式的附加过滤条件。比如“HTTP 的 User-Agent 包含某个已知渗透工具的标识”“DNS 查询的子域名长度和熵异常”。更复杂的统计型异常检测交给下一篇的异常检测框架。

## 二、知识库

### 它解决什么问题

平台里有多个检测引擎，每个都有自己的规则和告警类型。如果每个引擎自己定义“这是什么威胁、多严重”，管理界面上会看到五花八门的口径。知识库就是**唯一的权威来源**：所有规则、分类、杀伤链阶段、恶意家族、漏洞信息都在这里定义，再同步到各处。

### 数据模型的思路

下面是一个抽象过的实体关系（命名为示意）：

```
  attack_stage            threat_class
  (杀伤链阶段)              (大类)
       ▲                      ▲
       │                      │ 1:N
       │                 threat_type
       │                 (细分类型：严重级别、攻击方/受害方方向、
       │                  描述、处置建议、参考链接)
       │                      ▲
       └──────────┬───────────┘
                  │
            detection_rule ──────► malware_family（含 ATT&CK 技战术）
  (规则编号、所属引擎、规则正文、严重级别、可信度、
   启用/废弃、是否被用户修改过、版本号)
                  │
                tag ◄──────── custom_intel

  behavior_rule   (协议、字段、模式、地址范围、生效时间、附加过滤)
  vuln_entry      (CVE 编号、描述、参考)
```

几个值得借鉴的设计点：

- **杀伤链阶段**用经典的七阶段模型（侦察、武器化、投递、利用、安装、命令与控制、目标达成），每条规则都挂一个阶段。界面上可以把告警按攻击进度排列，一眼看出“这台主机已经走到了哪一步”。
- **大类 → 细分类型两级分类**。严重级别、处置建议挂在细分类型上，规则只需要引用类型，不用每条规则重复写建议。
- **攻击方/受害方方向**放在类型上。同样是一条告警，有的类型里源 IP 是攻击者，有的类型里目的 IP 才是（比如“内网主机访问 C2”，受害者是源）。这个字段决定了界面上谁被标红、资产风险算在谁头上。
- **按引擎划分规则编号段**。特征规则、行为规则、协议分析脚本、机器学习模型各占一段，看到编号就知道是哪个引擎产出的，关联规则也可以按编号范围引用一类告警。
- **规则带可信度**。严重级别回答“如果是真的有多严重”，可信度回答“这条规则有多大概率是真的”。两者分开，关联引擎和评分才有依据。
- **恶意家族挂 ATT&CK 技战术**，漏洞库收录公开的 CVE 条目，供告警详情页展示背景知识。
- **双语字段**。名称、描述都有中英文两列，界面切语言时直接取。

### 同步与升级

知识库本身是一个 MySQL 库，随规则包一起发布，按天或按需执行升级脚本。脚本的步骤是：

1. 建表（全部 `IF NOT EXISTS`，保证可重复执行）；
2. 删除过期或废弃的数据；
3. 导入新的分类、规则、情报、漏洞数据；
4. 执行表结构变更；
5. 刷新情报白名单。

升级完成后，再同步到三个方向：管理平台的业务库（用于展示和用户编辑）、检测引擎的规则存储、IDS 的规则文件。

## 踩过的坑

1. **用户修改被覆盖。** 用户在界面上禁用或调整了某条规则，下一次升级又被官方数据覆盖回去。解决办法是在规则上加“已被用户编辑”标记，同步时跳过这些行，只更新未被修改的。
2. **大文件导入超时。** 漏洞库这种几十万行的 SQL 一次导入，容易撞上 MySQL 的包大小和超时限制。要么调大 `max_allowed_packet` 和超时参数，要么拆成多个小文件分批导入。
3. **主键冲突。** 重复执行升级时 `INSERT` 报主键冲突。所有导入都应该写成幂等的（`INSERT ... ON DUPLICATE KEY UPDATE` 或先删后插）。
4. **凭据写死在脚本里。** 早期升级脚本把数据库账号密码直接写在命令行里，既不安全，也让改密码变成一件大事。应该从受保护的配置文件或环境变量读取，并使用最小权限账号。
5. **“第一个命中即停止”的代价。** 流水线简单高效，但一条事件同时命中恶意域名和恶意 IP 时，只会留下一条告警，丢掉了“多个独立信号互相印证”的信息。如果关联引擎需要这类证据，可以考虑命中后继续检查，把所有命中项作为附加字段带上。
6. **情报老化。** IP 情报的有效期很短，一个月前的 C2 地址今天可能已经分配给了正常业务。情报要带首次/最近出现时间，过期自动降级或剔除。

## 小结

情报匹配引擎负责“快速认出已知的坏东西”，知识库负责“告诉所有人这是什么、有多严重、该怎么办”。前者在线、追求吞吐，后者离线、追求一致性，两者共同给平台的告警打上统一的语义标签。

下一篇讲另一类检测：不依赖已知 IOC，而是用规则描述“异常行为”，比如暴力破解、认证攻击和可疑载荷。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
