# 告警关联、降噪与聚合（九）

- URL: https://wuming.si/blog/4017/
- Author: Wuming
- Published: 2025-03-18
- Language: zh-Hans
- Categories: Technology

> 上一篇：[机器学习检测](https://wuming.si/blog/4016) · 下一篇：[动态沙箱](https://wuming.si/blog/4018)

到这里，平台上已经有一排检测引擎在同时工作：Suricata 签名、情报匹配、规则行为检测、机器学习检测。它们各自都"没错"，但合在一起，分析人员面对的是一面告警墙：一次 SQL 注入扫描能刷出几千条事件，同一台中毒主机每分钟都在报 DGA，管理员正常上传文件被当成 webshell……

这一篇讲检测层和管理界面之间的这一段：**把原始告警变成可处理的事件**。它由三块组成：

1. **资产上下文**：知道"谁是我们自己的机器、它有多重要"；
2. **关联与降噪引擎**：验证攻击是否成功、剔除误报、把相关告警串成攻击链；
3. **周期聚合任务**：基于 Celery 每分钟把海量事件按规则归并成告警，再上卷到"风险主机"。

```
 检测引擎 ──► 原始事件（ES）
                 │
                 ├──► 关联/降噪引擎：验证成功与否、打可信度、补上下文
                 │          │
                 ▼          ▼
         周期聚合（Celery，每分钟） ◄── 规则 & 分类（知识库）
                 │                  ◄── 资产信息
                 ▼
            告警（按源/目的/规则归并）
                 │
                 ▼
            风险主机（按主机上卷）──► 管理平台
```

## 一、资产上下文：先知道自己是谁

同样一条"暴力破解"，打在一台测试机上和打在域控上，严重程度完全不同。所以平台里有一个中间件服务专门负责**资产发现**，它同时也是 Zeek 日志到各检测引擎的"中转站"。

**被动发现**是主力：从流量里就能看出很多东西。

| 数据来源 | 能得到什么 |
|---|---|
| ARP / DHCP | IP-MAC 绑定、地址分配 |
| DNS | 主机名 |
| HTTP User-Agent | 操作系统、终端类型 |
| TLS SNI / 证书 | 对外提供的服务 |
| MAC OUI | 网卡厂商 |

**主动发现**（Nmap 端口和服务探测）是可选项，默认关闭——在很多客户网络里"主动扫描"本身就是敏感操作。

每个资产记录首次/最后出现时间、开放服务、设备类型、所属分组和**资产价值**。这个信息会在后面的聚合中用来：

- 判断**流量方向**：内→内、内→外、外→内、外→外；
- 识别**内网渗透**：源和目的都是已知资产，往往比外部扫描更值得关注；
- 发现**未知设备**：网络里突然冒出一个从没见过的 MAC。

同一个服务还订阅 Zeek 按日志类型发布的频道，把 HTTP 日志路由给 Web 检测、把 DNS 日志路由给 DGA 检测，路由前顺手补上资产字段，下游引擎就不必各自查库。

## 二、关联与降噪：从"尝试"到"成功"

### 攻击成功验证

降噪最有效的一招，是回答"**这次攻击成功了吗？**"。检测引擎通常只看请求，而关联引擎会把请求和响应放在一起看：

| 告警类型 | 成功迹象 | 误报/失败迹象 |
|---|---|---|
| SQL 注入 | 响应中出现数据库报错、长度明显偏离基线、时间盲注带来的明显延迟 | 响应正常、长度一致 |
| XSS | 载荷原样反射在响应中 | 被 HTML 实体编码 |
| 命令注入 | 响应里出现典型命令输出的格式 | 无输出、响应无变化 |
| Webshell | 上传后很快被访问、内容混淆、调用系统命令函数 | 上传后从未访问、管理员正常上传 |
| DGA | 新注册域名、解析到可疑地址 | 热门站点、注册多年的老域名 |
| 弱口令 | 登录成功 + 特权账号 | 登录失败，或口令其实很强 |
| 暴力破解 | 短时间、多用户名、源为匿名网络 | 几次失败（多半是忘记密码） |

一个示意性的判定函数（自写，仅表达思路）：

```python
def verdict(indicators: set) -> str:
    strong = {"db_error", "cmd_output", "payload_reflected"}
    if indicators & strong:
        return "success"
    if len(indicators) >= 2:
        return "likely"
    if indicators:
        return "possible"
    return "attempt"        # 只是尝试，降级处理
```

验证结果会写回原始事件（打上"攻击成功/失败"标记、调整可信度），而不是直接删掉——误报判断也可能误判，保留原件便于复核。

### 关联打分与攻击链

对每条新告警，在一个时间窗口内找"相关"的旧告警，按几个维度加分：

```python
def corr_score(a, b):
    s = 0.0
    if a.src == b.src:               s += 0.3
    if a.dst == b.dst:               s += 0.3
    if abs(a.ts - b.ts) < 300:       s += 0.2
    if stage_follows(a.kind, b.kind): s += 0.2   # 例如 侦察 → 利用
    return s
```

分数高的配对再判断关系类型：侦察→利用、注入→植入 webshell（初始访问→持久化）、凭据窃取→横向移动……这些阶段名与知识库里的杀伤链（kill chain）阶段对应，最终在界面上画成一条时间线。

### 告警补全与情报刷新

关联引擎还负责给告警补上协议上下文（HTTP 的 URI/UA/Referer、DNS 查询与应答、TLS 证书、连接五元组）、WHOIS 和地理位置；同时定期从公开源刷新 Tor 出口节点、开源恶意 IP 列表等情报，并同步到 Bloom 过滤器里供检测引擎快速查询。

## 三、周期聚合：用 Celery 把事件归并成告警

即使降了噪，事件仍然是"一条请求一条"。分析人员需要的是：**"A 在过去一小时里对 B 发起了 3,000 次 SQL 注入，其中 2 次成功"**。这一步由一组 Celery 周期任务完成。

### 任务组织

- Celery beat 每分钟触发一次；broker 和结果后端都用 Redis。
- 每个任务负责一个**威胁大类**（APT、恶意软件、漏洞利用、DDoS、可疑行为、脆弱性等），只处理属于自己类别的规则。
- 任务是**配置驱动**注册的：配置里写类名、源数据、目标位置和类别过滤，启动时动态导入。
- **聚合规则本身存在知识库里**（第六篇讲过）：每条规则包含查询条件、分组键（如 `src_ip,dst_ip`）、严重度/可信度覆盖值、执行间隔、所属类别和杀伤链阶段。运营人员改规则不用发版。

```yaml
# 示意配置
tasks:
  malware:
    class: MalwareAggTask
    source: raw_events
    sink: alarms
    categories: [malware]
```

### 一次执行做了什么

```
1. 选规则：类别匹配 && 当前分钟命中该规则的执行间隔
2. 取水位：查每条规则上次处理到的时间点（首跑回看 7 天）
3. 限流检查：今天该规则产生的告警数是否已到上限（Redis 计数缓存）
4. ES 聚合：按分组键 terms 聚合，取 max(severity)、max(reliability)、
          最早/最晚时间、类别分布、引擎分布
5. 补资产：批量查资产信息，判断流量方向、是否内网渗透
6. 合并：与目标中已存在的同键告警合并
7. 批量写：bulk 写回，更新计数缓存，记录执行日志
```

几个细节：

- **时间往回挪一分钟**。ES 写入有刷新延迟，"现在"的数据可能还没可见，所以每次处理的终点是"当前时间减一分钟"。
- **增量水位**。每条规则的上次结束时间从执行日志里查回来，下次从这里开始，避免重复或遗漏。
- **合并而不是追加**。告警的键是"源-目的-规则-攻击结果"。如果已经存在，就扩展时间范围（取最早开始、最晚结束）、合并标签/类别/引擎集合、累加事件数；不存在才新建。这样同一对主机之间的持续攻击始终是**一条**不断更新的告警。
- **"成功"单独成条**。对攻击类规则，会自动派生一个只统计"攻击成功"事件的变体，成功与否分成两条告警，成功的那条优先级更高。
- **告警熔断**。每条规则每天有告警数上限，超过就暂停该规则的聚合，防止一条写得不好的规则把整个系统刷爆。
- **桶数超限自动退让**。ES 对聚合桶数有上限，查询失败时把 size 缩小一个数量级重试。
- **严格的 worker 设置**。并发 1、每个子进程只跑一个任务就回收、预取 1——牺牲一点吞吐，换来内存不泄漏、任务不堆积。

### 第二层：风险主机

告警再往上卷一层：按主机汇总它作为受害者/攻击者涉及的告警、最高严重度、类别分布，得到"风险主机"列表。这是管理界面首页上最先看到的东西——分析人员先看"哪几台机器出事了"，再往下钻到告警，最后钻到原始事件和 PCAP。

```
原始事件（百万级/天） → 告警（千级） → 风险主机（几十台）
```

## 坑与经验

- **降噪要分层，而不是一刀切**：引擎内部去重 → 关联层验证成功 → 聚合层归并 → 熔断限流。每层只做自己最有把握的事。
- **资产信息是放大器**：没有资产上下文，所有告警看起来都一样重要；有了它，"内网渗透 + 高价值资产"能直接浮到最上面。
- **水位和幂等是聚合的命根子**：任务一定会失败、重跑、延迟。以"键 + 合并"的方式写入，重跑也不会产生重复告警。
- **保留证据链**：每条告警都能回溯到原始事件，每个误报判定都有理由。否则分析人员一旦发现一次"被吞掉的真告警"，就再也不信任降噪了。
- **规则存在库里，好处和风险并存**：改得快，也容易改坏。熔断上限就是为这种情况兜底的。

到这里，网络侧的检测链路就完整了。但有一类东西光看流量是判断不了的：从流量里还原出来的**文件**。下一篇讲怎么把它们扔进动态沙箱里真正跑一遍。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
