# 规则驱动的异常行为检测（七）

- URL: https://wuming.si/blog/4015/
- Author: Wuming
- Published: 2025-03-04
- Language: zh-Hans
- Categories: Technology

> 上一篇：[威胁情报匹配与知识库](https://wuming.si/blog/4014) · 下一篇：[机器学习检测](https://wuming.si/blog/4016)

前几篇我们把流量变成了结构化的协议事件：Zeek 输出连接、HTTP、DNS、认证等日志，Suricata 给出签名命中和元数据，情报模块负责 IOC 匹配。但有一大类威胁，既不是"某个包里出现了某个特征串"，也不是"连接了某个黑名单域名"，而是**行为本身不对劲**：同一个源在一分钟内对 SSH 失败登录两百次、管理员账号用 `123456` 登录成功、FTP 明文传输了口令、内网主机在跟矿池说 Stratum 协议……

这一篇讲的就是处理这类问题的一层：**规则驱动的行为检测引擎**。它位于协议分析之后、告警关联之前，订阅协议事件流，用一组可插拔的"检测器"做启发式判断，产出带严重度和可信度的告警。

## 为什么签名引擎不够

签名（signature）擅长回答"这个包/这条流里有没有已知的恶意模式"。但下面这些问题，单看一个包是答不出来的：

| 问题 | 需要的信息 |
|---|---|
| 是不是暴力破解？ | 跨多条连接、按时间窗口统计失败次数 |
| 弱口令是否**登录成功**？ | 请求里的口令 + 响应里的状态码 |
| 是否明文传输凭据？ | 协议类型 + 是否走了 TLS |
| 是不是扫描器在枚举？ | 短时间内的路径/用户名分布 |

这些都需要**状态**和**上下文**，适合放在一个独立的、用 Python 写的检测层里：开发快、规则好改，性能上靠多进程横向扩展。

## 整体结构

```
   协议事件（Zeek / Suricata 元数据）
                │  Redis pub/sub 或 ZeroMQ
                ▼
        ┌──────────────────┐
        │  分发器（主进程）  │  订阅频道、反序列化、按频道路由
        └───────┬──────────┘
      ┌─────────┼──────────┐
      ▼         ▼          ▼
  [弱口令]   [暴力破解]   [Web 攻击] ...   每个检测器一个/多个子进程
      │         │          │
      └─────────┴──────────┘
                ▼
          告警输出（消息总线 / Elasticsearch / syslog）
```

主进程只做三件事：读配置、建立订阅、把消息通过多进程队列分给各个检测器。每个检测器跑在自己的进程里，一个检测器崩了不会拖垮别人，CPU 密集的模块也可以多开几个 worker。

## 检测器框架：三个钩子

所有检测器继承同一个抽象基类，流程固定为三步——这是典型的"模板方法"模式：

- `intercept(msg)`：预过滤。字段不全、协议不对、命中白名单的直接丢掉，并抽取后面要用的字段。
- `detect(data)`：核心判断。模式匹配、阈值统计、情报比对都在这里。
- `notice(data, result)`：生成告警，填严重度（severity）、可信度（reliability）和上下文。

一个示意性的检测器大概长这样（自写的简化版，不是任何真实代码）：

```python
class ClearTextCredDetector(BaseDetector):
    channels = ["auth_events"]

    def intercept(self, msg):
        if msg.get("proto") not in ("ftp", "telnet", "pop3", "imap", "http"):
            return None
        if msg.get("tls"):
            return None            # 加密了就不算明文
        if not msg.get("password"):
            return None
        return {"src": msg["src_ip"], "dst": msg["dst_ip"],
                "proto": msg["proto"], "user": msg.get("user")}

    def detect(self, d):
        return True                # 走到这里就说明命中

    def notice(self, d, hit):
        return Alert(kind="cleartext_credential", severity=2,
                     reliability=8, src=d["src"], dst=d["dst"],
                     extra={"proto": d["proto"], "user": d["user"]})
```

基类负责批处理、计数（处理量、命中数、耗时、异常数）、日志和统一的误报过滤，写新检测器的人只需要关心这三个方法。

## 配置驱动的模块装载

检测器是通过配置"插"进来的：配置里写类的路径、订阅哪些频道、批大小，主进程用反射动态加载。新增或下线一个检测器不用改主程序。

```yaml
modules:
  bruteforce:
    enabled: true
    class: detectors.bruteforce.Detector
    batch_size: 100
    channels: [auth_events]
  web_attack:
    enabled: true
    class: detectors.web.Detector
    batch_size: 50
    channels: [http_events]
```

命令行上也可以只拉起部分模块，方便调试或在资源紧张的探针上裁剪。

## 运行模式：同一份代码，三种接入方式

为了适配不同部署形态，引擎抽象了消息来源：

- **Redis 模式**（默认）：订阅 Redis pub/sub 频道，最简单，单机部署够用。
- **ZeroMQ 模式**：直接从上游的 ZeroMQ 套接字（TCP 或 IPC）拉数据，少一跳中间件，吞吐更高。
- **流处理模式**：作为 Apache Storm 的 bolt 运行，用于更大规模的分布式部署。

启动时如果没有显式指定，会按"环境变量 → 检测 ZeroMQ 端口是否已有人绑定 → 回退 Redis"的顺序自动选择。上游消息既支持 JSON，也支持用分隔符拼接的紧凑文本格式（字段顺序由一份字段定义文件约定），后者在高吞吐下能省不少序列化开销。

## 典型检测器一览

| 类别 | 检测器 | 思路 |
|---|---|---|
| 认证 | 弱口令 | 登录成功 + 口令命中弱口令字典/强度评分过低 |
| 认证 | 明文口令 | 无 TLS 的协议中出现凭据 |
| 认证 | 暴力破解 | 时间窗口内失败次数、用户名去重数、多源打一目标 |
| Web | Web 攻击 | SQL 注入、XSS、命令注入、路径穿越、文件包含、XXE 的特征和启发式 |
| Web | HTTP 方法异常 | TRACE、WebDAV 类方法等少见方法 |
| Web | 扫描器/爬虫 | User-Agent、访问频率、枚举模式（如 WordPress 插件枚举） |
| Web | 带外（OOB） | 注入后通过 DNS/HTTP 回连外部的迹象 |
| 载荷 | Shellcode | NOP 滑板、常见编码器、指令序列特征 |
| 载荷 | PowerShell 攻击框架 | 已知开源攻击脚本的特征、编码后的命令 |
| 主机 | 挖矿木马 | 矿池域名、Stratum 协议、钱包地址格式 |
| 网络 | VPN 协议识别 | OpenVPN、IPSec、L2TP、PPTP、WireGuard |

## 深入两个例子

### 弱口令：难点在"是否成功"

只要看到口令是 `123456` 就报警，会被大量的扫描和失败尝试淹没。真正有价值的是**用弱口令登录成功了**。所以弱口令检测器做了这几件事：

1. **从二十多种协议里抽取凭据**：HTTP 表单和 Basic 认证、FTP、SSH、Telnet、邮件协议、数据库协议、RDP、SMB 等。
2. **判断登录结果**：HTTP 看状态码和跳转，其他协议看认证应答；失败的直接丢。
3. **评估口令强度**：先查弱口令字典，再用开源的 zxcvbn 打分，同时识别键盘序列、常见模式。
4. **区分账号级别**：admin/root 一类特权账号上的弱口令单独升级为更高严重度。
5. **去重与扫描过滤**：同一账号在一个时间窗口内只报一次；同一源在短时间内"自动重试"大量口令的行为，归为扫描而非真实登录；登录页本身的后台请求也要排除。

### 暴力破解：多维阈值

暴力破解看的是统计量，按"源→目标→服务"维度维护滑动窗口：

```python
def on_failed_login(ev, win):
    key = (ev.src, ev.dst, ev.service)
    win.add(key, ev.ts, ev.user)
    stats = win.stats(key, seconds=300)
    if stats.failures >= 30:
        return "bruteforce"
    if stats.distinct_users >= 10:
        return "user_enumeration"     # 字典式枚举用户名
    return None
```

另外还要考虑"分布式爆破"：很多源打同一个目标，每个源都低于阈值，要换成按目标聚合才看得出来。阈值本身是配置项，不同环境差别很大。

## 降误报的小工具

- **热门站点 Bloom 过滤器**：把全球热门域名前一百万左右做成布隆过滤器（一种省内存、O(1) 查询、允许极小误判的集合结构），涉及这些域名的低置信度命中直接放过。
- **情报黑名单联动**：命中已知 C&C、恶意 IP 的事件提升可信度。
- **批处理**：按批取消息、按批检测，摊薄每条消息的开销。

## 运维层面的细节

引擎自带一个监督线程：周期检查 CPU、内存、IO，清理僵尸子进程，用 PID 文件防止重复启动。每个检测器的处理量、命中量、耗时、错误数都会定期打点，方便在管理界面上看到"哪个模块慢了"。

## 取舍与经验

- **规则引擎的优势是可解释**：每条告警都能说清楚"因为 5 分钟内失败 47 次"。这对安全运营非常重要。
- **它的天花板也很明显**：只能抓已知模式，对变形、加密流量、未知家族无能为力。这正是下一篇机器学习引擎要补的。
- **"成功与否"比"是否尝试"更值钱**：大量告警噪声来自失败的扫描。越早区分越好，后面关联层还会再做一次验证。
- **阈值不要写死**：不同网络的正常基线差异巨大，阈值必须可配置，最好还能按资产分组。
- **进程隔离值得付出内存代价**：Python 写的检测逻辑难免有异常，单个模块崩溃自动重启，比整个引擎挂掉强得多。

下一篇，我们看同一套框架上的另一条腿：用机器学习去检测 DGA 域名、加密流量里的恶意通信和变形的 Web 攻击。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
