# 机器学习检测加密流量与DGA（八）

- URL: https://wuming.si/blog/4016/
- Author: Wuming
- Published: 2025-03-11
- Language: zh-Hans
- Categories: Technology

> 上一篇：[规则驱动的异常检测](https://wuming.si/blog/4015) · 下一篇：[告警关联、降噪与聚合](https://wuming.si/blog/4017)

上一篇的规则引擎擅长抓"已知的坏"，但有三类问题它几乎无能为力：

- **DGA 域名**：DGA（Domain Generation Algorithm，域名生成算法）让恶意软件每天按算法算出成百上千个随机域名去找 C&C 服务器，黑名单永远追不上。
- **加密流量**：TLS 之后载荷不可见，签名失效，只剩包长、时序、握手参数这些"侧面信息"。
- **变形的 Web 攻击**：编码、注释、大小写混淆之后，正则很容易被绕过。

这一篇讲平台里的机器学习检测引擎。它和规则引擎**共用同一套框架**——同样订阅协议事件、同样的检测器基类、同样的告警格式——只是把 `detect()` 里的规则换成了"特征工程 + 模型推理"。

## 管道：在 detect 里多了几步

```
消息 → intercept → 特征提取 → 模型推理 → 后处理 → 告警
        │            │           │          │
     预过滤       向量化/归一化   批量预测    阈值/去重/按主机聚合
     白名单       序列编码        概率输出    家族归因
```

两点值得一提：

1. **预过滤比模型更重要**。模型推理是毫秒级的，规则是微秒级的。把热门域名、合法 TLD 之外的垃圾数据、已知良性流量提前筛掉，能省掉绝大部分算力。
2. **批量推理**。神经网络一次算 1 条和一次算 256 条的耗时差不多，所以检测器按批攒消息再送进模型。

## DGA 检测

### 特征

DGA 域名"看起来不像人起的名字"，可以量化成这些特征：

| 特征 | 直觉 |
|---|---|
| 长度 | DGA 往往偏长 |
| 字符熵 | 越随机熵越高 |
| 元音比例、数字比例 | 人起的名字元音分布有规律 |
| n-gram 频率 | 正常域名里常见的二元/三元字母组合 |
| 有意义单词概率 | 能否切分成英文单词 |

一个计算香农熵的小例子：

```python
import math
from collections import Counter

def entropy(label: str) -> float:
    n = len(label)
    return -sum(c / n * math.log2(c / n) for c in Counter(label).values())

entropy("google")        # ~1.92
entropy("xkq3vzj8pwr")   # ~3.46
```

### 模型

手工特征适合树模型；同时我们也用了字符级的 LSTM（长短期记忆网络，一种擅长处理序列的循环神经网络），直接吃域名字符序列，不需要手写特征：

```
域名字符 → 字符 Embedding → 双向 LSTM → Dropout → 全连接 → Softmax
                                                   输出：[正常, 家族A, 家族B, ...]
```

输出不只是"是不是 DGA"，还会给出最可能的**家族**，告警里带上家族名对分析人员很有用。

### 后处理

单个可疑域名的可信度并不高。真正的信号是：**同一台主机在短时间内解析了一批 DGA 风格的域名，且大部分 NXDOMAIN**。所以后处理会按主机聚合、看时间分布，并结合"哪个域名最终解析成功了"来定位活跃的 C&C。

## 加密流量分析（ETA）

不解密，只看"流的形状"：

- **包长序列**：前 N 个包的大小与方向
- **包间隔**：时序节奏，心跳型 C&C 往往非常规律
- **TLS 握手**：ClientHello 里的版本、密码套件、扩展列表（可以形成客户端指纹）
- **证书特征**：自签名、有效期异常、颁发者/主题字段异常
- **流统计**：字节数、包数、持续时间

```
包长序列 [120, 450, 89, ...] → 归一化 → 1D CNN → 池化 → LSTM → 全连接 → 分类
```

1D CNN（一维卷积）抓局部模式，比如"小包-大包-小包"的握手节奏；LSTM 抓长一点的时序依赖。另一路用随机森林处理统计特征，两者互补。

同一思路还覆盖了：

- **Tor 识别**：固定大小的 cell、特征明显的 TLS 指纹，再叠加公开的出口节点列表。
- **隧道检测**：DNS 隧道（超长子域名、高熵、TXT/NULL 记录、高频查询）、ICMP 隧道（载荷大小与熵异常）、HTTP 隧道。

## Web 攻击的 ML 检测

规则引擎里已经有 SQL 注入、XSS 的特征检测，ML 版本的目的是**抗变形**：

- **SQL 注入**：字符级 CNN + LSTM + 注意力层（attention，让模型把"注意力"放在可疑片段上）。输入是 URI 或参数，输出注入概率。
- **XSS**：词级 + 字符级混合分词，word2vec 词向量 + 双向 LSTM。
- **命令注入 / 代码执行 / XXE / 框架类漏洞利用**：针对各自的语法特征分别建模。
- **Webshell**：除了内容分类，还用 TLSH 这类模糊哈希（相似的文件产生相近的哈希）去抓已知 webshell 的变种。

开源的 libinjection 被当作一个强基线和特征来源；TF-IDF + 传统分类器则作为轻量模型做对照。

此外还有钓鱼网站检测（URL 结构、域名年龄、证书、页面表单和外链、品牌仿冒、拼写相近域名）和敏感信息外泄检测（信用卡号用 Luhn 校验、密钥/令牌格式等）。后者其实是规则，但放在同一引擎里方便统一调度。

## 模型如何上线

### 三种运行阶段

引擎启动时可以指定阶段：

- **detect**：生产检测。
- **train**：只做特征提取，把样本按正/负标签归档，供离线训练使用。
- **detect + train**：边检测边收集样本，用于持续迭代。

```bash
# 示意：收集某模块的正样本特征
engine --stage train --label positive --module dga
```

### 离线训练、在线推理

训练在离线环境里做：加载归档特征，划分训练/验证/测试集，Adam 优化器 + 交叉熵 + 早停，保存为模型文件（HDF5）。上线就是替换模型文件、更新配置、重启对应的检测 worker。没有花哨的在线学习，但足够稳定、可回滚。

### 推理服务

除了订阅消息流，引擎还可以起一个小的 HTTP 推理接口：传入模块名和数据，返回判定、家族和置信度。管理平台"手工查一个域名"、或者分析人员提交可疑样本时都走这里。

### 自学习的白名单

一个很实用的小设计：**用 Bloom 过滤器记住"已确认为误报"的样本**。周期性地把判定为良性的样本加入过滤器并持久化，下次同样的输入在推理之前就被跳过——既降误报，又省算力。

## 规则引擎 vs. ML 引擎

| 维度 | 规则引擎 | ML 引擎 |
|---|---|---|
| 擅长 | 已知攻击、合规类检查 | 未知变种、DGA、加密流量、隧道 |
| 延迟 | 微秒级 | 毫秒级 |
| 漏报 | 对未知攻击偏高 | 泛化更好 |
| 误报 | 低且可控 | 取决于模型和数据 |
| 可解释性 | 高 | 低 |
| 维护 | 改规则 | 采样、标注、训练、发布 |

最合理的部署是两条腿并行：规则走快路径，ML 做深度分析。

## 坑与经验

- **基数谬误（base-rate fallacy）**：现网里恶意样本可能只占百万分之一，一个"99.5% 准确率"的模型照样可以每天产生成千上万条误报。阈值要按告警量来定，而不是按实验室指标。
- **样本不平衡与分布漂移**：训练集里的 DGA 家族和现网的不一样，正常域名的分布也在变（CDN、短链、云服务的随机子域名）。要持续回收误报重训。
- **依赖版本固化**：深度学习框架升级很容易让模型加载失败，生产环境里通常要把框架版本钉死，并把模型文件和代码版本一起管理。
- **可解释性要补**：给告警附上关键特征（熵、长度、命中的 n-gram、最相似的已知家族），否则分析人员不会信任 ML 告警。
- **资源隔离**：模型常驻内存较大，最好与规则引擎分开部署或限制 worker 数，避免挤占采集和协议分析的 CPU。

两个检测引擎加上 Suricata、情报匹配，每分钟能产生海量的原始告警。下一篇我们讲如何把它们关联、降噪、聚合成分析人员真正看得过来的事件。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
