机器学习检测加密流量与DGA(八)
上一篇:规则驱动的异常检测 · 下一篇:告警关联、降噪与聚合
上一篇的规则引擎擅长抓”已知的坏”,但有三类问题它几乎无能为力:
- DGA 域名:DGA(Domain Generation Algorithm,域名生成算法)让恶意软件每天按算法算出成百上千个随机域名去找 C&C 服务器,黑名单永远追不上。
- 加密流量:TLS 之后载荷不可见,签名失效,只剩包长、时序、握手参数这些”侧面信息”。
- 变形的 Web 攻击:编码、注释、大小写混淆之后,正则很容易被绕过。
这一篇讲平台里的机器学习检测引擎。它和规则引擎共用同一套框架——同样订阅协议事件、同样的检测器基类、同样的告警格式——只是把 detect() 里的规则换成了”特征工程 + 模型推理”。
管道:在 detect 里多了几步
消息 → intercept → 特征提取 → 模型推理 → 后处理 → 告警
│ │ │ │
预过滤 向量化/归一化 批量预测 阈值/去重/按主机聚合
白名单 序列编码 概率输出 家族归因
两点值得一提:
- 预过滤比模型更重要。模型推理是毫秒级的,规则是微秒级的。把热门域名、合法 TLD 之外的垃圾数据、已知良性流量提前筛掉,能省掉绝大部分算力。
- 批量推理。神经网络一次算 1 条和一次算 256 条的耗时差不多,所以检测器按批攒消息再送进模型。
DGA 检测
特征
DGA 域名”看起来不像人起的名字”,可以量化成这些特征:
| 特征 | 直觉 |
|---|---|
| 长度 | DGA 往往偏长 |
| 字符熵 | 越随机熵越高 |
| 元音比例、数字比例 | 人起的名字元音分布有规律 |
| n-gram 频率 | 正常域名里常见的二元/三元字母组合 |
| 有意义单词概率 | 能否切分成英文单词 |
一个计算香农熵的小例子:
import math
from collections import Counter
def entropy(label: str) -> float:
n = len(label)
return -sum(c / n * math.log2(c / n) for c in Counter(label).values())
entropy("google") # ~1.92
entropy("xkq3vzj8pwr") # ~3.46
模型
手工特征适合树模型;同时我们也用了字符级的 LSTM(长短期记忆网络,一种擅长处理序列的循环神经网络),直接吃域名字符序列,不需要手写特征:
域名字符 → 字符 Embedding → 双向 LSTM → Dropout → 全连接 → Softmax
输出:[正常, 家族A, 家族B, ...]
输出不只是”是不是 DGA”,还会给出最可能的家族,告警里带上家族名对分析人员很有用。
后处理
单个可疑域名的可信度并不高。真正的信号是:同一台主机在短时间内解析了一批 DGA 风格的域名,且大部分 NXDOMAIN。所以后处理会按主机聚合、看时间分布,并结合”哪个域名最终解析成功了”来定位活跃的 C&C。
加密流量分析(ETA)
不解密,只看”流的形状”:
- 包长序列:前 N 个包的大小与方向
- 包间隔:时序节奏,心跳型 C&C 往往非常规律
- TLS 握手:ClientHello 里的版本、密码套件、扩展列表(可以形成客户端指纹)
- 证书特征:自签名、有效期异常、颁发者/主题字段异常
- 流统计:字节数、包数、持续时间
包长序列 [120, 450, 89, ...] → 归一化 → 1D CNN → 池化 → LSTM → 全连接 → 分类
1D CNN(一维卷积)抓局部模式,比如”小包-大包-小包”的握手节奏;LSTM 抓长一点的时序依赖。另一路用随机森林处理统计特征,两者互补。
同一思路还覆盖了:
- Tor 识别:固定大小的 cell、特征明显的 TLS 指纹,再叠加公开的出口节点列表。
- 隧道检测:DNS 隧道(超长子域名、高熵、TXT/NULL 记录、高频查询)、ICMP 隧道(载荷大小与熵异常)、HTTP 隧道。
Web 攻击的 ML 检测
规则引擎里已经有 SQL 注入、XSS 的特征检测,ML 版本的目的是抗变形:
- SQL 注入:字符级 CNN + LSTM + 注意力层(attention,让模型把”注意力”放在可疑片段上)。输入是 URI 或参数,输出注入概率。
- XSS:词级 + 字符级混合分词,word2vec 词向量 + 双向 LSTM。
- 命令注入 / 代码执行 / XXE / 框架类漏洞利用:针对各自的语法特征分别建模。
- Webshell:除了内容分类,还用 TLSH 这类模糊哈希(相似的文件产生相近的哈希)去抓已知 webshell 的变种。
开源的 libinjection 被当作一个强基线和特征来源;TF-IDF + 传统分类器则作为轻量模型做对照。
此外还有钓鱼网站检测(URL 结构、域名年龄、证书、页面表单和外链、品牌仿冒、拼写相近域名)和敏感信息外泄检测(信用卡号用 Luhn 校验、密钥/令牌格式等)。后者其实是规则,但放在同一引擎里方便统一调度。
模型如何上线
三种运行阶段
引擎启动时可以指定阶段:
- detect:生产检测。
- train:只做特征提取,把样本按正/负标签归档,供离线训练使用。
- detect + train:边检测边收集样本,用于持续迭代。
# 示意:收集某模块的正样本特征
engine --stage train --label positive --module dga
离线训练、在线推理
训练在离线环境里做:加载归档特征,划分训练/验证/测试集,Adam 优化器 + 交叉熵 + 早停,保存为模型文件(HDF5)。上线就是替换模型文件、更新配置、重启对应的检测 worker。没有花哨的在线学习,但足够稳定、可回滚。
推理服务
除了订阅消息流,引擎还可以起一个小的 HTTP 推理接口:传入模块名和数据,返回判定、家族和置信度。管理平台”手工查一个域名”、或者分析人员提交可疑样本时都走这里。
自学习的白名单
一个很实用的小设计:用 Bloom 过滤器记住”已确认为误报”的样本。周期性地把判定为良性的样本加入过滤器并持久化,下次同样的输入在推理之前就被跳过——既降误报,又省算力。
规则引擎 vs. ML 引擎
| 维度 | 规则引擎 | ML 引擎 |
|---|---|---|
| 擅长 | 已知攻击、合规类检查 | 未知变种、DGA、加密流量、隧道 |
| 延迟 | 微秒级 | 毫秒级 |
| 漏报 | 对未知攻击偏高 | 泛化更好 |
| 误报 | 低且可控 | 取决于模型和数据 |
| 可解释性 | 高 | 低 |
| 维护 | 改规则 | 采样、标注、训练、发布 |
最合理的部署是两条腿并行:规则走快路径,ML 做深度分析。
坑与经验
- 基数谬误(base-rate fallacy):现网里恶意样本可能只占百万分之一,一个”99.5% 准确率”的模型照样可以每天产生成千上万条误报。阈值要按告警量来定,而不是按实验室指标。
- 样本不平衡与分布漂移:训练集里的 DGA 家族和现网的不一样,正常域名的分布也在变(CDN、短链、云服务的随机子域名)。要持续回收误报重训。
- 依赖版本固化:深度学习框架升级很容易让模型加载失败,生产环境里通常要把框架版本钉死,并把模型文件和代码版本一起管理。
- 可解释性要补:给告警附上关键特征(熵、长度、命中的 n-gram、最相似的已知家族),否则分析人员不会信任 ML 告警。
- 资源隔离:模型常驻内存较大,最好与规则引擎分开部署或限制 worker 数,避免挤占采集和协议分析的 CPU。
两个检测引擎加上 Suricata、情报匹配,每分钟能产生海量的原始告警。下一篇我们讲如何把它们关联、降噪、聚合成分析人员真正看得过来的事件。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments