规则驱动的异常行为检测(七)
上一篇:威胁情报匹配与知识库 · 下一篇:机器学习检测
前几篇我们把流量变成了结构化的协议事件:Zeek 输出连接、HTTP、DNS、认证等日志,Suricata 给出签名命中和元数据,情报模块负责 IOC 匹配。但有一大类威胁,既不是”某个包里出现了某个特征串”,也不是”连接了某个黑名单域名”,而是行为本身不对劲:同一个源在一分钟内对 SSH 失败登录两百次、管理员账号用 123456 登录成功、FTP 明文传输了口令、内网主机在跟矿池说 Stratum 协议……
这一篇讲的就是处理这类问题的一层:规则驱动的行为检测引擎。它位于协议分析之后、告警关联之前,订阅协议事件流,用一组可插拔的”检测器”做启发式判断,产出带严重度和可信度的告警。
为什么签名引擎不够
签名(signature)擅长回答”这个包/这条流里有没有已知的恶意模式”。但下面这些问题,单看一个包是答不出来的:
| 问题 | 需要的信息 |
|---|---|
| 是不是暴力破解? | 跨多条连接、按时间窗口统计失败次数 |
| 弱口令是否登录成功? | 请求里的口令 + 响应里的状态码 |
| 是否明文传输凭据? | 协议类型 + 是否走了 TLS |
| 是不是扫描器在枚举? | 短时间内的路径/用户名分布 |
这些都需要状态和上下文,适合放在一个独立的、用 Python 写的检测层里:开发快、规则好改,性能上靠多进程横向扩展。
整体结构
协议事件(Zeek / Suricata 元数据)
│ Redis pub/sub 或 ZeroMQ
▼
┌──────────────────┐
│ 分发器(主进程) │ 订阅频道、反序列化、按频道路由
└───────┬──────────┘
┌─────────┼──────────┐
▼ ▼ ▼
[弱口令] [暴力破解] [Web 攻击] ... 每个检测器一个/多个子进程
│ │ │
└─────────┴──────────┘
▼
告警输出(消息总线 / Elasticsearch / syslog)
主进程只做三件事:读配置、建立订阅、把消息通过多进程队列分给各个检测器。每个检测器跑在自己的进程里,一个检测器崩了不会拖垮别人,CPU 密集的模块也可以多开几个 worker。
检测器框架:三个钩子
所有检测器继承同一个抽象基类,流程固定为三步——这是典型的”模板方法”模式:
intercept(msg):预过滤。字段不全、协议不对、命中白名单的直接丢掉,并抽取后面要用的字段。detect(data):核心判断。模式匹配、阈值统计、情报比对都在这里。notice(data, result):生成告警,填严重度(severity)、可信度(reliability)和上下文。
一个示意性的检测器大概长这样(自写的简化版,不是任何真实代码):
class ClearTextCredDetector(BaseDetector):
channels = ["auth_events"]
def intercept(self, msg):
if msg.get("proto") not in ("ftp", "telnet", "pop3", "imap", "http"):
return None
if msg.get("tls"):
return None # 加密了就不算明文
if not msg.get("password"):
return None
return {"src": msg["src_ip"], "dst": msg["dst_ip"],
"proto": msg["proto"], "user": msg.get("user")}
def detect(self, d):
return True # 走到这里就说明命中
def notice(self, d, hit):
return Alert(kind="cleartext_credential", severity=2,
reliability=8, src=d["src"], dst=d["dst"],
extra={"proto": d["proto"], "user": d["user"]})
基类负责批处理、计数(处理量、命中数、耗时、异常数)、日志和统一的误报过滤,写新检测器的人只需要关心这三个方法。
配置驱动的模块装载
检测器是通过配置”插”进来的:配置里写类的路径、订阅哪些频道、批大小,主进程用反射动态加载。新增或下线一个检测器不用改主程序。
modules:
bruteforce:
enabled: true
class: detectors.bruteforce.Detector
batch_size: 100
channels: [auth_events]
web_attack:
enabled: true
class: detectors.web.Detector
batch_size: 50
channels: [http_events]
命令行上也可以只拉起部分模块,方便调试或在资源紧张的探针上裁剪。
运行模式:同一份代码,三种接入方式
为了适配不同部署形态,引擎抽象了消息来源:
- Redis 模式(默认):订阅 Redis pub/sub 频道,最简单,单机部署够用。
- ZeroMQ 模式:直接从上游的 ZeroMQ 套接字(TCP 或 IPC)拉数据,少一跳中间件,吞吐更高。
- 流处理模式:作为 Apache Storm 的 bolt 运行,用于更大规模的分布式部署。
启动时如果没有显式指定,会按”环境变量 → 检测 ZeroMQ 端口是否已有人绑定 → 回退 Redis”的顺序自动选择。上游消息既支持 JSON,也支持用分隔符拼接的紧凑文本格式(字段顺序由一份字段定义文件约定),后者在高吞吐下能省不少序列化开销。
典型检测器一览
| 类别 | 检测器 | 思路 |
|---|---|---|
| 认证 | 弱口令 | 登录成功 + 口令命中弱口令字典/强度评分过低 |
| 认证 | 明文口令 | 无 TLS 的协议中出现凭据 |
| 认证 | 暴力破解 | 时间窗口内失败次数、用户名去重数、多源打一目标 |
| Web | Web 攻击 | SQL 注入、XSS、命令注入、路径穿越、文件包含、XXE 的特征和启发式 |
| Web | HTTP 方法异常 | TRACE、WebDAV 类方法等少见方法 |
| Web | 扫描器/爬虫 | User-Agent、访问频率、枚举模式(如 WordPress 插件枚举) |
| Web | 带外(OOB) | 注入后通过 DNS/HTTP 回连外部的迹象 |
| 载荷 | Shellcode | NOP 滑板、常见编码器、指令序列特征 |
| 载荷 | PowerShell 攻击框架 | 已知开源攻击脚本的特征、编码后的命令 |
| 主机 | 挖矿木马 | 矿池域名、Stratum 协议、钱包地址格式 |
| 网络 | VPN 协议识别 | OpenVPN、IPSec、L2TP、PPTP、WireGuard |
深入两个例子
弱口令:难点在”是否成功”
只要看到口令是 123456 就报警,会被大量的扫描和失败尝试淹没。真正有价值的是用弱口令登录成功了。所以弱口令检测器做了这几件事:
- 从二十多种协议里抽取凭据:HTTP 表单和 Basic 认证、FTP、SSH、Telnet、邮件协议、数据库协议、RDP、SMB 等。
- 判断登录结果:HTTP 看状态码和跳转,其他协议看认证应答;失败的直接丢。
- 评估口令强度:先查弱口令字典,再用开源的 zxcvbn 打分,同时识别键盘序列、常见模式。
- 区分账号级别:admin/root 一类特权账号上的弱口令单独升级为更高严重度。
- 去重与扫描过滤:同一账号在一个时间窗口内只报一次;同一源在短时间内”自动重试”大量口令的行为,归为扫描而非真实登录;登录页本身的后台请求也要排除。
暴力破解:多维阈值
暴力破解看的是统计量,按”源→目标→服务”维度维护滑动窗口:
def on_failed_login(ev, win):
key = (ev.src, ev.dst, ev.service)
win.add(key, ev.ts, ev.user)
stats = win.stats(key, seconds=300)
if stats.failures >= 30:
return "bruteforce"
if stats.distinct_users >= 10:
return "user_enumeration" # 字典式枚举用户名
return None
另外还要考虑”分布式爆破”:很多源打同一个目标,每个源都低于阈值,要换成按目标聚合才看得出来。阈值本身是配置项,不同环境差别很大。
降误报的小工具
- 热门站点 Bloom 过滤器:把全球热门域名前一百万左右做成布隆过滤器(一种省内存、O(1) 查询、允许极小误判的集合结构),涉及这些域名的低置信度命中直接放过。
- 情报黑名单联动:命中已知 C&C、恶意 IP 的事件提升可信度。
- 批处理:按批取消息、按批检测,摊薄每条消息的开销。
运维层面的细节
引擎自带一个监督线程:周期检查 CPU、内存、IO,清理僵尸子进程,用 PID 文件防止重复启动。每个检测器的处理量、命中量、耗时、错误数都会定期打点,方便在管理界面上看到”哪个模块慢了”。
取舍与经验
- 规则引擎的优势是可解释:每条告警都能说清楚”因为 5 分钟内失败 47 次”。这对安全运营非常重要。
- 它的天花板也很明显:只能抓已知模式,对变形、加密流量、未知家族无能为力。这正是下一篇机器学习引擎要补的。
- “成功与否”比”是否尝试”更值钱:大量告警噪声来自失败的扫描。越早区分越好,后面关联层还会再做一次验证。
- 阈值不要写死:不同网络的正常基线差异巨大,阈值必须可配置,最好还能按资产分组。
- 进程隔离值得付出内存代价:Python 写的检测逻辑难免有异常,单个模块崩溃自动重启,比整个引擎挂掉强得多。
下一篇,我们看同一套框架上的另一条腿:用机器学习去检测 DGA 域名、加密流量里的恶意通信和变形的 Web 攻击。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments