威胁情报匹配与知识库(六)
上一篇:Flume + Esper 事件管道 · 下一篇:规则驱动的异常检测
大量攻击都会复用基础设施:同一批 C2 服务器、同一批钓鱼域名、同一批恶意软件下载地址。把这些“已知的坏东西”收集起来,就是威胁情报里最基础的部分——IOC(Indicator of Compromise,失陷指标,比如恶意 IP、域名、URL、文件哈希)。拿网络流量去和 IOC 比对,成本低、准确率高,是最划算的一类检测。
但光有匹配还不够。一条告警出来,用户会问:这属于哪类威胁?严重吗?处于攻击的哪个阶段?该怎么处置?这些回答需要一个全平台共享的“词典”。所以这一篇讲两个东西:在线的情报匹配引擎,它消费 Zeek/Suricata 产出的协议元数据,产出 IOC 告警送进上一篇的事件管道;以及离线的知识库,它为所有引擎提供统一的分类、评级、杀伤链和规则定义。
一、情报匹配引擎
整体结构
匹配引擎是一个 Python 服务,内部有一个轻量的任务管理器:每个任务是一个线程,启动前做环境检查,运行中监听配置变化,配置一变就重启对应任务。注册的任务包括:
- 一个管理 API 任务(查询状态、增删白名单、热加载情报和规则);
- 每种协议一个检测任务:DNS、HTTP、SMTP、POP3、IMAP、TLS、TCP 连接,以及一个可选的原始包任务(用于对 IPS 告警做包级复核)。
输入有两种模式:ZeroMQ 模式下每个协议任务直接订阅对应的元数据通道,性能更好,是默认推荐;Redis 模式则从一个公共列表里阻塞弹出事件,再按协议分发,属于早期方案。负载太高时,可以通过配置关掉不需要的协议通道(比如连接日志量最大,往往第一个被关掉)。
协议元数据(ZeroMQ / Redis)
│
▼
┌─────────────────────────────────────┐
│ 任务管理器 │
│ DNS │ HTTP │ 邮件 │ TLS │ 连接 │ … │ ← 每协议一个线程
└─────────────────────────────────────┘
│ 逐条走检测流水线
▼
告警(打上规则编号、分类、严重级别)
│
▼
事件管道 / 队列 / ES
每条事件的检测流水线
对每条事件,按固定顺序检查,第一个命中就生成告警并停止:
事件 ─► 白名单?──是──► 丢弃
│否
▼
行为规则命中?──是──► 告警
│否
▼
域名在情报里?──是──► 告警(访问恶意域名)
│否
▼
目的 IP 在情报里?──是──► 告警(连接到恶意 IP)
│否
▼
源 IP 在情报里?──是──► 告警(来自恶意 IP 的连接)
│否
▼
放行
用 DNS 举例(示意代码):
def handle_dns(ev):
if ev.get("qtype_name") == "PTR": # 反查记录没有检测价值,跳过
return
q = ev.get("query", "")
if not is_valid_domain(q):
return
if whitelist.hit(domain=q):
return
if behavior_rules["dns"].match(ev):
return emit(ev, "dns-abnormal")
if domain_intel.hit(q):
return emit(ev, "dns-query-malicious-domain")
if ip_intel.hit(ev["dst_ip"]):
return emit(ev, "conn-to-malicious-ip")
if ip_intel.hit(ev["src_ip"]):
return emit(ev, "conn-from-malicious-ip")
注意“连到恶意 IP”和“来自恶意 IP”是两种不同的告警:前者通常说明内网主机可能已经失陷,后者多半是外部扫描或攻击。方向不同,严重程度和处置建议也不一样。
各协议看什么
| 协议 | 主要比对对象 |
|---|---|
| DNS | 查询的域名、解析结果 IP |
| HTTP | Host、完整 URL、User-Agent、下载地址 |
| SMTP/POP3/IMAP | 发件人/收件人域名、邮件服务器 IP、附件信息 |
| TLS | SNI、证书信息、客户端指纹(JA3) |
| 连接 | 目的/源 IP、可疑端口 |
匹配技术
情报规模通常在几十万到上百万条,每秒要比对的事件也是万级,因此匹配必须是 O(1) 或接近 O(1):
- 精确匹配:IP、完整域名、URL 放进哈希集合;
- 后缀/通配匹配:
*.evil.example要匹配任意子域名。做法是把域名按标签从右往左逐级查表,而不是对每条通配规则跑一次正则; - CIDR 匹配:网段情报和白名单用前缀树或按掩码长度分桶;
- 布隆过滤器:在查真正的集合之前先过一遍布隆过滤器,绝大多数干净事件在这一步就被排除,省内存也省时间。
def domain_hit(name, exact, wildcard):
if name in exact:
return True
labels = name.split(".")
for i in range(1, len(labels) - 1): # 逐级去掉最左边的标签
if ".".join(labels[i:]) in wildcard:
return True
return False
情报来源与热更新
情报来源有三类:开源项目 Maltrail 整理的公开情报(C2、恶意软件基础设施、钓鱼、扫描器等)、自维护的黑名单、以及用户在管理平台里添加的自定义情报。每条情报带有类别,类别再映射到知识库里的威胁分类,这样告警出来时直接带上分类和建议。
情报更新不需要重启:管理 API 提供“重新加载情报”和“重新加载规则”的接口,后台加载新数据后整体替换旧引用。
白名单
情报匹配最大的问题是误报,来源主要是:CDN 和云平台的共享 IP、被安全厂商接管的 sinkhole 域名、过期没清理的情报。白名单支持精确值、通配域名、后缀和 CIDR 网段,可以通过 API 动态增删,并且是流水线的第一步,确保白名单里的东西不会因为任何一种情报而告警。
行为规则
除了 IOC,匹配引擎还执行一类轻量的“行为规则”:指定协议、字段、匹配模式,以及可选的源/目的地址范围和生效时间段,外加一段 JSON 格式的附加过滤条件。比如“HTTP 的 User-Agent 包含某个已知渗透工具的标识”“DNS 查询的子域名长度和熵异常”。更复杂的统计型异常检测交给下一篇的异常检测框架。
二、知识库
它解决什么问题
平台里有多个检测引擎,每个都有自己的规则和告警类型。如果每个引擎自己定义“这是什么威胁、多严重”,管理界面上会看到五花八门的口径。知识库就是唯一的权威来源:所有规则、分类、杀伤链阶段、恶意家族、漏洞信息都在这里定义,再同步到各处。
数据模型的思路
下面是一个抽象过的实体关系(命名为示意):
attack_stage threat_class
(杀伤链阶段) (大类)
▲ ▲
│ │ 1:N
│ threat_type
│ (细分类型:严重级别、攻击方/受害方方向、
│ 描述、处置建议、参考链接)
│ ▲
└──────────┬───────────┘
│
detection_rule ──────► malware_family(含 ATT&CK 技战术)
(规则编号、所属引擎、规则正文、严重级别、可信度、
启用/废弃、是否被用户修改过、版本号)
│
tag ◄──────── custom_intel
behavior_rule (协议、字段、模式、地址范围、生效时间、附加过滤)
vuln_entry (CVE 编号、描述、参考)
几个值得借鉴的设计点:
- 杀伤链阶段用经典的七阶段模型(侦察、武器化、投递、利用、安装、命令与控制、目标达成),每条规则都挂一个阶段。界面上可以把告警按攻击进度排列,一眼看出“这台主机已经走到了哪一步”。
- 大类 → 细分类型两级分类。严重级别、处置建议挂在细分类型上,规则只需要引用类型,不用每条规则重复写建议。
- 攻击方/受害方方向放在类型上。同样是一条告警,有的类型里源 IP 是攻击者,有的类型里目的 IP 才是(比如“内网主机访问 C2”,受害者是源)。这个字段决定了界面上谁被标红、资产风险算在谁头上。
- 按引擎划分规则编号段。特征规则、行为规则、协议分析脚本、机器学习模型各占一段,看到编号就知道是哪个引擎产出的,关联规则也可以按编号范围引用一类告警。
- 规则带可信度。严重级别回答“如果是真的有多严重”,可信度回答“这条规则有多大概率是真的”。两者分开,关联引擎和评分才有依据。
- 恶意家族挂 ATT&CK 技战术,漏洞库收录公开的 CVE 条目,供告警详情页展示背景知识。
- 双语字段。名称、描述都有中英文两列,界面切语言时直接取。
同步与升级
知识库本身是一个 MySQL 库,随规则包一起发布,按天或按需执行升级脚本。脚本的步骤是:
- 建表(全部
IF NOT EXISTS,保证可重复执行); - 删除过期或废弃的数据;
- 导入新的分类、规则、情报、漏洞数据;
- 执行表结构变更;
- 刷新情报白名单。
升级完成后,再同步到三个方向:管理平台的业务库(用于展示和用户编辑)、检测引擎的规则存储、IDS 的规则文件。
踩过的坑
- 用户修改被覆盖。 用户在界面上禁用或调整了某条规则,下一次升级又被官方数据覆盖回去。解决办法是在规则上加“已被用户编辑”标记,同步时跳过这些行,只更新未被修改的。
- 大文件导入超时。 漏洞库这种几十万行的 SQL 一次导入,容易撞上 MySQL 的包大小和超时限制。要么调大
max_allowed_packet和超时参数,要么拆成多个小文件分批导入。 - 主键冲突。 重复执行升级时
INSERT报主键冲突。所有导入都应该写成幂等的(INSERT ... ON DUPLICATE KEY UPDATE或先删后插)。 - 凭据写死在脚本里。 早期升级脚本把数据库账号密码直接写在命令行里,既不安全,也让改密码变成一件大事。应该从受保护的配置文件或环境变量读取,并使用最小权限账号。
- “第一个命中即停止”的代价。 流水线简单高效,但一条事件同时命中恶意域名和恶意 IP 时,只会留下一条告警,丢掉了“多个独立信号互相印证”的信息。如果关联引擎需要这类证据,可以考虑命中后继续检查,把所有命中项作为附加字段带上。
- 情报老化。 IP 情报的有效期很短,一个月前的 C2 地址今天可能已经分配给了正常业务。情报要带首次/最近出现时间,过期自动降级或剔除。
小结
情报匹配引擎负责“快速认出已知的坏东西”,知识库负责“告诉所有人这是什么、有多严重、该怎么办”。前者在线、追求吞吐,后者离线、追求一致性,两者共同给平台的告警打上统一的语义标签。
下一篇讲另一类检测:不依赖已知 IOC,而是用规则描述“异常行为”,比如暴力破解、认证攻击和可疑载荷。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments