Wuming 無名

Blog

威胁情报匹配与知识库(六)

· In Chinese · Technology

上一篇:Flume + Esper 事件管道 · 下一篇:规则驱动的异常检测

大量攻击都会复用基础设施:同一批 C2 服务器、同一批钓鱼域名、同一批恶意软件下载地址。把这些“已知的坏东西”收集起来,就是威胁情报里最基础的部分——IOC(Indicator of Compromise,失陷指标,比如恶意 IP、域名、URL、文件哈希)。拿网络流量去和 IOC 比对,成本低、准确率高,是最划算的一类检测。

但光有匹配还不够。一条告警出来,用户会问:这属于哪类威胁?严重吗?处于攻击的哪个阶段?该怎么处置?这些回答需要一个全平台共享的“词典”。所以这一篇讲两个东西:在线的情报匹配引擎,它消费 Zeek/Suricata 产出的协议元数据,产出 IOC 告警送进上一篇的事件管道;以及离线的知识库,它为所有引擎提供统一的分类、评级、杀伤链和规则定义。

一、情报匹配引擎

整体结构

匹配引擎是一个 Python 服务,内部有一个轻量的任务管理器:每个任务是一个线程,启动前做环境检查,运行中监听配置变化,配置一变就重启对应任务。注册的任务包括:

  • 一个管理 API 任务(查询状态、增删白名单、热加载情报和规则);
  • 每种协议一个检测任务:DNS、HTTP、SMTP、POP3、IMAP、TLS、TCP 连接,以及一个可选的原始包任务(用于对 IPS 告警做包级复核)。

输入有两种模式:ZeroMQ 模式下每个协议任务直接订阅对应的元数据通道,性能更好,是默认推荐;Redis 模式则从一个公共列表里阻塞弹出事件,再按协议分发,属于早期方案。负载太高时,可以通过配置关掉不需要的协议通道(比如连接日志量最大,往往第一个被关掉)。

 协议元数据(ZeroMQ / Redis)
        │
        ▼
 ┌─────────────────────────────────────┐
 │ 任务管理器                           │
 │  DNS │ HTTP │ 邮件 │ TLS │ 连接 │ … │ ← 每协议一个线程
 └─────────────────────────────────────┘
        │  逐条走检测流水线
        ▼
   告警(打上规则编号、分类、严重级别)
        │
        ▼
   事件管道 / 队列 / ES

每条事件的检测流水线

对每条事件,按固定顺序检查,第一个命中就生成告警并停止:

事件 ─► 白名单?──是──► 丢弃
         │否
         ▼
      行为规则命中?──是──► 告警
         │否
         ▼
      域名在情报里?──是──► 告警(访问恶意域名)
         │否
         ▼
      目的 IP 在情报里?──是──► 告警(连接到恶意 IP)
         │否
         ▼
      源 IP 在情报里?──是──► 告警(来自恶意 IP 的连接)
         │否
         ▼
       放行

用 DNS 举例(示意代码):

def handle_dns(ev):
    if ev.get("qtype_name") == "PTR":      # 反查记录没有检测价值,跳过
        return
    q = ev.get("query", "")
    if not is_valid_domain(q):
        return
    if whitelist.hit(domain=q):
        return
    if behavior_rules["dns"].match(ev):
        return emit(ev, "dns-abnormal")
    if domain_intel.hit(q):
        return emit(ev, "dns-query-malicious-domain")
    if ip_intel.hit(ev["dst_ip"]):
        return emit(ev, "conn-to-malicious-ip")
    if ip_intel.hit(ev["src_ip"]):
        return emit(ev, "conn-from-malicious-ip")

注意“连到恶意 IP”和“来自恶意 IP”是两种不同的告警:前者通常说明内网主机可能已经失陷,后者多半是外部扫描或攻击。方向不同,严重程度和处置建议也不一样。

各协议看什么

协议 主要比对对象
DNS 查询的域名、解析结果 IP
HTTP Host、完整 URL、User-Agent、下载地址
SMTP/POP3/IMAP 发件人/收件人域名、邮件服务器 IP、附件信息
TLS SNI、证书信息、客户端指纹(JA3)
连接 目的/源 IP、可疑端口

匹配技术

情报规模通常在几十万到上百万条,每秒要比对的事件也是万级,因此匹配必须是 O(1) 或接近 O(1):

  • 精确匹配:IP、完整域名、URL 放进哈希集合;
  • 后缀/通配匹配:*.evil.example 要匹配任意子域名。做法是把域名按标签从右往左逐级查表,而不是对每条通配规则跑一次正则;
  • CIDR 匹配:网段情报和白名单用前缀树或按掩码长度分桶;
  • 布隆过滤器:在查真正的集合之前先过一遍布隆过滤器,绝大多数干净事件在这一步就被排除,省内存也省时间。
def domain_hit(name, exact, wildcard):
    if name in exact:
        return True
    labels = name.split(".")
    for i in range(1, len(labels) - 1):          # 逐级去掉最左边的标签
        if ".".join(labels[i:]) in wildcard:
            return True
    return False

情报来源与热更新

情报来源有三类:开源项目 Maltrail 整理的公开情报(C2、恶意软件基础设施、钓鱼、扫描器等)、自维护的黑名单、以及用户在管理平台里添加的自定义情报。每条情报带有类别,类别再映射到知识库里的威胁分类,这样告警出来时直接带上分类和建议。

情报更新不需要重启:管理 API 提供“重新加载情报”和“重新加载规则”的接口,后台加载新数据后整体替换旧引用。

白名单

情报匹配最大的问题是误报,来源主要是:CDN 和云平台的共享 IP、被安全厂商接管的 sinkhole 域名、过期没清理的情报。白名单支持精确值、通配域名、后缀和 CIDR 网段,可以通过 API 动态增删,并且是流水线的第一步,确保白名单里的东西不会因为任何一种情报而告警。

行为规则

除了 IOC,匹配引擎还执行一类轻量的“行为规则”:指定协议、字段、匹配模式,以及可选的源/目的地址范围和生效时间段,外加一段 JSON 格式的附加过滤条件。比如“HTTP 的 User-Agent 包含某个已知渗透工具的标识”“DNS 查询的子域名长度和熵异常”。更复杂的统计型异常检测交给下一篇的异常检测框架。

二、知识库

它解决什么问题

平台里有多个检测引擎,每个都有自己的规则和告警类型。如果每个引擎自己定义“这是什么威胁、多严重”,管理界面上会看到五花八门的口径。知识库就是唯一的权威来源:所有规则、分类、杀伤链阶段、恶意家族、漏洞信息都在这里定义,再同步到各处。

数据模型的思路

下面是一个抽象过的实体关系(命名为示意):

  attack_stage            threat_class
  (杀伤链阶段)              (大类)
       ▲                      ▲
       │                      │ 1:N
       │                 threat_type
       │                 (细分类型:严重级别、攻击方/受害方方向、
       │                  描述、处置建议、参考链接)
       │                      ▲
       └──────────┬───────────┘
                  │
            detection_rule ──────► malware_family(含 ATT&CK 技战术)
  (规则编号、所属引擎、规则正文、严重级别、可信度、
   启用/废弃、是否被用户修改过、版本号)
                  │
                tag ◄──────── custom_intel

  behavior_rule   (协议、字段、模式、地址范围、生效时间、附加过滤)
  vuln_entry      (CVE 编号、描述、参考)

几个值得借鉴的设计点:

  • 杀伤链阶段用经典的七阶段模型(侦察、武器化、投递、利用、安装、命令与控制、目标达成),每条规则都挂一个阶段。界面上可以把告警按攻击进度排列,一眼看出“这台主机已经走到了哪一步”。
  • 大类 → 细分类型两级分类。严重级别、处置建议挂在细分类型上,规则只需要引用类型,不用每条规则重复写建议。
  • 攻击方/受害方方向放在类型上。同样是一条告警,有的类型里源 IP 是攻击者,有的类型里目的 IP 才是(比如“内网主机访问 C2”,受害者是源)。这个字段决定了界面上谁被标红、资产风险算在谁头上。
  • 按引擎划分规则编号段。特征规则、行为规则、协议分析脚本、机器学习模型各占一段,看到编号就知道是哪个引擎产出的,关联规则也可以按编号范围引用一类告警。
  • 规则带可信度。严重级别回答“如果是真的有多严重”,可信度回答“这条规则有多大概率是真的”。两者分开,关联引擎和评分才有依据。
  • 恶意家族挂 ATT&CK 技战术,漏洞库收录公开的 CVE 条目,供告警详情页展示背景知识。
  • 双语字段。名称、描述都有中英文两列,界面切语言时直接取。

同步与升级

知识库本身是一个 MySQL 库,随规则包一起发布,按天或按需执行升级脚本。脚本的步骤是:

  1. 建表(全部 IF NOT EXISTS,保证可重复执行);
  2. 删除过期或废弃的数据;
  3. 导入新的分类、规则、情报、漏洞数据;
  4. 执行表结构变更;
  5. 刷新情报白名单。

升级完成后,再同步到三个方向:管理平台的业务库(用于展示和用户编辑)、检测引擎的规则存储、IDS 的规则文件。

踩过的坑

  1. 用户修改被覆盖。 用户在界面上禁用或调整了某条规则,下一次升级又被官方数据覆盖回去。解决办法是在规则上加“已被用户编辑”标记,同步时跳过这些行,只更新未被修改的。
  2. 大文件导入超时。 漏洞库这种几十万行的 SQL 一次导入,容易撞上 MySQL 的包大小和超时限制。要么调大 max_allowed_packet 和超时参数,要么拆成多个小文件分批导入。
  3. 主键冲突。 重复执行升级时 INSERT 报主键冲突。所有导入都应该写成幂等的(INSERT ... ON DUPLICATE KEY UPDATE 或先删后插)。
  4. 凭据写死在脚本里。 早期升级脚本把数据库账号密码直接写在命令行里,既不安全,也让改密码变成一件大事。应该从受保护的配置文件或环境变量读取,并使用最小权限账号。
  5. “第一个命中即停止”的代价。 流水线简单高效,但一条事件同时命中恶意域名和恶意 IP 时,只会留下一条告警,丢掉了“多个独立信号互相印证”的信息。如果关联引擎需要这类证据,可以考虑命中后继续检查,把所有命中项作为附加字段带上。
  6. 情报老化。 IP 情报的有效期很短,一个月前的 C2 地址今天可能已经分配给了正常业务。情报要带首次/最近出现时间,过期自动降级或剔除。

小结

情报匹配引擎负责“快速认出已知的坏东西”,知识库负责“告诉所有人这是什么、有多严重、该怎么办”。前者在线、追求吞吐,后者离线、追求一致性,两者共同给平台的告警打上统一的语义标签。

下一篇讲另一类检测:不依赖已知 IOC,而是用规则描述“异常行为”,比如暴力破解、认证攻击和可疑载荷。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.