Wuming 無名

Blog

动态沙箱分析(十)

· In Chinese · Technology

上一篇:告警关联、降噪与聚合 · 下一篇:多引擎杀毒

前面几篇讲的都是“看流量”:采集层把包抓下来,Suricata 和 Zeek 做协议解析和特征匹配,情报、规则和模型再从元数据里找异常。但有一类威胁光看流量是看不清的:文件。一封邮件附件、一个 HTTP 下载的可执行文件、一个压缩包,在网络上只是一串字节。它到底干了什么,只有让它真正跑起来才知道。

这就是动态沙箱要解决的问题。在整条流水线里,它位于 DPI 引擎的“文件还原”之后:引擎从流量中把文件提取出来,丢进队列,沙箱接手,把文件放进一台隔离的虚拟机里执行,记录它的一举一动,最后给出一份行为报告和一个判定结果,再送回事件管道参与关联。

沙箱(Sandbox):一个与真实环境隔离、可随时还原的执行环境,用来安全地运行可疑程序并观察其行为。

整体流程

 DPI 文件还原 / 手工上传 / API 提交
               │
               ▼
        ┌──────────────┐
        │  任务队列     │  按优先级排队
        └──────┬───────┘
               ▼
        ┌──────────────┐
        │   调度器      │  分配虚拟机、控制并发
        └──────┬───────┘
     ┌─────────┼──────────┐
     ▼         ▼          ▼
  静态分析   动态执行    多引擎杀毒
  (类型/哈希  (QEMU/KVM   (下一篇)
   /YARA)    + 客户机代理)
     └─────────┼──────────┘
               ▼
        行为特征匹配 → 威胁评分 → 报告生成
               ▼
     Elasticsearch / 事件管道 / 文件存储

一个样本的生命周期大致分六步:

阶段 做什么
接收 从 Redis 队列、ZeroMQ 或 REST 接口拿到任务
预分析 计算哈希、识别文件类型、跑 YARA 和杀毒引擎
分配虚拟机 按目标平台(Windows / Linux / Android)挑一台空闲虚拟机
执行 还原快照、投放样本、启动抓包、运行并计时
后处理 收集日志、匹配行为特征、计算评分、提取 IOC
发布 写入 Elasticsearch、推送到事件管道、落盘保存报告

预分析:先做便宜的事

动态执行很贵:一台虚拟机跑一个样本要几分钟。所以调度器在开虚拟机之前,先做一轮静态分析:

  • 哈希:MD5/SHA256 既是样本的身份证,也用来去重。同一个文件在流量里可能出现上百次,没必要每次都跑。系统用布隆过滤器做快速判重。

    布隆过滤器(Bloom filter):一种省内存的集合结构,能快速回答“肯定没见过”或“可能见过”。

  • 文件类型:用 libmagic 一类的工具判断真实类型,而不是相信扩展名。这决定了后续选哪种虚拟机、用哪个“启动包”(exe、dll、doc、apk 各有不同的打开方式)。
  • YARA 扫描:用规则匹配已知家族的字节特征。
  • 多引擎杀毒:几个杀毒引擎一起扫,结果作为评分的一部分(下一篇细讲)。

如果哈希命中了已知恶意情报,或者杀毒引擎已经一致判黑,就可以提高优先级,甚至直接出结论。

动态执行:虚拟机 + 客户机代理

执行层基于 QEMU/KVM 加 libvirt 管理。每种平台都有预先做好的镜像,镜像上打着一个“干净”快照。

# 示意代码:一次分析的核心流程
def run_task(task):
    vm = pool.acquire(task.platform)      # 从池中取一台空闲 VM
    try:
        vm.revert("clean")                # 还原到干净快照
        vm.upload(task.sample, task.target_path)
        sniffer.start(vm.iface)           # 在宿主侧抓这台 VM 的流量
        vm.agent.run(task.package, timeout=task.timeout)
        return vm.agent.collect()         # 行为日志、释放文件、内存转储
    finally:
        sniffer.stop()
        vm.poweroff()
        pool.release(vm)

虚拟机里跑着一个客户机代理(guest analyzer),它负责:

  • 拉起样本,并按文件类型选择打开方式;
  • 挂钩关键 API(文件读写、进程创建、注册表修改、网络连接等),记录调用序列;
  • 监控文件系统、注册表和进程树变化;
  • 必要时做内存转储,抓注入代码;
  • 超时后把所有日志回传给宿主。

宿主侧同时在虚拟机的虚拟网卡上抓包,得到一份完整 PCAP。这份 PCAP 很有价值:可以再喂给 DPI 引擎和情报匹配,看看样本连了哪些域名、是否命中已知 C2。

网络隔离

虚拟机挂在一个独立的虚拟网桥上,有两种模式:

  • 离线模式:只有 host-only 网络,样本连不出去。安全,但很多恶意软件联网失败就“装死”,行为看不全。
  • 在线模式:经 NAT 出网,能看到真实回连行为,但要承担样本真的对外造成影响的风险。

这是一个部署时就要定的取舍,系统提供了一键切换模式的脚本。

行为特征与评分

原始行为日志动辄上万条 API 调用,人看不过来。所以需要一层行为特征(behavioral signature),把低层事件归纳成有语义的结论,例如:

特征 含义
释放可执行文件 下载器/投放器的典型行为
安装服务 / 写自启动项 持久化
进程注入 隐藏自身、绕过检测
批量加密文件 勒索软件
删除卷影副本 阻止恢复,常见于勒索
关闭防火墙 削弱防护
截屏、读取浏览器凭据 窃密
检测虚拟机 / 调试器 反分析

然后把多维度证据合成一个分数。一个示意性的打分思路:

# 示意:多维证据加权,各维度有上限,避免单一维度刷满分
score  = min(av_hits * W_AV, CAP_AV)
score += min(sum(weight(s) for s in signatures), CAP_BEHAVIOR)
score += network_score(conns, c2_hit)
score += file_activity_score(dropped_files)
verdict = "malicious" if score >= HIGH else "suspicious" if score >= LOW else "clean"

关键设计点是每个维度封顶:否则一个疯狂写文件的安装程序光凭“文件活动”就能被判黑。高危行为(加密文件、删卷影、偷凭据)权重更高。

报告输出

一份报告同时有几种形态:

  • JSON:完整详细,供程序消费;
  • HTML:给分析师看的可读版本;
  • Elasticsearch 文档:可检索、可做仪表盘;
  • ZeroMQ 事件:实时推回事件管道,和其他告警一起进入关联引擎。

最后这一点很重要:沙箱判定“恶意”之后,关联引擎可以把它和最初那条下载流量、下载它的主机、后续的回连告警串起来,形成一条完整的攻击链。

踩坑与取舍

  • 资源是硬约束。每台 Windows 虚拟机要吃几 GB 内存,并发上不去。我们按平台配置虚拟机数量,并且总并发有上限;样本多时靠优先级和去重来削峰,而不是无限加机器。
  • 超时怎么定。时间短了看不到延迟发作的行为,时间长了吞吐量掉下来。实践中默认几分钟,可按任务调整;对“先睡一会儿再发作”的样本,业界常见的做法是在客户机代理里缩短睡眠调用。
  • 快照必须还原。任何一次分析结束都要回到干净快照,否则上一个样本的残留会污染下一个结果。为此还准备了“一键重建所有虚拟机”的脚本,用于镜像损坏后的恢复。
  • 反沙箱。越来越多样本会检测虚拟化痕迹、鼠标是否移动、运行时长等。镜像需要做“去虚拟化”处理,并模拟一些用户活动;即便如此,“没看到恶意行为”也不等于“干净”,所以评分永远要结合静态结果和杀毒结果。
  • 宿主安全。样本永远不在宿主机上执行,样本文件单独存放;虚拟机做 CPU/内存限额,防止一个样本拖垮整台机器。
  • 镜像维护成本。多个 Windows 版本、Linux、Android 模拟器,各自的补丁、Office 版本、运行库都要维护,这是长期的人力投入。

小结

动态沙箱补上了“只看流量看不到文件真实意图”的缺口:它把流量里还原出的文件放进可还原的虚拟机,通过 API 挂钩、文件/注册表/进程监控和抓包得到行为全貌,再用行为特征和多维评分给出结论,并把结果送回事件管道参与关联。

沙箱的静态阶段里,我们提到了“多个杀毒引擎一起扫”。下一篇就来看这件事是怎么组织的:多引擎怎么编排、结果怎么融合、病毒库怎么更新。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.