Wuming 無名

Blog

多引擎杀毒扫描(十一)

· In Chinese · Technology

上一篇:动态沙箱 · 下一篇:管理平台

上一篇的沙箱在“预分析”阶段会先让文件过一遍杀毒引擎。这一篇就专门讲这一层:为什么要用多个引擎、怎么把它们组织起来、结果怎么合并、病毒库怎么保持新鲜。

在流水线里,多引擎杀毒是一个被调用的服务。DPI 引擎从流量里还原出的文件、沙箱接到的样本,都会送到这里扫一遍。它本身不看流量,只回答一个问题:这个文件,各家引擎怎么看?

为什么不用一个引擎就够了

任何一个杀毒引擎都有盲区。各家的特征库来源不同,对同一个新变种,可能有的已经覆盖、有的还没跟上;启发式规则的激进程度也不同,有的漏报多,有的误报多。

把几个引擎并联起来,有两个直接好处:

  • 降低漏报:一个引擎没认出来,另一个可能认出来;
  • 提供置信度:“5 个里 4 个报毒”和“5 个里 1 个报毒”是完全不同的信号,后者往往值得进一步进沙箱确认。

代价也很明显:资源占用翻倍、运维对象翻倍、每个引擎都有自己的安装方式、更新方式和故障模式。整个系统的设计,大部分其实是在管理这些代价。

我们的组合是几个商业引擎加上开源的 ClamAV。

架构:统一编排,各自为政

            待扫描文件
                │
                ▼
        ┌───────────────┐
        │  扫描编排层     │  (被沙箱 / 文件还原流程调用)
        └───────┬───────┘
     ┌────────┬─┴──────┬────────┐
     ▼        ▼        ▼        ▼
  引擎 A    引擎 B   ClamAV   引擎 N     各自守护进程 + 各自特征库
     │        │        │        │
     └────────┴───┬────┴────────┘
                  ▼
        ┌───────────────┐
        │   结果归一化    │  统一成 {engine, detected, name}
        └───────┬───────┘
                ▼
        ┌───────────────┐
        │   结果融合      │  计数 / 投票 / 任一命中
        └───────────────┘

这里有一个关键思路:每个引擎都当成一个黑盒。它们有的是常驻守护进程,通过本地 socket 接收扫描请求(比如 ClamAV 的 clamd,配 clamdscan 客户端,比每次冷启动 clamscan 快很多);有的是命令行扫描器,每次调用一次。编排层不关心内部,只给每个引擎写一个薄薄的适配器:

# 示意:每个引擎一个适配器,输出统一结构
class EngineAdapter:
    name = "base"
    def scan(self, path) -> dict:
        raise NotImplementedError

class ClamAVAdapter(EngineAdapter):
    name = "clamav"
    def scan(self, path):
        out = run(["clamdscan", "--no-summary", path], timeout=30)
        # 输出形如 "/path: Eicar-Signature FOUND"
        hit = out.strip().endswith("FOUND")
        sig = out.split(": ", 1)[1].rsplit(" ", 1)[0] if hit else None
        return {"engine": self.name, "detected": hit, "name": sig}

适配器负责三件事:调用、超时、解析输出。所有引擎的输出最后都变成同一个结构,后面的融合逻辑就和具体引擎完全解耦了。增加或下线一个引擎,只是加减一个适配器。

结果融合

归一化之后,融合就是策略问题。常见几种:

策略 规则 适合场景
任一命中 只要有一个引擎报毒就算恶意 宁可错杀,比如邮件网关
阈值计数 报毒引擎数 ≥ N 才判恶意 平衡误报和漏报
多数投票 超过半数报毒 偏保守,误报最少
加权 不同引擎不同权重 有历史准确率数据时

我们的做法是:对外输出原始计数和各引擎的检出名,判定策略可配。默认采用阈值计数——达到阈值直接判恶意,低于阈值但非零的标为“可疑”,交给沙箱和关联引擎进一步处理。

# 示意:融合结果
def fuse(results, threshold=2):
    hits = [r for r in results if r["detected"]]
    return {
        "detect_count": len(hits),
        "total": len(results),
        "names": sorted({r["name"] for r in hits}),
        "verdict": "malicious" if len(hits) >= threshold
                   else "suspicious" if hits else "clean",
    }

还有两个细节:

  • 检出名不统一。同一个木马,各家命名五花八门。我们不尝试做精确映射,而是保留原名列表,再用一些简单的关键词(Trojan、Ransom、Backdoor 等)粗分类,供界面展示和统计使用。
  • 超时和失败不能当作“干净”。某个引擎超时或者崩了,结果应标为“未知”,分母也要相应调整,否则“0/5”实际上可能是“0/3 + 2 个没跑”。

病毒库更新:集中镜像 + 本地替换

多引擎最麻烦的是更新。每家的特征库格式、目录结构、加载方式都不一样,而且很多部署环境不允许直接连互联网。

我们的方案是集中镜像:内网里有一台更新服务器,按引擎分目录存放最新的特征库;每台设备上的定时任务在业务低峰期(比如凌晨)用 rsync 拉取,然后逐个引擎替换。

   更新镜像服务器
   └── 按引擎分目录存放特征库
            │ rsync(定时,凌晨低峰)
            ▼
   ┌──────────────────────────────┐
   │ 对每个引擎:                   │
   │  1. 下载到临时目录             │
   │  2. 备份当前特征库             │
   │  3. 替换为新特征库并修正属主    │
   │  4. 按需重启或热加载           │
   └──────────────────────────────┘

几个设计要点:

  • 先探测连通性。连不上镜像就直接退出,不要把现有特征库动坏了。
  • 先备份再替换。新特征库如果有问题,可以退回上一版。
  • 每个引擎独立成败。一个引擎更新失败只记日志,不影响其他引擎。
  • 重启策略因引擎而异。有的引擎替换完文件会自动加载;有的必须重启守护进程才能生效;ClamAV 的 clamd 支持重新加载数据库。这些差异全部封装在更新脚本里。
  • 文件属主。很多引擎以专用低权限用户运行,替换后的文件必须改回正确的属主,否则守护进程读不了库——这是我们踩过最多次的坑之一。
# 示意:单个引擎的更新步骤
update_engine() {
  local name=$1 dst=$2 owner=$3
  tmp=$(mktemp -d)
  rsync -a "$MIRROR/$name/" "$tmp/" || { log "$name: fetch failed"; return 1; }
  mv "$dst" "$dst.bak.$(date +%F)"
  mv "$tmp" "$dst" && chown -R "$owner" "$dst"
  reload_or_restart "$name"
}

健康检查与自愈

引擎是常驻进程,就会挂。我们用 Monit 给每个引擎配一个检查脚本,做两层判断:

  1. 服务管理器(systemd)认为它在运行吗?
  2. 进程真的在吗?(服务状态和实际进程不一致的情况并不罕见)

任何一层失败就重启,并返回非零状态让 Monit 发出告警。

# 示意:一个引擎的健康检查
systemctl is-active --quiet "$SVC" || { systemctl restart "$SVC"; exit 1; }
pgrep -f "$PROC_PATTERN" >/dev/null   || { systemctl restart "$SVC"; exit 2; }
exit 0

Monit 的更多细节放在第 15 篇。

踩坑与取舍

  • CPU 和内存。几个引擎同时常驻,内存占用相当可观;大文件扫描时 CPU 也会冲高。我们给 ClamAV 限制了线程数、最大文件大小和递归深度;超大文件直接跳过并标记,而不是让扫描拖住整个流程。
  • SELinux。在开启 SELinux 的系统上,杀毒进程默认可能无权读取任意文件,需要打开相应的策略布尔值。
  • 白名单与排除。每个引擎都有自己的排除配置方式。为了降低误报,常见的已知良性文件要在各引擎里分别配置——这又是一处“N 倍运维”。
  • 商业引擎的生命周期。商业引擎各有自己的版本节奏和安装方式,升级前后需要专门的检查脚本。这类事务性工作很容易被低估。
  • “全部干净”不等于安全。杀毒引擎本质上是已知特征匹配,对全新样本无能为力。所以多引擎的结果只是评分的一部分,最终要和沙箱行为、情报命中一起判断。

小结

多引擎杀毒的核心是:用适配器把异构引擎统一成同一种输出,用可配置的融合策略把“几个意见”变成一个判定,用集中镜像加逐引擎替换解决离线环境下的更新问题,再用 Monit 兜底保证引擎一直活着。真正的难点不在扫描本身,而在于把 N 个各不相同的东西长期稳定地运维下去。

到这里,检测层就基本讲完了。下一篇换到用户这一侧:管理平台是怎么用 Django、Celery 和一个 Java 服务搭起来的,以及中英文国际化是怎么做的。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.