多引擎杀毒扫描(十一)
上一篇的沙箱在“预分析”阶段会先让文件过一遍杀毒引擎。这一篇就专门讲这一层:为什么要用多个引擎、怎么把它们组织起来、结果怎么合并、病毒库怎么保持新鲜。
在流水线里,多引擎杀毒是一个被调用的服务。DPI 引擎从流量里还原出的文件、沙箱接到的样本,都会送到这里扫一遍。它本身不看流量,只回答一个问题:这个文件,各家引擎怎么看?
为什么不用一个引擎就够了
任何一个杀毒引擎都有盲区。各家的特征库来源不同,对同一个新变种,可能有的已经覆盖、有的还没跟上;启发式规则的激进程度也不同,有的漏报多,有的误报多。
把几个引擎并联起来,有两个直接好处:
- 降低漏报:一个引擎没认出来,另一个可能认出来;
- 提供置信度:“5 个里 4 个报毒”和“5 个里 1 个报毒”是完全不同的信号,后者往往值得进一步进沙箱确认。
代价也很明显:资源占用翻倍、运维对象翻倍、每个引擎都有自己的安装方式、更新方式和故障模式。整个系统的设计,大部分其实是在管理这些代价。
我们的组合是几个商业引擎加上开源的 ClamAV。
架构:统一编排,各自为政
待扫描文件
│
▼
┌───────────────┐
│ 扫描编排层 │ (被沙箱 / 文件还原流程调用)
└───────┬───────┘
┌────────┬─┴──────┬────────┐
▼ ▼ ▼ ▼
引擎 A 引擎 B ClamAV 引擎 N 各自守护进程 + 各自特征库
│ │ │ │
└────────┴───┬────┴────────┘
▼
┌───────────────┐
│ 结果归一化 │ 统一成 {engine, detected, name}
└───────┬───────┘
▼
┌───────────────┐
│ 结果融合 │ 计数 / 投票 / 任一命中
└───────────────┘
这里有一个关键思路:每个引擎都当成一个黑盒。它们有的是常驻守护进程,通过本地 socket 接收扫描请求(比如 ClamAV 的 clamd,配 clamdscan 客户端,比每次冷启动 clamscan 快很多);有的是命令行扫描器,每次调用一次。编排层不关心内部,只给每个引擎写一个薄薄的适配器:
# 示意:每个引擎一个适配器,输出统一结构
class EngineAdapter:
name = "base"
def scan(self, path) -> dict:
raise NotImplementedError
class ClamAVAdapter(EngineAdapter):
name = "clamav"
def scan(self, path):
out = run(["clamdscan", "--no-summary", path], timeout=30)
# 输出形如 "/path: Eicar-Signature FOUND"
hit = out.strip().endswith("FOUND")
sig = out.split(": ", 1)[1].rsplit(" ", 1)[0] if hit else None
return {"engine": self.name, "detected": hit, "name": sig}
适配器负责三件事:调用、超时、解析输出。所有引擎的输出最后都变成同一个结构,后面的融合逻辑就和具体引擎完全解耦了。增加或下线一个引擎,只是加减一个适配器。
结果融合
归一化之后,融合就是策略问题。常见几种:
| 策略 | 规则 | 适合场景 |
|---|---|---|
| 任一命中 | 只要有一个引擎报毒就算恶意 | 宁可错杀,比如邮件网关 |
| 阈值计数 | 报毒引擎数 ≥ N 才判恶意 | 平衡误报和漏报 |
| 多数投票 | 超过半数报毒 | 偏保守,误报最少 |
| 加权 | 不同引擎不同权重 | 有历史准确率数据时 |
我们的做法是:对外输出原始计数和各引擎的检出名,判定策略可配。默认采用阈值计数——达到阈值直接判恶意,低于阈值但非零的标为“可疑”,交给沙箱和关联引擎进一步处理。
# 示意:融合结果
def fuse(results, threshold=2):
hits = [r for r in results if r["detected"]]
return {
"detect_count": len(hits),
"total": len(results),
"names": sorted({r["name"] for r in hits}),
"verdict": "malicious" if len(hits) >= threshold
else "suspicious" if hits else "clean",
}
还有两个细节:
- 检出名不统一。同一个木马,各家命名五花八门。我们不尝试做精确映射,而是保留原名列表,再用一些简单的关键词(Trojan、Ransom、Backdoor 等)粗分类,供界面展示和统计使用。
- 超时和失败不能当作“干净”。某个引擎超时或者崩了,结果应标为“未知”,分母也要相应调整,否则“0/5”实际上可能是“0/3 + 2 个没跑”。
病毒库更新:集中镜像 + 本地替换
多引擎最麻烦的是更新。每家的特征库格式、目录结构、加载方式都不一样,而且很多部署环境不允许直接连互联网。
我们的方案是集中镜像:内网里有一台更新服务器,按引擎分目录存放最新的特征库;每台设备上的定时任务在业务低峰期(比如凌晨)用 rsync 拉取,然后逐个引擎替换。
更新镜像服务器
└── 按引擎分目录存放特征库
│ rsync(定时,凌晨低峰)
▼
┌──────────────────────────────┐
│ 对每个引擎: │
│ 1. 下载到临时目录 │
│ 2. 备份当前特征库 │
│ 3. 替换为新特征库并修正属主 │
│ 4. 按需重启或热加载 │
└──────────────────────────────┘
几个设计要点:
- 先探测连通性。连不上镜像就直接退出,不要把现有特征库动坏了。
- 先备份再替换。新特征库如果有问题,可以退回上一版。
- 每个引擎独立成败。一个引擎更新失败只记日志,不影响其他引擎。
- 重启策略因引擎而异。有的引擎替换完文件会自动加载;有的必须重启守护进程才能生效;ClamAV 的
clamd支持重新加载数据库。这些差异全部封装在更新脚本里。 - 文件属主。很多引擎以专用低权限用户运行,替换后的文件必须改回正确的属主,否则守护进程读不了库——这是我们踩过最多次的坑之一。
# 示意:单个引擎的更新步骤
update_engine() {
local name=$1 dst=$2 owner=$3
tmp=$(mktemp -d)
rsync -a "$MIRROR/$name/" "$tmp/" || { log "$name: fetch failed"; return 1; }
mv "$dst" "$dst.bak.$(date +%F)"
mv "$tmp" "$dst" && chown -R "$owner" "$dst"
reload_or_restart "$name"
}
健康检查与自愈
引擎是常驻进程,就会挂。我们用 Monit 给每个引擎配一个检查脚本,做两层判断:
- 服务管理器(systemd)认为它在运行吗?
- 进程真的在吗?(服务状态和实际进程不一致的情况并不罕见)
任何一层失败就重启,并返回非零状态让 Monit 发出告警。
# 示意:一个引擎的健康检查
systemctl is-active --quiet "$SVC" || { systemctl restart "$SVC"; exit 1; }
pgrep -f "$PROC_PATTERN" >/dev/null || { systemctl restart "$SVC"; exit 2; }
exit 0
Monit 的更多细节放在第 15 篇。
踩坑与取舍
- CPU 和内存。几个引擎同时常驻,内存占用相当可观;大文件扫描时 CPU 也会冲高。我们给 ClamAV 限制了线程数、最大文件大小和递归深度;超大文件直接跳过并标记,而不是让扫描拖住整个流程。
- SELinux。在开启 SELinux 的系统上,杀毒进程默认可能无权读取任意文件,需要打开相应的策略布尔值。
- 白名单与排除。每个引擎都有自己的排除配置方式。为了降低误报,常见的已知良性文件要在各引擎里分别配置——这又是一处“N 倍运维”。
- 商业引擎的生命周期。商业引擎各有自己的版本节奏和安装方式,升级前后需要专门的检查脚本。这类事务性工作很容易被低估。
- “全部干净”不等于安全。杀毒引擎本质上是已知特征匹配,对全新样本无能为力。所以多引擎的结果只是评分的一部分,最终要和沙箱行为、情报命中一起判断。
小结
多引擎杀毒的核心是:用适配器把异构引擎统一成同一种输出,用可配置的融合策略把“几个意见”变成一个判定,用集中镜像加逐引擎替换解决离线环境下的更新问题,再用 Monit 兜底保证引擎一直活着。真正的难点不在扫描本身,而在于把 N 个各不相同的东西长期稳定地运维下去。
到这里,检测层就基本讲完了。下一篇换到用户这一侧:管理平台是怎么用 Django、Celery 和一个 Java 服务搭起来的,以及中英文国际化是怎么做的。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments