用 Zeek 做协议分析与事件输出(四)
上一篇:Suricata 深度包检测与规则管理 · 下一篇:Flume + Esper 事件管道
上一篇的 Suricata 回答的是“这段流量有没有命中某条已知特征”。但很多检测并不靠特征。比如“这台主机今天解析了哪些域名”“这条 TLS 连接用的证书是谁签的”“这个 HTTP 下载的文件是什么类型”,这些问题要靠另一类引擎来回答:把原始数据包还原成结构化的协议日志。在整个平台里,这一层就是 Zeek(早期叫 Bro)。它和 Suricata 并排挂在采集层后面,吃同一份镜像流量,产出的连接、HTTP、DNS、TLS、文件等日志流,供后面的事件管道、情报匹配、异常检测和机器学习模块使用。
这一篇讲我们怎么用 Zeek:集群怎么部署,脚本怎么写,以及为了让日志“实时流出去”我们加了哪些输出插件。
Zeek 和传统 IDS 有什么不同
| 维度 | 特征型 IDS(如 Suricata) | Zeek |
|---|---|---|
| 检测方式 | 规则匹配,命中即告警 | 事件驱动,脚本里写策略 |
| 输出 | 告警为主,元数据为辅 | 大量结构化日志为主,告警(notice)为辅 |
| 状态 | 按流跟踪 | 按连接、会话完整跟踪,可跨连接保存状态 |
| 扩展方式 | 写规则 | 写脚本、写插件 |
一句话:Suricata 擅长“抓坏人”,Zeek 擅长“记账”。平台需要一份完整、语义清晰的网络账本,后面的检测引擎才有原料可用。
集群形态
Zeek 自带集群模式,由管理工具(BroControl / ZeekControl)统一启停。节点分三种角色:
- worker:真正处理数据包,做协议识别、流重组、应用层解析,产出事件;
- proxy:在 worker 之间同步共享状态,减轻 manager 压力;
- manager:汇总 worker 的日志和 notice,运行全局脚本,最后交给日志写出器。
镜像流量
│
▼
采集层(PF_RING 按流哈希分发)
│
┌───┼─────────┬─────────┐
▼ ▼ ▼ ▼
worker-1 worker-2 ... worker-N ← 协议解析、生成事件
└─────────┼─────────┘
▼
proxy ← 共享状态
▼
manager ← 全局脚本、notice、日志写出
│
┌────────┼─────────┐
▼ ▼ ▼
Redis MongoDB 本地日志文件
(实时) (历史) (兜底)
多个 worker 怎么分流量?管理工具支持“负载均衡插件”,最常用的是 PF_RING 集群:同一个五元组(源/目的 IP、端口、协议)总是被哈希到同一个 worker,保证一条连接的所有包都在一个进程里重组。一个示意配置:
[manager]
type=manager
host=localhost
[proxy-1]
type=proxy
host=localhost
[worker-1]
type=worker
host=localhost
interface=<capture-if>
lb_method=pf_ring
lb_procs=8
单机模式下 manager 和 worker 在同一台机器上;流量大时可以把 worker 拆到多台机器,由一台 manager 汇总。
用脚本写检测策略
Zeek 的核心是事件:解析器每理解一点协议语义,就抛出一个事件(http_request、dns_request、connection_state_remove、file_new 等),脚本订阅这些事件写逻辑。下面是一个自己写的小例子,识别“持续很久但几乎不传数据”的连接——这类连接常见于心跳式的远控通道:
module LowAndSlow;
export {
redef enum Notice::Type += { Long_Quiet_Connection };
const min_duration = 1 hr &redef;
const max_bytes = 1024 &redef;
}
event connection_state_remove(c: connection)
{
if ( ! c?$duration ) return;
local total = c$orig$size + c$resp$size;
if ( c$duration > min_duration && total < max_bytes )
NOTICE([$note=Long_Quiet_Connection,
$msg=fmt("quiet connection, %d bytes", total),
$conn=c]);
}
类似的脚本可以写很多:可疑 User-Agent、URI 里的 SQL 关键字、超长随机子域名、访问后台路径得到 404 等。这些都是“弱信号”,单独看误报不少,但它们以 notice 形式进入后面的管道,可以和其他信号做关联。
让日志实时流出去:自定义写出插件
Zeek 默认把日志按小时写成本地文本文件(并自动轮转压缩)。这对事后取证够用,但对一个实时检测平台不够:下游模块要在秒级拿到每条 DNS、每条 HTTP。
Zeek 的日志框架是分层的:日志流(stream)→ 过滤器(filter)→ 写出器(writer)。我们做的是在最底层加两个写出器插件:
- Redis 写出器:每条日志序列化成 JSON,发布到 Redis 的发布/订阅频道,一种日志一个频道(连接、HTTP、DNS、TLS、文件、邮件、notice……);
- MongoDB 写出器:每种日志一个集合,用于需要按时间回查的历史场景。
插件用 C++ 写,通过 Zeek 的插件 API 注册新的 writer 类型;脚本层只需要在启动时给每个日志流加一个过滤器。思路如下(示意):
event zeek_init() &priority=-5
{
for ( id in Log::active_streams )
{
if ( id in RedisOut::excluded ) next;
if ( |RedisOut::only| > 0 && id !in RedisOut::only ) next;
Log::add_filter(id, [$name="to-redis",
$writer=Log::WRITER_REDIS,
$interv=0 sec]); # 不缓冲,逐条发出
}
}
两个集合控制发什么:only 是白名单(非空时只发这些),excluded 是黑名单(比如包过滤、内部报告这类噪声日志)。插件还暴露了几个内置函数(BIF,Built-In Function,即用 C++ 实现、在脚本里直接调用的函数),让脚本可以直接 set/get/publish 到 Redis,用来缓存查找结果或推送自定义告警。
一条 DNS 日志流出去大概长这样(字段名保持 Zeek 原样):
{
"ts": 1700000000.123456,
"uid": "C<random>",
"id.orig_h": "<client>", "id.orig_p": 53211,
"id.resp_h": "<resolver>", "id.resp_p": 53,
"proto": "udp",
"query": "example.com",
"qtype_name": "A",
"rcode_name": "NOERROR",
"answers": ["<addr>"]
}
uid 很关键:同一条连接上的 conn、http、files 日志共享同一个 uid,下游靠它把多条日志拼回一个会话。
文件与证书:顺手做的两件事
文件提取 + YARA。 Zeek 的文件分析框架能从 HTTP、SMTP、FTP 等协议里还原出传输的文件。我们对可执行文件、Office 文档、脚本等类型挂上提取分析器,文件落盘后用 YARA(一种按字符串和条件描述恶意样本特征的规则语言)扫描。规则按用途分了几类:漏洞利用文档、特定 CVE 的利用样本、各语言的 WebShell。一个通用的 WebShell 规则长这样:
rule php_eval_webshell_demo {
strings:
$e = "eval("
$p = "$_POST"
$b = "base64_decode"
condition:
$e and $p and $b
}
命中后生成 notice,同时文件本身还会被送去沙箱和多引擎杀毒(第 10、11 篇)。
证书弱密钥检测。 社区有现成插件检查 X.509 证书里的 RSA 公钥是否受 ROCA(CVE-2017-15361,某类硬件生成的 RSA 密钥可被分解)影响。这种“需要在证书事件里做一次计算”的检测,正是 Zeek 插件的典型用法。
性能调优
- worker 数量:经验值是“CPU 核数减 2”,留给 manager 和系统;
- 内存:每个 worker 一般需要 2~4 GB,连接表、DNS 状态表都在内存里,脚本里自定义的表要设置过期时间(
&create_expire等),否则会慢慢涨; - 丢包:先看
capstats/netstats的丢包率,再加大内核接收缓冲、PF_RING 槽位数,或者加 worker; - CPU 绑核:把 worker 固定到特定核上,避免调度抖动,并尽量和网卡队列所在的 NUMA 节点对齐。
踩过的坑与权衡
- 发布/订阅不保证送达。 Redis pub/sub 是“发了就忘”:订阅者没连上或者处理慢,消息直接丢。对日志这种量大、允许少量丢失的数据可以接受,但关键告警最好走带缓冲的队列(List、Stream 或 Kafka)。
- 别什么都往外发。 全量日志流出去会把 Redis 和下游一起压垮。用白名单只发真正有人消费的几类日志,其余留在本地文件。
- 字段名带点号。
id.orig_h这种名字在 JSON 里没问题,进 Elasticsearch 会被当成对象路径。我们在下游管道里统一改名成src_ip/dst_ip这类扁平字段。 - 和 Suricata 的重复劳动。 两个引擎都会解析 HTTP、DNS、TLS,CPU 有浪费。我们的取舍是:Suricata 负责特征和文件提取的主路径,Zeek 负责完整的协议账本和脚本化检测,各自只开必要的协议元数据输出。
- 脚本状态要有上限。 跨连接统计(比如“某 IP 一小时内的失败次数”)写起来很爽,但一定要有过期和容量上限,不然一次扫描风暴就能把内存吃光。
小结
Zeek 在平台里的定位是“网络账本”:把数据包变成有语义的事件和日志,并通过自定义写出插件实时推给下游。它本身也能做检测,但更大的价值是为后面的所有检测模块提供干净的原料。
下一篇看这些原料流向哪里:用 Flume 和 Esper 搭建的事件管道,如何把来自多个引擎的事件汇聚、聚合、关联再分发出去。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments