# 用 Zeek 做协议分析与事件输出（四）

- URL: https://wuming.si/blog/4012/
- Author: Wuming
- Published: 2025-02-11
- Language: zh-Hans
- Categories: Technology

> 上一篇：[Suricata 深度包检测与规则管理](https://wuming.si/blog/4011) · 下一篇：[Flume + Esper 事件管道](https://wuming.si/blog/4013)

上一篇的 Suricata 回答的是“这段流量有没有命中某条已知特征”。但很多检测并不靠特征。比如“这台主机今天解析了哪些域名”“这条 TLS 连接用的证书是谁签的”“这个 HTTP 下载的文件是什么类型”，这些问题要靠另一类引擎来回答：把原始数据包还原成**结构化的协议日志**。在整个平台里，这一层就是 Zeek（早期叫 Bro）。它和 Suricata 并排挂在采集层后面，吃同一份镜像流量，产出的连接、HTTP、DNS、TLS、文件等日志流，供后面的事件管道、情报匹配、异常检测和机器学习模块使用。

这一篇讲我们怎么用 Zeek：集群怎么部署，脚本怎么写，以及为了让日志“实时流出去”我们加了哪些输出插件。

## Zeek 和传统 IDS 有什么不同

| 维度 | 特征型 IDS（如 Suricata） | Zeek |
|---|---|---|
| 检测方式 | 规则匹配，命中即告警 | 事件驱动，脚本里写策略 |
| 输出 | 告警为主，元数据为辅 | 大量结构化日志为主，告警（notice）为辅 |
| 状态 | 按流跟踪 | 按连接、会话完整跟踪，可跨连接保存状态 |
| 扩展方式 | 写规则 | 写脚本、写插件 |

一句话：Suricata 擅长“抓坏人”，Zeek 擅长“记账”。平台需要一份完整、语义清晰的网络账本，后面的检测引擎才有原料可用。

## 集群形态

Zeek 自带集群模式，由管理工具（BroControl / ZeekControl）统一启停。节点分三种角色：

- **worker**：真正处理数据包，做协议识别、流重组、应用层解析，产出事件；
- **proxy**：在 worker 之间同步共享状态，减轻 manager 压力；
- **manager**：汇总 worker 的日志和 notice，运行全局脚本，最后交给日志写出器。

```
  镜像流量
     │
     ▼
 采集层（PF_RING 按流哈希分发）
     │
 ┌───┼─────────┬─────────┐
 ▼   ▼         ▼         ▼
worker-1   worker-2 ... worker-N   ← 协议解析、生成事件
     └─────────┼─────────┘
               ▼
            proxy                   ← 共享状态
               ▼
            manager                 ← 全局脚本、notice、日志写出
               │
      ┌────────┼─────────┐
      ▼        ▼         ▼
   Redis    MongoDB   本地日志文件
  (实时)    (历史)     (兜底)
```

多个 worker 怎么分流量？管理工具支持“负载均衡插件”，最常用的是 PF_RING 集群：同一个五元组（源/目的 IP、端口、协议）总是被哈希到同一个 worker，保证一条连接的所有包都在一个进程里重组。一个示意配置：

```ini
[manager]
type=manager
host=localhost

[proxy-1]
type=proxy
host=localhost

[worker-1]
type=worker
host=localhost
interface=<capture-if>
lb_method=pf_ring
lb_procs=8
```

单机模式下 manager 和 worker 在同一台机器上；流量大时可以把 worker 拆到多台机器，由一台 manager 汇总。

## 用脚本写检测策略

Zeek 的核心是事件：解析器每理解一点协议语义，就抛出一个事件（`http_request`、`dns_request`、`connection_state_remove`、`file_new` 等），脚本订阅这些事件写逻辑。下面是一个自己写的小例子，识别“持续很久但几乎不传数据”的连接——这类连接常见于心跳式的远控通道：

```zeek
module LowAndSlow;

export {
    redef enum Notice::Type += { Long_Quiet_Connection };
    const min_duration = 1 hr &redef;
    const max_bytes    = 1024 &redef;
}

event connection_state_remove(c: connection)
    {
    if ( ! c?$duration ) return;
    local total = c$orig$size + c$resp$size;
    if ( c$duration > min_duration && total < max_bytes )
        NOTICE([$note=Long_Quiet_Connection,
                $msg=fmt("quiet connection, %d bytes", total),
                $conn=c]);
    }
```

类似的脚本可以写很多：可疑 User-Agent、URI 里的 SQL 关键字、超长随机子域名、访问后台路径得到 404 等。这些都是“弱信号”，单独看误报不少，但它们以 notice 形式进入后面的管道，可以和其他信号做关联。

## 让日志实时流出去：自定义写出插件

Zeek 默认把日志按小时写成本地文本文件（并自动轮转压缩）。这对事后取证够用，但对一个实时检测平台不够：下游模块要在秒级拿到每条 DNS、每条 HTTP。

Zeek 的日志框架是分层的：**日志流（stream）→ 过滤器（filter）→ 写出器（writer）**。我们做的是在最底层加两个写出器插件：

- **Redis 写出器**：每条日志序列化成 JSON，发布到 Redis 的发布/订阅频道，一种日志一个频道（连接、HTTP、DNS、TLS、文件、邮件、notice……）；
- **MongoDB 写出器**：每种日志一个集合，用于需要按时间回查的历史场景。

插件用 C++ 写，通过 Zeek 的插件 API 注册新的 writer 类型；脚本层只需要在启动时给每个日志流加一个过滤器。思路如下（示意）：

```zeek
event zeek_init() &priority=-5
    {
    for ( id in Log::active_streams )
        {
        if ( id in RedisOut::excluded ) next;
        if ( |RedisOut::only| > 0 && id !in RedisOut::only ) next;
        Log::add_filter(id, [$name="to-redis",
                             $writer=Log::WRITER_REDIS,
                             $interv=0 sec]);   # 不缓冲，逐条发出
        }
    }
```

两个集合控制发什么：`only` 是白名单（非空时只发这些），`excluded` 是黑名单（比如包过滤、内部报告这类噪声日志）。插件还暴露了几个内置函数（BIF，Built-In Function，即用 C++ 实现、在脚本里直接调用的函数），让脚本可以直接 `set/get/publish` 到 Redis，用来缓存查找结果或推送自定义告警。

一条 DNS 日志流出去大概长这样（字段名保持 Zeek 原样）：

```json
{
  "ts": 1700000000.123456,
  "uid": "C<random>",
  "id.orig_h": "<client>", "id.orig_p": 53211,
  "id.resp_h": "<resolver>", "id.resp_p": 53,
  "proto": "udp",
  "query": "example.com",
  "qtype_name": "A",
  "rcode_name": "NOERROR",
  "answers": ["<addr>"]
}
```

`uid` 很关键：同一条连接上的 conn、http、files 日志共享同一个 uid，下游靠它把多条日志拼回一个会话。

## 文件与证书：顺手做的两件事

**文件提取 + YARA。** Zeek 的文件分析框架能从 HTTP、SMTP、FTP 等协议里还原出传输的文件。我们对可执行文件、Office 文档、脚本等类型挂上提取分析器，文件落盘后用 YARA（一种按字符串和条件描述恶意样本特征的规则语言）扫描。规则按用途分了几类：漏洞利用文档、特定 CVE 的利用样本、各语言的 WebShell。一个通用的 WebShell 规则长这样：

```yara
rule php_eval_webshell_demo {
    strings:
        $e = "eval("
        $p = "$_POST"
        $b = "base64_decode"
    condition:
        $e and $p and $b
}
```

命中后生成 notice，同时文件本身还会被送去沙箱和多引擎杀毒（第 10、11 篇）。

**证书弱密钥检测。** 社区有现成插件检查 X.509 证书里的 RSA 公钥是否受 ROCA（CVE-2017-15361，某类硬件生成的 RSA 密钥可被分解）影响。这种“需要在证书事件里做一次计算”的检测，正是 Zeek 插件的典型用法。

## 性能调优

- **worker 数量**：经验值是“CPU 核数减 2”，留给 manager 和系统；
- **内存**：每个 worker 一般需要 2~4 GB，连接表、DNS 状态表都在内存里，脚本里自定义的表要设置过期时间（`&create_expire` 等），否则会慢慢涨；
- **丢包**：先看 `capstats`/`netstats` 的丢包率，再加大内核接收缓冲、PF_RING 槽位数，或者加 worker；
- **CPU 绑核**：把 worker 固定到特定核上，避免调度抖动，并尽量和网卡队列所在的 NUMA 节点对齐。

## 踩过的坑与权衡

1. **发布/订阅不保证送达。** Redis pub/sub 是“发了就忘”：订阅者没连上或者处理慢，消息直接丢。对日志这种量大、允许少量丢失的数据可以接受，但关键告警最好走带缓冲的队列（List、Stream 或 Kafka）。
2. **别什么都往外发。** 全量日志流出去会把 Redis 和下游一起压垮。用白名单只发真正有人消费的几类日志，其余留在本地文件。
3. **字段名带点号。** `id.orig_h` 这种名字在 JSON 里没问题，进 Elasticsearch 会被当成对象路径。我们在下游管道里统一改名成 `src_ip`/`dst_ip` 这类扁平字段。
4. **和 Suricata 的重复劳动。** 两个引擎都会解析 HTTP、DNS、TLS，CPU 有浪费。我们的取舍是：Suricata 负责特征和文件提取的主路径，Zeek 负责完整的协议账本和脚本化检测，各自只开必要的协议元数据输出。
5. **脚本状态要有上限。** 跨连接统计（比如“某 IP 一小时内的失败次数”）写起来很爽，但一定要有过期和容量上限，不然一次扫描风暴就能把内存吃光。

## 小结

Zeek 在平台里的定位是“网络账本”：把数据包变成有语义的事件和日志，并通过自定义写出插件实时推给下游。它本身也能做检测，但更大的价值是为后面的所有检测模块提供干净的原料。

下一篇看这些原料流向哪里：用 Flume 和 Esper 搭建的事件管道，如何把来自多个引擎的事件汇聚、聚合、关联再分发出去。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
