# 部署、版本清单与升级回滚：让三十多个组件一起走（十四）

- URL: https://wuming.si/blog/4022/
- Author: Wuming
- Published: 2025-04-22
- Language: zh-Hans
- Categories: Technology

> 上一篇：[轻量级探针](https://wuming.si/blog/4021) · 下一篇：[运维监控与自愈](https://wuming.si/blog/4023)

把前面十三篇的组件数一数：采集驱动和 PF_RING、两套 DPI 引擎、Flume 及其扩展、Kafka、Redis、MySQL、MongoDB、Elasticsearch 和 Kibana、情报与知识库、几个检测引擎、沙箱及各平台的虚拟机镜像、多个杀毒引擎、Web 后端、前端、各自的 Python 虚拟环境……加起来三十多个独立打包的部件。

这一篇讲平台的"交付层"：怎样把一台装好操作系统的裸机，变成一台能工作的检测设备；怎样记录"这台设备上到底是哪个版本的什么"；以及升级失败时怎样退回去。它不在数据流水线上，但决定了前面所有东西能不能稳定地跑在客户现场。

## 一、首次启动初始化

设备交付的基本流程是：

```
装最小化系统 → 拷入部署脚本 → 设置机型变量 → 启用 init 服务 → 重启
                                                       │
                       首次开机 init 服务执行  ◀────────┘
   载入机型参数 → 装基础包 → 系统调优 → 配数据库/消息队列
   → 部署检测引擎 → 创建沙箱虚拟机 → 启动全部服务 → 自检
```

核心是一个 **systemd oneshot 服务**（只执行一次、执行完即退出的服务类型）。它有两道保险防止重复执行：

```bash
# 示意
LOCK=/var/lock/platform-init
[ -f "$LOCK" ] && exit 0
systemctl disable platform-init   # 先把自己禁掉
touch "$LOCK"
# ……后续初始化步骤
```

"先禁用自己、再写锁文件"，保证即使初始化中途断电，下次开机也不会把数据库再初始化一遍。代价是：中途失败后要人工介入，脚本本身没有"从第 N 步继续"的能力。更好的做法是每一步完成后写一个阶段标记，重跑时跳过已完成的阶段。

初始化里有几个值得一提的系统级设置：

- **swappiness 调低到 10**：Elasticsearch 和各引擎对延迟敏感，宁可早点 OOM 也不要频繁换页；
- **启用 NTP**：多引擎事件要在时间轴上关联，时钟偏差直接导致关联失败；
- **两个 Redis 实例**：一个通用，一个专供检测引擎做消息队列，互相隔离，单独调内存；
- **两块网卡分工**：管理口有 IP，跑 Web、SSH；镜像口不配 IP、开混杂模式，只收不发。混杂模式用一个 systemd 模板服务 `promisc@<网卡>.service` 来设置，每块采集网卡启一个实例。

## 二、机型参数化

同一套脚本要跑在从入门到高端的几档硬件上。差异被收敛成一个按机型命名的小文件，里面只有环境变量：

```bash
# 示意：某中档机型
export PLAT_CPU_CORES=16
export PLAT_DPI_WORKERS=6
export PLAT_PROTO_WORKERS=6
export PLAT_ES_HEAP=16g
export PLAT_REDIS_MAXMEM=4g
```

init 脚本把对应机型的文件追加到全局 profile，之后所有服务的启动脚本都从环境变量读取工作线程数和内存上限。好处是"机型差异"只存在一个地方；坏处是环境变量是隐式依赖，某个服务没有 source profile 就会用默认值悄悄跑起来——这种问题很难排查。

配套的还有 CPU 隔离（`isolcpus` 把若干核心留给抓包线程，同时调整中断亲和性）和基于 cgroup 的内存上限（systemd 的 `MemoryLimit`），防止 Elasticsearch 一个进程吃光整机内存。

## 三、交付即验证：用"标准流量"自测

部署完怎么确认"能用"？光看进程都在是不够的。部署包里附带了几段测试 pcap：

| 流量包 | 内容 | 期望结果 |
|---|---|---|
| 情报命中 | 访问已知恶意 IP / 域名 | 产生情报告警 |
| C&C | 算法生成域名的解析 | 产生 DGA 告警 |
| 办公基线 | 正常 HTTP / HTTPS / 邮件 | **不应**产生告警 |
| 综合 | 多协议混合 | 多类检测都有输出 |

用 tcpreplay 回放到采集口，等半分钟，再查告警是否符合预期。"办公基线不报警"这一条和"恶意流量要报警"同样重要——它是误报的回归测试。这一套检查脚本同时还验证 Redis 读写与发布订阅、MongoDB 读写、Flume 状态、沙箱配置和组件版本兼容性。

## 四、版本清单：一个可以 source 的快照

三十多个组件各有自己的构建号，"这台设备是什么版本"不能只靠一个总版本号回答。做法是：每个发布版本对应一个目录，里面一个 `version` 文件，内容是 bash 变量：

```bash
# 示意：release X.Y.Z 的清单
VER_DEPLOY="X.Y.Z-101"
VER_WEB="X.Y.Z-2040"
VER_FRONT="X.Y.Z-3170"
VER_DPI_ENGINE="X.Y.W-5120"     # 本次未变化，沿用旧构建
VER_PFRING="A.B.C-900"
VER_PFRING_DKMS="A.B.C-900"
VER_ES="X.Y.W-310"
VER_KIBANA="X.Y.W-305"
# ……约三十多项
```

几个设计要点：

- **完整快照，不是增量**：哪怕某个组件本次没变，也写出它的确切构建号。这样任意一个清单都能独立复现整台设备。
- **组件可以停在旧版本**：例如 DPI 引擎在连续几个发布里构建号不变，说明它稳定了，清单照样写进去。版本号的前缀反映"它最后一次变化是在哪个发布"。
- **可 source、可 diff**：升级脚本直接 `source` 清单拿到目标版本；两个发布之间改了什么，`diff` 两个文件就一目了然。
- **兼容性约束显式化**：有些组件必须成对出现——PF_RING 与其内核模块、ES 与 Kibana、网卡驱动与 PF_RING。清单里写在一起，校验脚本检查它们是否匹配。

清单的格式是 `主.次.补丁-构建号`。构建号来自 CI，单调递增，方便判断新旧。

## 五、升级与回滚编排

升级服务本身是一个小型 Django + Celery 应用：Django 提供状态和历史接口，Celery worker 在后台执行耗时步骤。触发方式有三种：命令行、REST 接口、控制台上的"升级"按钮，殊途同归。

```
预检 ─▶ 备份 ─▶ 停服务 ─▶ 装包 ─▶ 数据库迁移 ─▶ 配置迁移
                                                    │
     ◀─ 失败则回滚 ◀── 升级后校验 ◀── 启动服务 ◀────┘
```

| 阶段 | 做什么 |
|---|---|
| 预检 | 磁盘剩余空间、包是否齐全、目标版本是否合法 |
| 备份 | MySQL / MongoDB 导出、ES 快照、配置文件按时间戳目录归档 |
| 停服务 | 检测引擎、事件管道、Web 服务依次停 |
| 装包 | 按依赖顺序升级 RPM |
| 迁移 | 执行 SQL 迁移、更新 ES mapping、必要时重建索引 |
| 配置 | 合并新模板，保留用户自定义项 |
| 启动 + 校验 | 依次启动数据库、后端、引擎、Web，检查进程、接口、日志 |

回滚是反方向：停服务 → 还原数据库 → 还原配置 → 降级 RPM → 启动 → 校验。

还有一条"轻量通道"：**只更新知识库**。情报、规则、分类映射更新频率远高于程序本身，没必要每次都走一遍全量升级。配置里一个开关决定是全量升级还是只同步知识库。

每次升级开始时，在历史表里建一条任务记录（起始版本、目标版本），结束时回写结果和错误信息；同时有一个全局"升级进行中"标志，控制台据此锁住其他操作。

## 踩过的坑

**版本号不能按字符串比较。** 检查"版本跨度太大"时曾写过 `[[ "$current" < "X.Y.20" ]]` 这样的判断。bash 的 `<` 是字典序，`"2.3.9" > "2.3.12"`。版本比较要用 `sort -V` 或者逐段转成整数。

```bash
version_lt() { [ "$1" != "$2" ] && [ "$(printf '%s\n' "$1" "$2" | sort -V | head -1)" = "$1" ]; }
```

**装包的返回值必须检查。** 早期代码用 `os.system("rpm -Uvh ...")` 安装，返回值被忽略，一个包装失败后流程照常往下走，最后"升级成功"但组件版本对不上清单。升级后的"清单 vs 实际版本"比对因此是必需的，而不是可选的。

**"升级进行中"标志要能自己恢复。** 标志在开始时置 true、结束时置 false；如果中间进程崩了，标志永远是 true，控制台永久锁死。需要 `try/finally`，或者给标志加超时/心跳。

**降级 RPM 不是 `-U` 反过来。** RPM 默认拒绝装旧版本，回滚要显式 `--oldpackage`，而且旧包必须事先留存——所以"备份"阶段除了数据和配置，还应该包括当前版本的安装包。

**数据库迁移往往不可逆。** 回滚靠的是"还原升级前的备份"，而不是"反向迁移"。这意味着升级窗口期内产生的新数据会在回滚时丢失，要提前告知用户。

**大跨度升级要分步。** 跳过中间版本可能跳过了某些迁移脚本。推荐路径是逐个经过中间发布，或者让迁移脚本按序号累积执行、记录已执行到哪一步（与 Django migration 的思路相同）。

**升级服务不能升级自己时停掉自己。** 编排器也是平台的一个组件。"停全部服务"的列表要把它排除，自身的更新放到最后，或者交给一个独立的一次性 systemd 单元执行。

## 小结

交付层的三件事可以浓缩成三句话：

- **初始化要幂等、要可续跑**；
- **版本要用完整快照描述，并且能 diff**；
- **升级要先备份、每步检查返回值、结束时用清单核对实际状态**。

设备装好、升级完了，还得一直跑下去。最后一篇，我们来看平台怎么监控自己、在进程挂掉时自动拉起，以及运维人员怎么远程接入。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
