Wuming 無名

Blog

部署、版本清单与升级回滚:让三十多个组件一起走(十四)

· In Chinese · Technology

上一篇:轻量级探针 · 下一篇:运维监控与自愈

把前面十三篇的组件数一数:采集驱动和 PF_RING、两套 DPI 引擎、Flume 及其扩展、Kafka、Redis、MySQL、MongoDB、Elasticsearch 和 Kibana、情报与知识库、几个检测引擎、沙箱及各平台的虚拟机镜像、多个杀毒引擎、Web 后端、前端、各自的 Python 虚拟环境……加起来三十多个独立打包的部件。

这一篇讲平台的”交付层”:怎样把一台装好操作系统的裸机,变成一台能工作的检测设备;怎样记录”这台设备上到底是哪个版本的什么”;以及升级失败时怎样退回去。它不在数据流水线上,但决定了前面所有东西能不能稳定地跑在客户现场。

一、首次启动初始化

设备交付的基本流程是:

装最小化系统 → 拷入部署脚本 → 设置机型变量 → 启用 init 服务 → 重启
                                                       │
                       首次开机 init 服务执行  ◀────────┘
   载入机型参数 → 装基础包 → 系统调优 → 配数据库/消息队列
   → 部署检测引擎 → 创建沙箱虚拟机 → 启动全部服务 → 自检

核心是一个 systemd oneshot 服务(只执行一次、执行完即退出的服务类型)。它有两道保险防止重复执行:

# 示意
LOCK=/var/lock/platform-init
[ -f "$LOCK" ] && exit 0
systemctl disable platform-init   # 先把自己禁掉
touch "$LOCK"
# ……后续初始化步骤

“先禁用自己、再写锁文件”,保证即使初始化中途断电,下次开机也不会把数据库再初始化一遍。代价是:中途失败后要人工介入,脚本本身没有”从第 N 步继续”的能力。更好的做法是每一步完成后写一个阶段标记,重跑时跳过已完成的阶段。

初始化里有几个值得一提的系统级设置:

  • swappiness 调低到 10:Elasticsearch 和各引擎对延迟敏感,宁可早点 OOM 也不要频繁换页;
  • 启用 NTP:多引擎事件要在时间轴上关联,时钟偏差直接导致关联失败;
  • 两个 Redis 实例:一个通用,一个专供检测引擎做消息队列,互相隔离,单独调内存;
  • 两块网卡分工:管理口有 IP,跑 Web、SSH;镜像口不配 IP、开混杂模式,只收不发。混杂模式用一个 systemd 模板服务 promisc@<网卡>.service 来设置,每块采集网卡启一个实例。

二、机型参数化

同一套脚本要跑在从入门到高端的几档硬件上。差异被收敛成一个按机型命名的小文件,里面只有环境变量:

# 示意:某中档机型
export PLAT_CPU_CORES=16
export PLAT_DPI_WORKERS=6
export PLAT_PROTO_WORKERS=6
export PLAT_ES_HEAP=16g
export PLAT_REDIS_MAXMEM=4g

init 脚本把对应机型的文件追加到全局 profile,之后所有服务的启动脚本都从环境变量读取工作线程数和内存上限。好处是”机型差异”只存在一个地方;坏处是环境变量是隐式依赖,某个服务没有 source profile 就会用默认值悄悄跑起来——这种问题很难排查。

配套的还有 CPU 隔离(isolcpus 把若干核心留给抓包线程,同时调整中断亲和性)和基于 cgroup 的内存上限(systemd 的 MemoryLimit),防止 Elasticsearch 一个进程吃光整机内存。

三、交付即验证:用”标准流量”自测

部署完怎么确认”能用”?光看进程都在是不够的。部署包里附带了几段测试 pcap:

流量包 内容 期望结果
情报命中 访问已知恶意 IP / 域名 产生情报告警
C&C 算法生成域名的解析 产生 DGA 告警
办公基线 正常 HTTP / HTTPS / 邮件 不应产生告警
综合 多协议混合 多类检测都有输出

用 tcpreplay 回放到采集口,等半分钟,再查告警是否符合预期。“办公基线不报警”这一条和”恶意流量要报警”同样重要——它是误报的回归测试。这一套检查脚本同时还验证 Redis 读写与发布订阅、MongoDB 读写、Flume 状态、沙箱配置和组件版本兼容性。

四、版本清单:一个可以 source 的快照

三十多个组件各有自己的构建号,“这台设备是什么版本”不能只靠一个总版本号回答。做法是:每个发布版本对应一个目录,里面一个 version 文件,内容是 bash 变量:

# 示意:release X.Y.Z 的清单
VER_DEPLOY="X.Y.Z-101"
VER_WEB="X.Y.Z-2040"
VER_FRONT="X.Y.Z-3170"
VER_DPI_ENGINE="X.Y.W-5120"     # 本次未变化,沿用旧构建
VER_PFRING="A.B.C-900"
VER_PFRING_DKMS="A.B.C-900"
VER_ES="X.Y.W-310"
VER_KIBANA="X.Y.W-305"
# ……约三十多项

几个设计要点:

  • 完整快照,不是增量:哪怕某个组件本次没变,也写出它的确切构建号。这样任意一个清单都能独立复现整台设备。
  • 组件可以停在旧版本:例如 DPI 引擎在连续几个发布里构建号不变,说明它稳定了,清单照样写进去。版本号的前缀反映”它最后一次变化是在哪个发布”。
  • 可 source、可 diff:升级脚本直接 source 清单拿到目标版本;两个发布之间改了什么,diff 两个文件就一目了然。
  • 兼容性约束显式化:有些组件必须成对出现——PF_RING 与其内核模块、ES 与 Kibana、网卡驱动与 PF_RING。清单里写在一起,校验脚本检查它们是否匹配。

清单的格式是 主.次.补丁-构建号。构建号来自 CI,单调递增,方便判断新旧。

五、升级与回滚编排

升级服务本身是一个小型 Django + Celery 应用:Django 提供状态和历史接口,Celery worker 在后台执行耗时步骤。触发方式有三种:命令行、REST 接口、控制台上的”升级”按钮,殊途同归。

预检 ─▶ 备份 ─▶ 停服务 ─▶ 装包 ─▶ 数据库迁移 ─▶ 配置迁移
                                                    │
     ◀─ 失败则回滚 ◀── 升级后校验 ◀── 启动服务 ◀────┘
阶段 做什么
预检 磁盘剩余空间、包是否齐全、目标版本是否合法
备份 MySQL / MongoDB 导出、ES 快照、配置文件按时间戳目录归档
停服务 检测引擎、事件管道、Web 服务依次停
装包 按依赖顺序升级 RPM
迁移 执行 SQL 迁移、更新 ES mapping、必要时重建索引
配置 合并新模板,保留用户自定义项
启动 + 校验 依次启动数据库、后端、引擎、Web,检查进程、接口、日志

回滚是反方向:停服务 → 还原数据库 → 还原配置 → 降级 RPM → 启动 → 校验。

还有一条”轻量通道”:只更新知识库。情报、规则、分类映射更新频率远高于程序本身,没必要每次都走一遍全量升级。配置里一个开关决定是全量升级还是只同步知识库。

每次升级开始时,在历史表里建一条任务记录(起始版本、目标版本),结束时回写结果和错误信息;同时有一个全局”升级进行中”标志,控制台据此锁住其他操作。

踩过的坑

版本号不能按字符串比较。 检查”版本跨度太大”时曾写过 [[ "$current" < "X.Y.20" ]] 这样的判断。bash 的 < 是字典序,"2.3.9" > "2.3.12"。版本比较要用 sort -V 或者逐段转成整数。

version_lt() { [ "$1" != "$2" ] && [ "$(printf '%s\n' "$1" "$2" | sort -V | head -1)" = "$1" ]; }

装包的返回值必须检查。 早期代码用 os.system("rpm -Uvh ...") 安装,返回值被忽略,一个包装失败后流程照常往下走,最后”升级成功”但组件版本对不上清单。升级后的”清单 vs 实际版本”比对因此是必需的,而不是可选的。

“升级进行中”标志要能自己恢复。 标志在开始时置 true、结束时置 false;如果中间进程崩了,标志永远是 true,控制台永久锁死。需要 try/finally,或者给标志加超时/心跳。

降级 RPM 不是 -U 反过来。 RPM 默认拒绝装旧版本,回滚要显式 --oldpackage,而且旧包必须事先留存——所以”备份”阶段除了数据和配置,还应该包括当前版本的安装包。

数据库迁移往往不可逆。 回滚靠的是”还原升级前的备份”,而不是”反向迁移”。这意味着升级窗口期内产生的新数据会在回滚时丢失,要提前告知用户。

大跨度升级要分步。 跳过中间版本可能跳过了某些迁移脚本。推荐路径是逐个经过中间发布,或者让迁移脚本按序号累积执行、记录已执行到哪一步(与 Django migration 的思路相同)。

升级服务不能升级自己时停掉自己。 编排器也是平台的一个组件。“停全部服务”的列表要把它排除,自身的更新放到最后,或者交给一个独立的一次性 systemd 单元执行。

小结

交付层的三件事可以浓缩成三句话:

  • 初始化要幂等、要可续跑;
  • 版本要用完整快照描述,并且能 diff;
  • 升级要先备份、每步检查返回值、结束时用清单核对实际状态。

设备装好、升级完了,还得一直跑下去。最后一篇,我们来看平台怎么监控自己、在进程挂掉时自动拉起,以及运维人员怎么远程接入。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.