运维监控与自愈:让检测平台自己照顾自己(十五)
上一篇:部署、版本与升级回滚
一台检测设备上同时跑着二十多个长期驻留的服务:两个 Elasticsearch 节点、两个 Redis、MySQL、MongoDB、三个 Flume agent、情报匹配引擎、关联引擎、周期聚合任务、沙箱调度、Celery、uWSGI、Daphne、Nginx、Kibana,还有开源的 ClamAV 和几个商业杀毒引擎。设备通常放在客户机房里,没人 7×24 盯着。任何一个进程悄悄退出,整条检测链路就可能断在某一环——而告警页面只会显示”一切安静”。
所以这个系列的最后一篇讲平台的”自我照护层”:发现问题(监控)、自动修复(自愈)、人工介入(远程终端)。它由四个开源小工具拼成:Monit、Glances、net-snmp 和 ttyd。
整体分工
┌──────────────── 设备内部 ────────────────┐
进程/端口/磁盘 │ Monit:每 30s 巡检 → 告警 / 自动重启 │
│ │
资源指标 │ Glances:每几秒采集 → 导出到 ES → Kibana │
│ │
对外接口 │ net-snmp + 采集脚本 → 外部网管系统拉取 │
│ │
人工介入 │ ttyd:浏览器里的终端(经反向代理) │
└──────────────────────────────────────────┘
| 工具 | 回答的问题 | 动作 |
|---|---|---|
| Monit | 服务活着吗?资源失控了吗? | 重启、告警、执行脚本 |
| Glances | 过去一周 CPU / 内存 / 磁盘 / 网络怎么变化? | 只记录,不干预 |
| SNMP 脚本 | 客户的网管平台想看 CPU、内存、磁盘使用率 | 输出给第三方 |
| ttyd | 自动化解决不了,人要上去看 | 提供 shell |
一、Monit:进程看门狗
Monit 是一个很老牌的小工具,用一个 C 写的守护进程周期性检查”服务”,条件满足时执行动作。每个被管服务在 monit.d/ 下有一个独立的配置文件,总共二十多个。
怎么认出一个进程
Monit 有两种识别方式:
# 方式一:PID 文件(推荐)
check process redis with pidfile /var/run/redis/redis.pid
start program = "/usr/bin/systemctl start redis"
stop program = "/usr/bin/systemctl stop redis"
# 方式二:命令行匹配
check process intel_matcher with matching "intel_matcher.py"
start program = "/usr/bin/systemctl start intel-matcher"
stop program = "/usr/bin/systemctl stop intel-matcher"
PID 文件精确且开销小;命令行匹配是给那些不写 PID 文件的 Python 脚本准备的。匹配串要足够独特:同一台机器上跑着两个 ES 实例(热节点和数据节点),它们的命令行几乎一样,只能靠各自的配置目录路径区分;如果只写 matching "elasticsearch",Monit 会把两个当成一个。
注意启停命令都委托给 systemctl。Monit 只负责”判断”,真正的进程管理仍归 systemd,这样服务的依赖顺序、环境变量、日志都保持一致。
不只是”活着”
check process flume_meta with matching "flume-meta.conf"
start program = "/usr/bin/systemctl start flume-meta"
stop program = "/usr/bin/systemctl stop flume-meta"
if cpu > 90% for 10 cycles then restart # CPU 卡死
if totalmem > 8 GB for 5 cycles then restart # 内存泄漏
if 3 restarts within 5 cycles then timeout # 防止抖动
check filesystem data with path /data
if space usage > 85% then alert
if space usage > 95% then exec "/usr/local/bin/purge-old-logs.sh"
check host es_http with address localhost
if failed port 9200 protocol http then alert
几个要点:
for N cycles:只有连续 N 次超标才动作,避免瞬时尖峰引发重启。timeout防抖:如果一个服务一启动就崩,无限重启只会刷屏、占资源。连续重启 3 次仍失败就放弃,转人工。- 磁盘水位触发清理脚本:对 ES 和 Flume 落盘目录尤其重要。检测设备最常见的”全线停摆”不是进程崩溃,而是磁盘写满。
- 端口探测:进程在不代表服务可用,HTTP 探测才能发现”进程活着但不响应”。
启动延迟
全局配置里有一个 start delay 240:开机后先等 4 分钟再开始巡检。原因很现实——ES、Kafka、Flume 这些 JVM 服务冷启动要几分钟,太早检查会把”还没起来”误判成”挂了”,然后 Monit 和 systemd 一起去启动同一个服务。
二、Glances:资源指标进 Elasticsearch
Monit 擅长”现在”,不擅长”趋势”。资源趋势交给 Glances:一个基于 psutil 的 Python 监控工具,插件化采集 CPU、内存、负载、磁盘 IO、文件系统、网卡流量,并支持十几种导出后端。这里选的是导出到本机 Elasticsearch,按天建索引,用 Kibana 或 Grafana 看图。
glances --export elasticsearch -C glances.conf \
--disable-process --disable-sensors
配置上的几个取舍:
- 关掉进程列表和传感器插件:进程级采集是 Glances 最耗 CPU 的部分,而进程健康已经由 Monit 负责了。
- 隐藏噪声接口:沙箱会创建大量
vnet*、virbr*、tap*虚拟网卡,不过滤的话图表里全是它们。 - 三级阈值:careful / warning / critical(如 50 / 70 / 90%),并可以按挂载点单独设置,数据盘可以更早进入”注意”。
[network]
hide = lo.*, virbr.*, vnet.*, tap.*, docker.*
[fs]
/data_careful = 40
/data_warning = 70
/data_critical = 90
坑:监控数据和业务数据放在同一个 ES 里。 这样省了一套存储,但 ES 一旦出问题,“监控 ES 的数据”也一起没了;而且每几秒一条的指标会和检测事件争抢写入。至少要做到:单独的索引前缀、单独的保留策略(例如 30 天自动删除),以及让 Monit 而不是 Glances 来判断 ES 本身是否存活。
Glances 自己也会挂,所以还有一个 cron 每 5 分钟检查一次它的 systemd 状态。加上 systemd 的 Restart=always 和 Monit,一个服务最多可能被三个”看门狗”同时盯着——这引出了本篇最重要的教训,后面细说。
三、SNMP:给外部网管一个标准出口
很多客户已经有自己的网管平台(Zabbix、Nagios 之类),只关心三个数:CPU、内存、磁盘使用率。为此设备上跑着 net-snmp 的 snmpd,再配一个采集脚本:
cron 每 5 分钟 ─▶ 采集脚本 ─▶ snmpwalk 查询 HOST-RESOURCES-MIB
│
计算百分比,写入三个小文件
│
外部网管 ─▶ 读取脚本(cpu / mem / disk)─▶ 返回 "45.50%"
计算逻辑里有两个细节:
- CPU 取
hrProcessorLoad所有核心的平均值; - 内存 用 RAM 已用量减去 buffers 和 cache——Linux 会把空闲内存拿去做缓存,直接用”已用”会让使用率永远接近 100%;
- 磁盘 只累加类型为”固定磁盘”的存储项,排除内存、swap、虚拟存储。
几个改进点:采集脚本对每个存储项串行调用好几次 snmpwalk,项一多就很慢,可以一次 walk 整张表再在本地解析;结果文件里只有一个百分比,没有时间戳,cron 停了外部系统也看不出数据已经过期——应该连同采集时间一起写;SNMPv3 只开了认证没开加密(authNoPriv),若需要远程查询,至少要升级到 authPriv 并限制来源地址。
四、ttyd:浏览器里的终端
最后一块是给人用的。ttyd 是一个静态链接的小程序,把一个命令(通常是 shell)通过 WebSocket 暴露成网页终端。客户现场经常只开放 HTTPS,不开放 SSH,这时候 ttyd 是运维人员唯一的入口。
浏览器 ──HTTPS──▶ Nginx(TLS、认证) ──WebSocket──▶ ttyd(仅监听本地) ──PTY──▶ shell
它也是整台设备上风险最高的组件:一个网页就能拿到 shell。所以部署要点几乎全是安全相关:
- ttyd 只绑定 localhost,由 Nginx 反向代理并负责 TLS 终结;代理要正确转发
Upgrade/Connection头,并把读超时调长,否则 WebSocket 会被定时掐断; - 认证放在 Nginx 层,可以接入统一登录,而不是在 ttyd 启动参数里写一个固定的用户名密码;
- 尽量以非 root 用户运行(
-u/-g),需要提权时再 sudo; - 只读演示用
-R; - 会话录像或至少记录命令历史,满足审计要求;
- 能在控制台上一键开关,不用时关掉。
最重要的教训:看门狗要有层级
回顾这一层,最容易出问题的不是某个工具,而是多个自愈机制叠在一起:
| 机制 | 粒度 | 适合做什么 |
|---|---|---|
systemd Restart= |
单个进程退出 | 秒级拉起崩溃的进程 |
| Monit | 进程 + 资源 + 端口 + 磁盘 | 发现”活着但不健康”,带防抖地重启 |
| cron 检查脚本 | 任意 | 兜底,最好只做告警 |
如果三者都会重启同一个服务,就会出现:systemd 刚拉起、Monit 判定未就绪又执行 stop/start、cron 再来一次——服务在三方拉扯中反复重启,日志里看起来像是服务自身不稳定。建议的约定是:进程崩溃交给 systemd,健康度判断交给 Monit,cron 只告警不动手;Monit 的启停命令也统一走 systemctl,而不是直接拉起二进制。
另外,自愈会掩盖问题。一个每天被重启十次的服务,在仪表盘上永远是绿色的。重启次数本身应该是一个被监控、被告警的指标。
系列收尾
十五篇写下来,我们从一根镜像线出发,把一套网络威胁检测平台从下到上拆了一遍:
远端探针 ─┐
▼
万兆采集(PF_RING ZC) ─▶ Suricata / Zeek 双引擎 ─▶ Flume + Esper 事件管道
│
┌──────────────┬───────────────┬──────────────────┤
▼ ▼ ▼ ▼
情报匹配 规则异常检测 机器学习检测 沙箱 + 多引擎杀毒
└──────────────┴───────┬───────┴──────────────────┘
▼
告警关联、降噪与聚合 ─▶ 管理平台
│
部署 / 版本 / 升级回滚 + 运维监控与自愈(托底)
如果只能带走几句话,我会选这些:
- 采集是一切的上限。 丢包发生在最底层,上面再聪明也补不回来(第 2、13 篇)。
- 多引擎互补,但要统一出口。 Suricata 擅长签名,Zeek 擅长协议语义,机器学习擅长”没见过的”;它们最后都要汇入同一条事件管道、用同一套字段说话(第 3~8 篇)。
- 告警的价值在于少而准。 关联、白名单、资产基线和周期聚合,决定了分析师每天看到的是 50 条还是 5 万条(第 9 篇)。
- 文件要”跑一下”才知道。 沙箱和多引擎杀毒补上了流量层看不到的那部分(第 10、11 篇)。
- 工程化决定能不能落地。 版本快照、可回滚的升级、带防抖的自愈,这些”不在检测链路上”的东西,决定了系统能不能在没人看着的机房里跑上几年(第 12、14、15 篇)。
感谢一路读到这里。希望这套拆解对正在设计或维护类似系统的你有一点用处。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments