Wuming 無名

Blog

运维监控与自愈:让检测平台自己照顾自己(十五)

· In Chinese · Technology

上一篇:部署、版本与升级回滚

一台检测设备上同时跑着二十多个长期驻留的服务:两个 Elasticsearch 节点、两个 Redis、MySQL、MongoDB、三个 Flume agent、情报匹配引擎、关联引擎、周期聚合任务、沙箱调度、Celery、uWSGI、Daphne、Nginx、Kibana,还有开源的 ClamAV 和几个商业杀毒引擎。设备通常放在客户机房里,没人 7×24 盯着。任何一个进程悄悄退出,整条检测链路就可能断在某一环——而告警页面只会显示”一切安静”。

所以这个系列的最后一篇讲平台的”自我照护层”:发现问题(监控)、自动修复(自愈)、人工介入(远程终端)。它由四个开源小工具拼成:Monit、Glances、net-snmp 和 ttyd。

整体分工

              ┌──────────────── 设备内部 ────────────────┐
  进程/端口/磁盘 │  Monit:每 30s 巡检 → 告警 / 自动重启      │
              │                                          │
  资源指标      │  Glances:每几秒采集 → 导出到 ES → Kibana   │
              │                                          │
  对外接口      │  net-snmp + 采集脚本 → 外部网管系统拉取     │
              │                                          │
  人工介入      │  ttyd:浏览器里的终端(经反向代理)          │
              └──────────────────────────────────────────┘
工具 回答的问题 动作
Monit 服务活着吗?资源失控了吗? 重启、告警、执行脚本
Glances 过去一周 CPU / 内存 / 磁盘 / 网络怎么变化? 只记录,不干预
SNMP 脚本 客户的网管平台想看 CPU、内存、磁盘使用率 输出给第三方
ttyd 自动化解决不了,人要上去看 提供 shell

一、Monit:进程看门狗

Monit 是一个很老牌的小工具,用一个 C 写的守护进程周期性检查”服务”,条件满足时执行动作。每个被管服务在 monit.d/ 下有一个独立的配置文件,总共二十多个。

怎么认出一个进程

Monit 有两种识别方式:

# 方式一:PID 文件(推荐)
check process redis with pidfile /var/run/redis/redis.pid
    start program = "/usr/bin/systemctl start redis"
    stop  program = "/usr/bin/systemctl stop redis"

# 方式二:命令行匹配
check process intel_matcher with matching "intel_matcher.py"
    start program = "/usr/bin/systemctl start intel-matcher"
    stop  program = "/usr/bin/systemctl stop intel-matcher"

PID 文件精确且开销小;命令行匹配是给那些不写 PID 文件的 Python 脚本准备的。匹配串要足够独特:同一台机器上跑着两个 ES 实例(热节点和数据节点),它们的命令行几乎一样,只能靠各自的配置目录路径区分;如果只写 matching "elasticsearch",Monit 会把两个当成一个。

注意启停命令都委托给 systemctl。Monit 只负责”判断”,真正的进程管理仍归 systemd,这样服务的依赖顺序、环境变量、日志都保持一致。

不只是”活着”

check process flume_meta with matching "flume-meta.conf"
    start program = "/usr/bin/systemctl start flume-meta"
    stop  program = "/usr/bin/systemctl stop flume-meta"
    if cpu > 90% for 10 cycles then restart        # CPU 卡死
    if totalmem > 8 GB for 5 cycles then restart   # 内存泄漏
    if 3 restarts within 5 cycles then timeout     # 防止抖动

check filesystem data with path /data
    if space usage > 85% then alert
    if space usage > 95% then exec "/usr/local/bin/purge-old-logs.sh"

check host es_http with address localhost
    if failed port 9200 protocol http then alert

几个要点:

  • for N cycles:只有连续 N 次超标才动作,避免瞬时尖峰引发重启。
  • timeout 防抖:如果一个服务一启动就崩,无限重启只会刷屏、占资源。连续重启 3 次仍失败就放弃,转人工。
  • 磁盘水位触发清理脚本:对 ES 和 Flume 落盘目录尤其重要。检测设备最常见的”全线停摆”不是进程崩溃,而是磁盘写满。
  • 端口探测:进程在不代表服务可用,HTTP 探测才能发现”进程活着但不响应”。

启动延迟

全局配置里有一个 start delay 240:开机后先等 4 分钟再开始巡检。原因很现实——ES、Kafka、Flume 这些 JVM 服务冷启动要几分钟,太早检查会把”还没起来”误判成”挂了”,然后 Monit 和 systemd 一起去启动同一个服务。

二、Glances:资源指标进 Elasticsearch

Monit 擅长”现在”,不擅长”趋势”。资源趋势交给 Glances:一个基于 psutil 的 Python 监控工具,插件化采集 CPU、内存、负载、磁盘 IO、文件系统、网卡流量,并支持十几种导出后端。这里选的是导出到本机 Elasticsearch,按天建索引,用 Kibana 或 Grafana 看图。

glances --export elasticsearch -C glances.conf \
        --disable-process --disable-sensors

配置上的几个取舍:

  • 关掉进程列表和传感器插件:进程级采集是 Glances 最耗 CPU 的部分,而进程健康已经由 Monit 负责了。
  • 隐藏噪声接口:沙箱会创建大量 vnet*、virbr*、tap* 虚拟网卡,不过滤的话图表里全是它们。
  • 三级阈值:careful / warning / critical(如 50 / 70 / 90%),并可以按挂载点单独设置,数据盘可以更早进入”注意”。
[network]
hide = lo.*, virbr.*, vnet.*, tap.*, docker.*

[fs]
/data_careful = 40
/data_warning = 70
/data_critical = 90

坑:监控数据和业务数据放在同一个 ES 里。 这样省了一套存储,但 ES 一旦出问题,“监控 ES 的数据”也一起没了;而且每几秒一条的指标会和检测事件争抢写入。至少要做到:单独的索引前缀、单独的保留策略(例如 30 天自动删除),以及让 Monit 而不是 Glances 来判断 ES 本身是否存活。

Glances 自己也会挂,所以还有一个 cron 每 5 分钟检查一次它的 systemd 状态。加上 systemd 的 Restart=always 和 Monit,一个服务最多可能被三个”看门狗”同时盯着——这引出了本篇最重要的教训,后面细说。

三、SNMP:给外部网管一个标准出口

很多客户已经有自己的网管平台(Zabbix、Nagios 之类),只关心三个数:CPU、内存、磁盘使用率。为此设备上跑着 net-snmp 的 snmpd,再配一个采集脚本:

cron 每 5 分钟 ─▶ 采集脚本 ─▶ snmpwalk 查询 HOST-RESOURCES-MIB
                               │
                  计算百分比,写入三个小文件
                               │
     外部网管 ─▶ 读取脚本(cpu / mem / disk)─▶ 返回 "45.50%"

计算逻辑里有两个细节:

  • CPU 取 hrProcessorLoad 所有核心的平均值;
  • 内存 用 RAM 已用量减去 buffers 和 cache——Linux 会把空闲内存拿去做缓存,直接用”已用”会让使用率永远接近 100%;
  • 磁盘 只累加类型为”固定磁盘”的存储项,排除内存、swap、虚拟存储。

几个改进点:采集脚本对每个存储项串行调用好几次 snmpwalk,项一多就很慢,可以一次 walk 整张表再在本地解析;结果文件里只有一个百分比,没有时间戳,cron 停了外部系统也看不出数据已经过期——应该连同采集时间一起写;SNMPv3 只开了认证没开加密(authNoPriv),若需要远程查询,至少要升级到 authPriv 并限制来源地址。

四、ttyd:浏览器里的终端

最后一块是给人用的。ttyd 是一个静态链接的小程序,把一个命令(通常是 shell)通过 WebSocket 暴露成网页终端。客户现场经常只开放 HTTPS,不开放 SSH,这时候 ttyd 是运维人员唯一的入口。

浏览器 ──HTTPS──▶ Nginx(TLS、认证) ──WebSocket──▶ ttyd(仅监听本地) ──PTY──▶ shell

它也是整台设备上风险最高的组件:一个网页就能拿到 shell。所以部署要点几乎全是安全相关:

  • ttyd 只绑定 localhost,由 Nginx 反向代理并负责 TLS 终结;代理要正确转发 Upgrade / Connection 头,并把读超时调长,否则 WebSocket 会被定时掐断;
  • 认证放在 Nginx 层,可以接入统一登录,而不是在 ttyd 启动参数里写一个固定的用户名密码;
  • 尽量以非 root 用户运行(-u / -g),需要提权时再 sudo;
  • 只读演示用 -R;
  • 会话录像或至少记录命令历史,满足审计要求;
  • 能在控制台上一键开关,不用时关掉。

最重要的教训:看门狗要有层级

回顾这一层,最容易出问题的不是某个工具,而是多个自愈机制叠在一起:

机制 粒度 适合做什么
systemd Restart= 单个进程退出 秒级拉起崩溃的进程
Monit 进程 + 资源 + 端口 + 磁盘 发现”活着但不健康”,带防抖地重启
cron 检查脚本 任意 兜底,最好只做告警

如果三者都会重启同一个服务,就会出现:systemd 刚拉起、Monit 判定未就绪又执行 stop/start、cron 再来一次——服务在三方拉扯中反复重启,日志里看起来像是服务自身不稳定。建议的约定是:进程崩溃交给 systemd,健康度判断交给 Monit,cron 只告警不动手;Monit 的启停命令也统一走 systemctl,而不是直接拉起二进制。

另外,自愈会掩盖问题。一个每天被重启十次的服务,在仪表盘上永远是绿色的。重启次数本身应该是一个被监控、被告警的指标。

系列收尾

十五篇写下来,我们从一根镜像线出发,把一套网络威胁检测平台从下到上拆了一遍:

 远端探针 ─┐
           ▼
 万兆采集(PF_RING ZC) ─▶ Suricata / Zeek 双引擎 ─▶ Flume + Esper 事件管道
                                                          │
       ┌──────────────┬───────────────┬──────────────────┤
       ▼              ▼               ▼                  ▼
   情报匹配      规则异常检测     机器学习检测       沙箱 + 多引擎杀毒
       └──────────────┴───────┬───────┴──────────────────┘
                              ▼
                  告警关联、降噪与聚合 ─▶ 管理平台
                              │
            部署 / 版本 / 升级回滚 + 运维监控与自愈(托底)

如果只能带走几句话,我会选这些:

  • 采集是一切的上限。 丢包发生在最底层,上面再聪明也补不回来(第 2、13 篇)。
  • 多引擎互补,但要统一出口。 Suricata 擅长签名,Zeek 擅长协议语义,机器学习擅长”没见过的”;它们最后都要汇入同一条事件管道、用同一套字段说话(第 3~8 篇)。
  • 告警的价值在于少而准。 关联、白名单、资产基线和周期聚合,决定了分析师每天看到的是 50 条还是 5 万条(第 9 篇)。
  • 文件要”跑一下”才知道。 沙箱和多引擎杀毒补上了流量层看不到的那部分(第 10、11 篇)。
  • 工程化决定能不能落地。 版本快照、可回滚的升级、带防抖的自愈,这些”不在检测链路上”的东西,决定了系统能不能在没人看着的机房里跑上几年(第 12、14、15 篇)。

感谢一路读到这里。希望这套拆解对正在设计或维护类似系统的你有一点用处。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.