# 运维监控与自愈：让检测平台自己照顾自己（十五）

- URL: https://wuming.si/blog/4023/
- Author: Wuming
- Published: 2025-04-29
- Language: zh-Hans
- Categories: Technology

> 上一篇：[部署、版本与升级回滚](https://wuming.si/blog/4022)

一台检测设备上同时跑着二十多个长期驻留的服务：两个 Elasticsearch 节点、两个 Redis、MySQL、MongoDB、三个 Flume agent、情报匹配引擎、关联引擎、周期聚合任务、沙箱调度、Celery、uWSGI、Daphne、Nginx、Kibana，还有开源的 ClamAV 和几个商业杀毒引擎。设备通常放在客户机房里，没人 7×24 盯着。任何一个进程悄悄退出，整条检测链路就可能断在某一环——而告警页面只会显示"一切安静"。

所以这个系列的最后一篇讲平台的"自我照护层"：**发现问题（监控）、自动修复（自愈）、人工介入（远程终端）**。它由四个开源小工具拼成：Monit、Glances、net-snmp 和 ttyd。

## 整体分工

```
              ┌──────────────── 设备内部 ────────────────┐
  进程/端口/磁盘 │  Monit：每 30s 巡检 → 告警 / 自动重启      │
              │                                          │
  资源指标      │  Glances：每几秒采集 → 导出到 ES → Kibana   │
              │                                          │
  对外接口      │  net-snmp + 采集脚本 → 外部网管系统拉取     │
              │                                          │
  人工介入      │  ttyd：浏览器里的终端（经反向代理）          │
              └──────────────────────────────────────────┘
```

| 工具 | 回答的问题 | 动作 |
|---|---|---|
| Monit | 服务活着吗？资源失控了吗？ | 重启、告警、执行脚本 |
| Glances | 过去一周 CPU / 内存 / 磁盘 / 网络怎么变化？ | 只记录，不干预 |
| SNMP 脚本 | 客户的网管平台想看 CPU、内存、磁盘使用率 | 输出给第三方 |
| ttyd | 自动化解决不了，人要上去看 | 提供 shell |

## 一、Monit：进程看门狗

Monit 是一个很老牌的小工具，用一个 C 写的守护进程周期性检查"服务"，条件满足时执行动作。每个被管服务在 `monit.d/` 下有一个独立的配置文件，总共二十多个。

### 怎么认出一个进程

Monit 有两种识别方式：

```conf
# 方式一：PID 文件（推荐）
check process redis with pidfile /var/run/redis/redis.pid
    start program = "/usr/bin/systemctl start redis"
    stop  program = "/usr/bin/systemctl stop redis"

# 方式二：命令行匹配
check process intel_matcher with matching "intel_matcher.py"
    start program = "/usr/bin/systemctl start intel-matcher"
    stop  program = "/usr/bin/systemctl stop intel-matcher"
```

PID 文件精确且开销小；命令行匹配是给那些不写 PID 文件的 Python 脚本准备的。匹配串要足够独特：同一台机器上跑着两个 ES 实例（热节点和数据节点），它们的命令行几乎一样，只能靠各自的配置目录路径区分；如果只写 `matching "elasticsearch"`，Monit 会把两个当成一个。

注意启停命令都委托给 `systemctl`。Monit 只负责"判断"，真正的进程管理仍归 systemd，这样服务的依赖顺序、环境变量、日志都保持一致。

### 不只是"活着"

```conf
check process flume_meta with matching "flume-meta.conf"
    start program = "/usr/bin/systemctl start flume-meta"
    stop  program = "/usr/bin/systemctl stop flume-meta"
    if cpu > 90% for 10 cycles then restart        # CPU 卡死
    if totalmem > 8 GB for 5 cycles then restart   # 内存泄漏
    if 3 restarts within 5 cycles then timeout     # 防止抖动

check filesystem data with path /data
    if space usage > 85% then alert
    if space usage > 95% then exec "/usr/local/bin/purge-old-logs.sh"

check host es_http with address localhost
    if failed port 9200 protocol http then alert
```

几个要点：

- **`for N cycles`**：只有连续 N 次超标才动作，避免瞬时尖峰引发重启。
- **`timeout` 防抖**：如果一个服务一启动就崩，无限重启只会刷屏、占资源。连续重启 3 次仍失败就放弃，转人工。
- **磁盘水位触发清理脚本**：对 ES 和 Flume 落盘目录尤其重要。检测设备最常见的"全线停摆"不是进程崩溃，而是磁盘写满。
- **端口探测**：进程在不代表服务可用，HTTP 探测才能发现"进程活着但不响应"。

### 启动延迟

全局配置里有一个 `start delay 240`：开机后先等 4 分钟再开始巡检。原因很现实——ES、Kafka、Flume 这些 JVM 服务冷启动要几分钟，太早检查会把"还没起来"误判成"挂了"，然后 Monit 和 systemd 一起去启动同一个服务。

## 二、Glances：资源指标进 Elasticsearch

Monit 擅长"现在"，不擅长"趋势"。资源趋势交给 Glances：一个基于 psutil 的 Python 监控工具，插件化采集 CPU、内存、负载、磁盘 IO、文件系统、网卡流量，并支持十几种导出后端。这里选的是导出到本机 Elasticsearch，按天建索引，用 Kibana 或 Grafana 看图。

```bash
glances --export elasticsearch -C glances.conf \
        --disable-process --disable-sensors
```

配置上的几个取舍：

- **关掉进程列表和传感器插件**：进程级采集是 Glances 最耗 CPU 的部分，而进程健康已经由 Monit 负责了。
- **隐藏噪声接口**：沙箱会创建大量 `vnet*`、`virbr*`、`tap*` 虚拟网卡，不过滤的话图表里全是它们。
- **三级阈值**：careful / warning / critical（如 50 / 70 / 90%），并可以按挂载点单独设置，数据盘可以更早进入"注意"。

```ini
[network]
hide = lo.*, virbr.*, vnet.*, tap.*, docker.*

[fs]
/data_careful = 40
/data_warning = 70
/data_critical = 90
```

**坑：监控数据和业务数据放在同一个 ES 里。** 这样省了一套存储，但 ES 一旦出问题，"监控 ES 的数据"也一起没了；而且每几秒一条的指标会和检测事件争抢写入。至少要做到：单独的索引前缀、单独的保留策略（例如 30 天自动删除），以及让 Monit 而不是 Glances 来判断 ES 本身是否存活。

Glances 自己也会挂，所以还有一个 cron 每 5 分钟检查一次它的 systemd 状态。加上 systemd 的 `Restart=always` 和 Monit，一个服务最多可能被三个"看门狗"同时盯着——这引出了本篇最重要的教训，后面细说。

## 三、SNMP：给外部网管一个标准出口

很多客户已经有自己的网管平台（Zabbix、Nagios 之类），只关心三个数：CPU、内存、磁盘使用率。为此设备上跑着 net-snmp 的 snmpd，再配一个采集脚本：

```
cron 每 5 分钟 ─▶ 采集脚本 ─▶ snmpwalk 查询 HOST-RESOURCES-MIB
                               │
                  计算百分比，写入三个小文件
                               │
     外部网管 ─▶ 读取脚本（cpu / mem / disk）─▶ 返回 "45.50%"
```

计算逻辑里有两个细节：

- **CPU** 取 `hrProcessorLoad` 所有核心的平均值；
- **内存** 用 RAM 已用量减去 buffers 和 cache——Linux 会把空闲内存拿去做缓存，直接用"已用"会让使用率永远接近 100%；
- **磁盘** 只累加类型为"固定磁盘"的存储项，排除内存、swap、虚拟存储。

几个改进点：采集脚本对每个存储项串行调用好几次 `snmpwalk`，项一多就很慢，可以一次 walk 整张表再在本地解析；结果文件里只有一个百分比，没有时间戳，cron 停了外部系统也看不出数据已经过期——应该连同采集时间一起写；SNMPv3 只开了认证没开加密（authNoPriv），若需要远程查询，至少要升级到 authPriv 并限制来源地址。

## 四、ttyd：浏览器里的终端

最后一块是给人用的。ttyd 是一个静态链接的小程序，把一个命令（通常是 shell）通过 WebSocket 暴露成网页终端。客户现场经常只开放 HTTPS，不开放 SSH，这时候 ttyd 是运维人员唯一的入口。

```
浏览器 ──HTTPS──▶ Nginx（TLS、认证） ──WebSocket──▶ ttyd（仅监听本地） ──PTY──▶ shell
```

它也是整台设备上**风险最高**的组件：一个网页就能拿到 shell。所以部署要点几乎全是安全相关：

- ttyd 只绑定 localhost，由 Nginx 反向代理并负责 TLS 终结；代理要正确转发 `Upgrade` / `Connection` 头，并把读超时调长，否则 WebSocket 会被定时掐断；
- 认证放在 Nginx 层，可以接入统一登录，而不是在 ttyd 启动参数里写一个固定的用户名密码；
- 尽量以非 root 用户运行（`-u` / `-g`），需要提权时再 sudo；
- 只读演示用 `-R`；
- 会话录像或至少记录命令历史，满足审计要求；
- 能在控制台上一键开关，不用时关掉。

## 最重要的教训：看门狗要有层级

回顾这一层，最容易出问题的不是某个工具，而是**多个自愈机制叠在一起**：

| 机制 | 粒度 | 适合做什么 |
|---|---|---|
| systemd `Restart=` | 单个进程退出 | 秒级拉起崩溃的进程 |
| Monit | 进程 + 资源 + 端口 + 磁盘 | 发现"活着但不健康"，带防抖地重启 |
| cron 检查脚本 | 任意 | 兜底，最好只做告警 |

如果三者都会重启同一个服务，就会出现：systemd 刚拉起、Monit 判定未就绪又执行 stop/start、cron 再来一次——服务在三方拉扯中反复重启，日志里看起来像是服务自身不稳定。建议的约定是：**进程崩溃交给 systemd，健康度判断交给 Monit，cron 只告警不动手**；Monit 的启停命令也统一走 `systemctl`，而不是直接拉起二进制。

另外，自愈会掩盖问题。一个每天被重启十次的服务，在仪表盘上永远是绿色的。重启次数本身应该是一个被监控、被告警的指标。

## 系列收尾

十五篇写下来，我们从一根镜像线出发，把一套网络威胁检测平台从下到上拆了一遍：

```
 远端探针 ─┐
           ▼
 万兆采集（PF_RING ZC） ─▶ Suricata / Zeek 双引擎 ─▶ Flume + Esper 事件管道
                                                          │
       ┌──────────────┬───────────────┬──────────────────┤
       ▼              ▼               ▼                  ▼
   情报匹配      规则异常检测     机器学习检测       沙箱 + 多引擎杀毒
       └──────────────┴───────┬───────┴──────────────────┘
                              ▼
                  告警关联、降噪与聚合 ─▶ 管理平台
                              │
            部署 / 版本 / 升级回滚 + 运维监控与自愈（托底）
```

如果只能带走几句话，我会选这些：

- **采集是一切的上限。** 丢包发生在最底层，上面再聪明也补不回来（第 2、13 篇）。
- **多引擎互补，但要统一出口。** Suricata 擅长签名，Zeek 擅长协议语义，机器学习擅长"没见过的"；它们最后都要汇入同一条事件管道、用同一套字段说话（第 3～8 篇）。
- **告警的价值在于少而准。** 关联、白名单、资产基线和周期聚合，决定了分析师每天看到的是 50 条还是 5 万条（第 9 篇）。
- **文件要"跑一下"才知道。** 沙箱和多引擎杀毒补上了流量层看不到的那部分（第 10、11 篇）。
- **工程化决定能不能落地。** 版本快照、可回滚的升级、带防抖的自愈，这些"不在检测链路上"的东西，决定了系统能不能在没人看着的机房里跑上几年（第 12、14、15 篇）。

感谢一路读到这里。希望这套拆解对正在设计或维护类似系统的你有一点用处。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
