# 管理平台：Django、Celery 与国际化（十二）

- URL: https://wuming.si/blog/4020/
- Author: Wuming
- Published: 2025-04-08
- Language: zh-Hans
- Categories: Technology

> 上一篇：[多引擎杀毒](https://wuming.si/blog/4019) · 下一篇：[轻量级探针](https://wuming.si/blog/4021)

前面十一篇讲的都是检测：从抓包到 DPI、从情报到模型、从关联到沙箱和杀毒。这些组件产出的告警、资产、报告最后都要落到一个地方——**管理平台**。安全分析员在这里看告警、追溯事件、调整策略，管理员在这里管用户、做升级、看系统状态。

管理平台在整个系统里是“最上面一层”：它不在数据主路径上，但几乎和所有组件都有交互。它要解决的问题是：**把一堆异构的后端能力，包装成一个统一、可控、带权限的界面**。

本篇分三块：Web 后端（Django）、异步任务（Celery）和一个辅助的 Java 服务，最后讲中英文国际化是怎么做的。

## 整体结构

```
        浏览器（单页前端应用）
                │ HTTPS
                ▼
        ┌──────────────┐
        │    Nginx      │  静态文件、TLS 终止、反向代理
        └──┬────────┬──┘
           │        └──────────────────────┐
           ▼                                ▼
   ┌──────────────┐                ┌──────────────┐
   │ uWSGI+Django  │  主业务 API    │ Spring Boot   │  聚合查询/大文件/导入
   └──┬───┬───┬───┘                └──────┬───────┘
      │   │   │                            │
      ▼   ▼   ▼                            ▼
   MySQL Redis Elasticsearch  ←──── 共享同一套存储
      ▲
      │
   ┌──────────────┐
   │ Celery worker │ ← Celery beat 定时调度
   └──────────────┘
```

存储分工比较清楚：

| 存储 | 存什么 |
|---|---|
| MySQL | 业务库：用户、角色、策略、资产、报告元数据；另有一个独立的知识库（威胁分类、规则元数据、杀伤链映射等，见第 6 篇） |
| Redis | 会话、缓存、Celery 的消息代理和结果存储 |
| Elasticsearch | 各检测引擎产出的事件和告警，量大、需要检索和聚合 |

## Django 后端：按业务域拆 app

Django 项目按业务域拆成十几个 app，大致是：

- **资产**：主动/被动资产发现、资产清单；
- **告警与事件追溯**：告警列表、处理状态、多阶段攻击链追溯、Web 攻击追溯；
- **风险主机**：按主机聚合风险分；
- **报表**：日/周/月/年报，生成 PDF；
- **概览与仪表盘**：首页大盘；
- **白名单**：IP、域名、哈希的全局白名单；
- **系统设置**：用户管理、访问控制、邮件告警、升级、检测策略（规则启停、沙箱策略、信誉过滤、检测模式、PCAP 回放、HTTPS 检测等）。

URL 统一挂在一个带版本号的 API 前缀下，前端只和这一套 REST 接口打交道。版本号放在路径里的好处是：升级时新旧前端短暂共存也不会互相打架。

### 反向代理：一个入口进所有后端

平台里还有不少“别人家的界面”：Kibana 看原始事件、Elasticsearch 直查、Web 终端（ttyd）、机器学习服务的接口、Java 服务的接口。我们没有让浏览器直接访问它们，而是**统一走 Django 的代理视图**：

```python
# 示意：带鉴权的反向代理
@login_required
@permission_required("view_raw_events")
def kibana_proxy(request, path):
    upstream = f"{KIBANA_UPSTREAM}/{path}"
    resp = forward(request, upstream)     # 透传方法、参数、body
    return strip_hop_by_hop(resp)
```

这样做的好处是：**认证和权限只做一次**。所有后端服务都只监听本地，对外只暴露 Nginx 一个口子，攻击面小得多。

### 认证、权限与审计

安全产品的管理界面本身就是高价值目标，所以这一块做得比较重：

- **认证**：会话 + Token 两套后端并存，Token 给前端和脚本用；
- **RBAC**：用户 → 角色 → 权限，权限粒度细到具体操作；
  > **RBAC（基于角色的访问控制）**：不直接给用户授权，而是给角色授权，再把角色分配给用户。
- **密码策略**：最小长度、复杂度、过期周期、连续失败锁定，可选双因素；
- **会话超时**：可配置，后台定时任务主动清理过期会话；
- **访问限制**：按来源 IP、时间段限制登录；
- **审计**：一个中间件记录每个用户的操作，谁在什么时候改了什么策略都有据可查。

这些横切逻辑都实现成 Django 中间件，按顺序挂在请求链上：

```
请求 → 会话检查 → 权限检查 → 审计记录 → 视图 → 响应
```

## Celery：把“慢事”和“定时的事”挪出请求

Web 请求必须快，但平台里有很多事情既慢又需要定时做。这些全部交给 Celery。

> **Celery**：Python 的分布式任务队列。Web 进程把任务丢进消息代理（这里是 Redis），worker 进程异步执行；配套的 beat 进程按计划定时投递任务。

我们的定时任务大致有这些：

| 任务 | 频率 | 说明 |
|---|---|---|
| 报表生成 | 每天 / 每周 / 每月 / 每年凌晨 | 汇总告警统计，渲染 PDF |
| 概览缓存 | 每几分钟 | 预先算好首页大盘的聚合结果，存进 Redis |
| 风险主机缓存 | 每几分钟 | 同上，针对风险主机列表 |
| 状态推送 | 每几秒 | 通过 WebSocket 把系统状态推给前端 |
| 会话检查 | 每几秒 | 清理超时会话 |
| 邮件告警 | 每小时 | 汇总新告警发邮件 |
| 失活资产清理 | 每半天 | 长期未出现的资产标记或清理 |
| 升级检查 | 定时轮询 | 检查是否有待执行的升级任务（第 14 篇） |

此外还有大量**按需触发**的任务：资产主动探测、PCAP 回放、系统重置、规则同步、手工报表等。

```python
# 示意：一个缓存预计算任务
@app.task(time_limit=600)
def refresh_overview_cache():
    data = {
        "top_threats": es_agg_top_threats(hours=24),
        "trend":       es_agg_trend(hours=24, interval="1h"),
        "risk_hosts":  top_risk_hosts(limit=10),
    }
    redis.set("overview:latest", json.dumps(data), ex=900)
```

**为什么要预计算缓存？** 首页大盘要在 Elasticsearch 上跑一批聚合，事件量大的时候一次要好几秒。如果每个用户打开首页都实时算，ES 会被打满。改成后台每几分钟算一次、前端只读缓存之后，首页几乎是瞬开，代价是数据有几分钟延迟——对大盘来说完全可以接受。

几个 worker 配置上的经验：

- **每个子进程跑若干任务后重启**：报表生成这类任务容易内存泄漏，定期回收子进程最省心；
- **预取数设为 1**：任务耗时差异大，避免一个 worker 囤了一堆长任务而别的 worker 闲着；
- **硬超时**：任何任务都有上限，防止一个卡死的任务永久占住 worker；
- **调度表存数据库**：beat 的调度可以在界面上调整，而不用改代码重启。

## Java 服务：聚合查询与大文件

除了 Django，平台里还有一个 Spring Boot 服务，用 MyBatis 访问同一套 MySQL，并直接查询 Elasticsearch。它主要承担几类工作：

- **态势感知和搜索中心**：跨多类事件的统一检索、趋势、地理分布等重聚合查询，并带缓存；
- **大文件上传**：PCAP、样本等可能是 GB 级的文件；
- **批量导入导出**：用 Excel 模板批量导入知识库条目、资产信息等；
- **域名归属等辅助数据**。

前端访问它同样经过 Django 的代理，所以对浏览器来说只有一个后端。

为什么会有两个后端？这更像是系统演进过程中逐步形成的分工，而不是一开始就规划好的。它带来的代价也很实在：两套代码访问同一批表，表结构变更要两边同步；两套部署脚本、两套健康检查。如果从头再来，我们会倾向于一个主后端，把“重查询”做成独立的服务接口，而不是另起一套完整的 Web 后端。

## 国际化：一份翻译源，多处消费

平台默认中文，也要支持英文界面。麻烦在于需要翻译的东西分散在很多地方：

- Web 界面的按钮、标签、提示语；
- 威胁分类、子类、杀伤链阶段（来自知识库）；
- 协议名、设备类型、操作系统、地理位置；
- **检测规则的告警名称**——有数万条；
- Kibana 仪表盘的标题和面板名。

我们把所有翻译集中在一个独立的翻译仓库里，按领域拆成二十多个 JSON 文件：

```
translations/
├── zh/
│   ├── web-ui.json
│   ├── alarm-message.json
└── en/
    └── …（只放“英文显示和 key 不一样”的条目）
```

格式就是最简单的 key-value，**key 用英文原文**：

```json
{
  "Remote Control": "远程控制",
  "alarm_name": "告警名称",
  "Request parameter error": "请求参数错误"
}
```

### 合并脚本

一个合并脚本把所有文件读进来，产出几份最终文件，分别给 Web 前端、Django 和 Kibana 使用：

```python
# 示意：合并翻译
def load_tree(root):
    merged = {}
    for path in sorted(glob(f"{root}/**/*.json", recursive=True)):
        for k, v in json.load(open(path, encoding="utf-8")).items():
            if k in merged and merged[k] != v:
                log.warning("override %r: %s -> %s (%s)", k, merged[k], v, path)
            merged[k] = v
    return merged

zh = load_tree("zh")
en = {k: k for k in zh}          # 英文默认就是 key 本身
en.update(load_tree("en"))       # 少数需要改写的英文覆盖进来
write_all({"zh": zh, "en": en})  # 输出给前端、Django、Kibana
```

这个设计有几个关键点：

- **英文以 key 兜底**。因为 key 本身就是英文原文，英文界面绝大多数情况下直接显示 key 即可，`en/` 目录只需要放少量“key 不适合直接展示”的条目（比如 `alarm_name` 这类变量风格的 key）。这让英文的维护成本降到很低。
- **重复 key 要告警**。二十多个文件合并，难免有同一个 key 在两个地方翻译得不一样，脚本会打印覆盖警告，由人决定保留哪个。
- **知识库是部分翻译的源头**。威胁分类等数据本身存在知识库里，带中英文两列。有一个导出工具把它们导出成 JSON，纳入同一套合并流程，避免两处各改各的。

### 发布

翻译仓库独立打包成一个系统安装包，版本号取自提交次数，保证单调递增。安装后的钩子自动执行合并脚本，然后重启相关服务。也就是说，**改一个翻译不需要重新发布整个平台**。

## 踩坑与取舍

- **翻译文件太大**。规则告警名有数万条，合并后的文件有好几 MB，前端一次性加载很重。可行的优化是按领域拆分、按需加载，规则名这类数据走接口查询而不是打进前端包。
- **缓存**。翻译更新后，浏览器缓存和 Kibana 的前端构建缓存都可能让新翻译“不生效”。发布流程里要处理缓存失效，否则用户会以为没改。
- **英文是二等公民**。中文覆盖接近完整，英文覆盖低得多，很多地方靠“key 即英文”兜底，个别 key 风格不统一时就会露出变量名。这是一个需要持续投入的地方。
- **翻译值也是输入**。翻译文本最终会渲染到页面上，要防止被当作 HTML 注入。
- **两个后端的同步成本**，上面已经说过，是这一层最大的架构债。

## 小结

管理平台的核心思路是：**Django 作为唯一入口，统一认证、权限和审计，并反向代理其他后端；Celery 承担所有慢任务和定时任务，尤其是用预计算缓存来保护 Elasticsearch；一个 Java 服务负责重聚合查询和大文件；国际化用“一份 key-value 翻译源 + 合并脚本 + 独立发布”的方式，同时服务前端、后端和 Kibana**。

前面讲的都是部署在中心机房里的“全功能”平台。但很多场景下，我们只需要在分支机构放一个小探针。下一篇讲轻量级探针的设计和生产部署。

## 全系列

1. [全景：一套网络威胁检测平台](https://wuming.si/blog/4009)
2. [万兆流量采集](https://wuming.si/blog/4010)
3. [Suricata 深度包检测与规则管理](https://wuming.si/blog/4011)
4. [Zeek 协议分析](https://wuming.si/blog/4012)
5. [Flume + Esper 事件管道](https://wuming.si/blog/4013)
6. [威胁情报匹配与知识库](https://wuming.si/blog/4014)
7. [规则驱动的异常检测](https://wuming.si/blog/4015)
8. [机器学习检测](https://wuming.si/blog/4016)
9. [告警关联、降噪与聚合](https://wuming.si/blog/4017)
10. [动态沙箱](https://wuming.si/blog/4018)
11. [多引擎杀毒](https://wuming.si/blog/4019)
12. [管理平台](https://wuming.si/blog/4020)
13. [轻量级探针](https://wuming.si/blog/4021)
14. [部署、版本与升级回滚](https://wuming.si/blog/4022)
15. [运维监控与自愈](https://wuming.si/blog/4023)

---

*本系列是个人技术学习与架构研究笔记，内容已做抽象和脱敏处理，不对应任何具体商业产品，不包含任何组织的内部配置或数据。*
