管理平台:Django、Celery 与国际化(十二)
前面十一篇讲的都是检测:从抓包到 DPI、从情报到模型、从关联到沙箱和杀毒。这些组件产出的告警、资产、报告最后都要落到一个地方——管理平台。安全分析员在这里看告警、追溯事件、调整策略,管理员在这里管用户、做升级、看系统状态。
管理平台在整个系统里是“最上面一层”:它不在数据主路径上,但几乎和所有组件都有交互。它要解决的问题是:把一堆异构的后端能力,包装成一个统一、可控、带权限的界面。
本篇分三块:Web 后端(Django)、异步任务(Celery)和一个辅助的 Java 服务,最后讲中英文国际化是怎么做的。
整体结构
浏览器(单页前端应用)
│ HTTPS
▼
┌──────────────┐
│ Nginx │ 静态文件、TLS 终止、反向代理
└──┬────────┬──┘
│ └──────────────────────┐
▼ ▼
┌──────────────┐ ┌──────────────┐
│ uWSGI+Django │ 主业务 API │ Spring Boot │ 聚合查询/大文件/导入
└──┬───┬───┬───┘ └──────┬───────┘
│ │ │ │
▼ ▼ ▼ ▼
MySQL Redis Elasticsearch ←──── 共享同一套存储
▲
│
┌──────────────┐
│ Celery worker │ ← Celery beat 定时调度
└──────────────┘
存储分工比较清楚:
| 存储 | 存什么 |
|---|---|
| MySQL | 业务库:用户、角色、策略、资产、报告元数据;另有一个独立的知识库(威胁分类、规则元数据、杀伤链映射等,见第 6 篇) |
| Redis | 会话、缓存、Celery 的消息代理和结果存储 |
| Elasticsearch | 各检测引擎产出的事件和告警,量大、需要检索和聚合 |
Django 后端:按业务域拆 app
Django 项目按业务域拆成十几个 app,大致是:
- 资产:主动/被动资产发现、资产清单;
- 告警与事件追溯:告警列表、处理状态、多阶段攻击链追溯、Web 攻击追溯;
- 风险主机:按主机聚合风险分;
- 报表:日/周/月/年报,生成 PDF;
- 概览与仪表盘:首页大盘;
- 白名单:IP、域名、哈希的全局白名单;
- 系统设置:用户管理、访问控制、邮件告警、升级、检测策略(规则启停、沙箱策略、信誉过滤、检测模式、PCAP 回放、HTTPS 检测等)。
URL 统一挂在一个带版本号的 API 前缀下,前端只和这一套 REST 接口打交道。版本号放在路径里的好处是:升级时新旧前端短暂共存也不会互相打架。
反向代理:一个入口进所有后端
平台里还有不少“别人家的界面”:Kibana 看原始事件、Elasticsearch 直查、Web 终端(ttyd)、机器学习服务的接口、Java 服务的接口。我们没有让浏览器直接访问它们,而是统一走 Django 的代理视图:
# 示意:带鉴权的反向代理
@login_required
@permission_required("view_raw_events")
def kibana_proxy(request, path):
upstream = f"{KIBANA_UPSTREAM}/{path}"
resp = forward(request, upstream) # 透传方法、参数、body
return strip_hop_by_hop(resp)
这样做的好处是:认证和权限只做一次。所有后端服务都只监听本地,对外只暴露 Nginx 一个口子,攻击面小得多。
认证、权限与审计
安全产品的管理界面本身就是高价值目标,所以这一块做得比较重:
- 认证:会话 + Token 两套后端并存,Token 给前端和脚本用;
- RBAC:用户 → 角色 → 权限,权限粒度细到具体操作;
RBAC(基于角色的访问控制):不直接给用户授权,而是给角色授权,再把角色分配给用户。
- 密码策略:最小长度、复杂度、过期周期、连续失败锁定,可选双因素;
- 会话超时:可配置,后台定时任务主动清理过期会话;
- 访问限制:按来源 IP、时间段限制登录;
- 审计:一个中间件记录每个用户的操作,谁在什么时候改了什么策略都有据可查。
这些横切逻辑都实现成 Django 中间件,按顺序挂在请求链上:
请求 → 会话检查 → 权限检查 → 审计记录 → 视图 → 响应
Celery:把“慢事”和“定时的事”挪出请求
Web 请求必须快,但平台里有很多事情既慢又需要定时做。这些全部交给 Celery。
Celery:Python 的分布式任务队列。Web 进程把任务丢进消息代理(这里是 Redis),worker 进程异步执行;配套的 beat 进程按计划定时投递任务。
我们的定时任务大致有这些:
| 任务 | 频率 | 说明 |
|---|---|---|
| 报表生成 | 每天 / 每周 / 每月 / 每年凌晨 | 汇总告警统计,渲染 PDF |
| 概览缓存 | 每几分钟 | 预先算好首页大盘的聚合结果,存进 Redis |
| 风险主机缓存 | 每几分钟 | 同上,针对风险主机列表 |
| 状态推送 | 每几秒 | 通过 WebSocket 把系统状态推给前端 |
| 会话检查 | 每几秒 | 清理超时会话 |
| 邮件告警 | 每小时 | 汇总新告警发邮件 |
| 失活资产清理 | 每半天 | 长期未出现的资产标记或清理 |
| 升级检查 | 定时轮询 | 检查是否有待执行的升级任务(第 14 篇) |
此外还有大量按需触发的任务:资产主动探测、PCAP 回放、系统重置、规则同步、手工报表等。
# 示意:一个缓存预计算任务
@app.task(time_limit=600)
def refresh_overview_cache():
data = {
"top_threats": es_agg_top_threats(hours=24),
"trend": es_agg_trend(hours=24, interval="1h"),
"risk_hosts": top_risk_hosts(limit=10),
}
redis.set("overview:latest", json.dumps(data), ex=900)
为什么要预计算缓存? 首页大盘要在 Elasticsearch 上跑一批聚合,事件量大的时候一次要好几秒。如果每个用户打开首页都实时算,ES 会被打满。改成后台每几分钟算一次、前端只读缓存之后,首页几乎是瞬开,代价是数据有几分钟延迟——对大盘来说完全可以接受。
几个 worker 配置上的经验:
- 每个子进程跑若干任务后重启:报表生成这类任务容易内存泄漏,定期回收子进程最省心;
- 预取数设为 1:任务耗时差异大,避免一个 worker 囤了一堆长任务而别的 worker 闲着;
- 硬超时:任何任务都有上限,防止一个卡死的任务永久占住 worker;
- 调度表存数据库:beat 的调度可以在界面上调整,而不用改代码重启。
Java 服务:聚合查询与大文件
除了 Django,平台里还有一个 Spring Boot 服务,用 MyBatis 访问同一套 MySQL,并直接查询 Elasticsearch。它主要承担几类工作:
- 态势感知和搜索中心:跨多类事件的统一检索、趋势、地理分布等重聚合查询,并带缓存;
- 大文件上传:PCAP、样本等可能是 GB 级的文件;
- 批量导入导出:用 Excel 模板批量导入知识库条目、资产信息等;
- 域名归属等辅助数据。
前端访问它同样经过 Django 的代理,所以对浏览器来说只有一个后端。
为什么会有两个后端?这更像是系统演进过程中逐步形成的分工,而不是一开始就规划好的。它带来的代价也很实在:两套代码访问同一批表,表结构变更要两边同步;两套部署脚本、两套健康检查。如果从头再来,我们会倾向于一个主后端,把“重查询”做成独立的服务接口,而不是另起一套完整的 Web 后端。
国际化:一份翻译源,多处消费
平台默认中文,也要支持英文界面。麻烦在于需要翻译的东西分散在很多地方:
- Web 界面的按钮、标签、提示语;
- 威胁分类、子类、杀伤链阶段(来自知识库);
- 协议名、设备类型、操作系统、地理位置;
- 检测规则的告警名称——有数万条;
- Kibana 仪表盘的标题和面板名。
我们把所有翻译集中在一个独立的翻译仓库里,按领域拆成二十多个 JSON 文件:
translations/
├── zh/
│ ├── web-ui.json
│ ├── alarm-message.json
└── en/
└── …(只放“英文显示和 key 不一样”的条目)
格式就是最简单的 key-value,key 用英文原文:
{
"Remote Control": "远程控制",
"alarm_name": "告警名称",
"Request parameter error": "请求参数错误"
}
合并脚本
一个合并脚本把所有文件读进来,产出几份最终文件,分别给 Web 前端、Django 和 Kibana 使用:
# 示意:合并翻译
def load_tree(root):
merged = {}
for path in sorted(glob(f"{root}/**/*.json", recursive=True)):
for k, v in json.load(open(path, encoding="utf-8")).items():
if k in merged and merged[k] != v:
log.warning("override %r: %s -> %s (%s)", k, merged[k], v, path)
merged[k] = v
return merged
zh = load_tree("zh")
en = {k: k for k in zh} # 英文默认就是 key 本身
en.update(load_tree("en")) # 少数需要改写的英文覆盖进来
write_all({"zh": zh, "en": en}) # 输出给前端、Django、Kibana
这个设计有几个关键点:
- 英文以 key 兜底。因为 key 本身就是英文原文,英文界面绝大多数情况下直接显示 key 即可,
en/目录只需要放少量“key 不适合直接展示”的条目(比如alarm_name这类变量风格的 key)。这让英文的维护成本降到很低。 - 重复 key 要告警。二十多个文件合并,难免有同一个 key 在两个地方翻译得不一样,脚本会打印覆盖警告,由人决定保留哪个。
- 知识库是部分翻译的源头。威胁分类等数据本身存在知识库里,带中英文两列。有一个导出工具把它们导出成 JSON,纳入同一套合并流程,避免两处各改各的。
发布
翻译仓库独立打包成一个系统安装包,版本号取自提交次数,保证单调递增。安装后的钩子自动执行合并脚本,然后重启相关服务。也就是说,改一个翻译不需要重新发布整个平台。
踩坑与取舍
- 翻译文件太大。规则告警名有数万条,合并后的文件有好几 MB,前端一次性加载很重。可行的优化是按领域拆分、按需加载,规则名这类数据走接口查询而不是打进前端包。
- 缓存。翻译更新后,浏览器缓存和 Kibana 的前端构建缓存都可能让新翻译“不生效”。发布流程里要处理缓存失效,否则用户会以为没改。
- 英文是二等公民。中文覆盖接近完整,英文覆盖低得多,很多地方靠“key 即英文”兜底,个别 key 风格不统一时就会露出变量名。这是一个需要持续投入的地方。
- 翻译值也是输入。翻译文本最终会渲染到页面上,要防止被当作 HTML 注入。
- 两个后端的同步成本,上面已经说过,是这一层最大的架构债。
小结
管理平台的核心思路是:Django 作为唯一入口,统一认证、权限和审计,并反向代理其他后端;Celery 承担所有慢任务和定时任务,尤其是用预计算缓存来保护 Elasticsearch;一个 Java 服务负责重聚合查询和大文件;国际化用“一份 key-value 翻译源 + 合并脚本 + 独立发布”的方式,同时服务前端、后端和 Kibana。
前面讲的都是部署在中心机房里的“全功能”平台。但很多场景下,我们只需要在分支机构放一个小探针。下一篇讲轻量级探针的设计和生产部署。
全系列
- 全景:一套网络威胁检测平台
- 万兆流量采集
- Suricata 深度包检测与规则管理
- Zeek 协议分析
- Flume + Esper 事件管道
- 威胁情报匹配与知识库
- 规则驱动的异常检测
- 机器学习检测
- 告警关联、降噪与聚合
- 动态沙箱
- 多引擎杀毒
- 管理平台
- 轻量级探针
- 部署、版本与升级回滚
- 运维监控与自愈
本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。
Comments