Wuming 無名

Blog

管理平台:Django、Celery 与国际化(十二)

· In Chinese · Technology

上一篇:多引擎杀毒 · 下一篇:轻量级探针

前面十一篇讲的都是检测:从抓包到 DPI、从情报到模型、从关联到沙箱和杀毒。这些组件产出的告警、资产、报告最后都要落到一个地方——管理平台。安全分析员在这里看告警、追溯事件、调整策略,管理员在这里管用户、做升级、看系统状态。

管理平台在整个系统里是“最上面一层”:它不在数据主路径上,但几乎和所有组件都有交互。它要解决的问题是:把一堆异构的后端能力,包装成一个统一、可控、带权限的界面。

本篇分三块:Web 后端(Django)、异步任务(Celery)和一个辅助的 Java 服务,最后讲中英文国际化是怎么做的。

整体结构

        浏览器(单页前端应用)
                │ HTTPS
                ▼
        ┌──────────────┐
        │    Nginx      │  静态文件、TLS 终止、反向代理
        └──┬────────┬──┘
           │        └──────────────────────┐
           ▼                                ▼
   ┌──────────────┐                ┌──────────────┐
   │ uWSGI+Django  │  主业务 API    │ Spring Boot   │  聚合查询/大文件/导入
   └──┬───┬───┬───┘                └──────┬───────┘
      │   │   │                            │
      ▼   ▼   ▼                            ▼
   MySQL Redis Elasticsearch  ←──── 共享同一套存储
      ▲
      │
   ┌──────────────┐
   │ Celery worker │ ← Celery beat 定时调度
   └──────────────┘

存储分工比较清楚:

存储 存什么
MySQL 业务库:用户、角色、策略、资产、报告元数据;另有一个独立的知识库(威胁分类、规则元数据、杀伤链映射等,见第 6 篇)
Redis 会话、缓存、Celery 的消息代理和结果存储
Elasticsearch 各检测引擎产出的事件和告警,量大、需要检索和聚合

Django 后端:按业务域拆 app

Django 项目按业务域拆成十几个 app,大致是:

  • 资产:主动/被动资产发现、资产清单;
  • 告警与事件追溯:告警列表、处理状态、多阶段攻击链追溯、Web 攻击追溯;
  • 风险主机:按主机聚合风险分;
  • 报表:日/周/月/年报,生成 PDF;
  • 概览与仪表盘:首页大盘;
  • 白名单:IP、域名、哈希的全局白名单;
  • 系统设置:用户管理、访问控制、邮件告警、升级、检测策略(规则启停、沙箱策略、信誉过滤、检测模式、PCAP 回放、HTTPS 检测等)。

URL 统一挂在一个带版本号的 API 前缀下,前端只和这一套 REST 接口打交道。版本号放在路径里的好处是:升级时新旧前端短暂共存也不会互相打架。

反向代理:一个入口进所有后端

平台里还有不少“别人家的界面”:Kibana 看原始事件、Elasticsearch 直查、Web 终端(ttyd)、机器学习服务的接口、Java 服务的接口。我们没有让浏览器直接访问它们,而是统一走 Django 的代理视图:

# 示意:带鉴权的反向代理
@login_required
@permission_required("view_raw_events")
def kibana_proxy(request, path):
    upstream = f"{KIBANA_UPSTREAM}/{path}"
    resp = forward(request, upstream)     # 透传方法、参数、body
    return strip_hop_by_hop(resp)

这样做的好处是:认证和权限只做一次。所有后端服务都只监听本地,对外只暴露 Nginx 一个口子,攻击面小得多。

认证、权限与审计

安全产品的管理界面本身就是高价值目标,所以这一块做得比较重:

  • 认证:会话 + Token 两套后端并存,Token 给前端和脚本用;
  • RBAC:用户 → 角色 → 权限,权限粒度细到具体操作;

    RBAC(基于角色的访问控制):不直接给用户授权,而是给角色授权,再把角色分配给用户。

  • 密码策略:最小长度、复杂度、过期周期、连续失败锁定,可选双因素;
  • 会话超时:可配置,后台定时任务主动清理过期会话;
  • 访问限制:按来源 IP、时间段限制登录;
  • 审计:一个中间件记录每个用户的操作,谁在什么时候改了什么策略都有据可查。

这些横切逻辑都实现成 Django 中间件,按顺序挂在请求链上:

请求 → 会话检查 → 权限检查 → 审计记录 → 视图 → 响应

Celery:把“慢事”和“定时的事”挪出请求

Web 请求必须快,但平台里有很多事情既慢又需要定时做。这些全部交给 Celery。

Celery:Python 的分布式任务队列。Web 进程把任务丢进消息代理(这里是 Redis),worker 进程异步执行;配套的 beat 进程按计划定时投递任务。

我们的定时任务大致有这些:

任务 频率 说明
报表生成 每天 / 每周 / 每月 / 每年凌晨 汇总告警统计,渲染 PDF
概览缓存 每几分钟 预先算好首页大盘的聚合结果,存进 Redis
风险主机缓存 每几分钟 同上,针对风险主机列表
状态推送 每几秒 通过 WebSocket 把系统状态推给前端
会话检查 每几秒 清理超时会话
邮件告警 每小时 汇总新告警发邮件
失活资产清理 每半天 长期未出现的资产标记或清理
升级检查 定时轮询 检查是否有待执行的升级任务(第 14 篇)

此外还有大量按需触发的任务:资产主动探测、PCAP 回放、系统重置、规则同步、手工报表等。

# 示意:一个缓存预计算任务
@app.task(time_limit=600)
def refresh_overview_cache():
    data = {
        "top_threats": es_agg_top_threats(hours=24),
        "trend":       es_agg_trend(hours=24, interval="1h"),
        "risk_hosts":  top_risk_hosts(limit=10),
    }
    redis.set("overview:latest", json.dumps(data), ex=900)

为什么要预计算缓存? 首页大盘要在 Elasticsearch 上跑一批聚合,事件量大的时候一次要好几秒。如果每个用户打开首页都实时算,ES 会被打满。改成后台每几分钟算一次、前端只读缓存之后,首页几乎是瞬开,代价是数据有几分钟延迟——对大盘来说完全可以接受。

几个 worker 配置上的经验:

  • 每个子进程跑若干任务后重启:报表生成这类任务容易内存泄漏,定期回收子进程最省心;
  • 预取数设为 1:任务耗时差异大,避免一个 worker 囤了一堆长任务而别的 worker 闲着;
  • 硬超时:任何任务都有上限,防止一个卡死的任务永久占住 worker;
  • 调度表存数据库:beat 的调度可以在界面上调整,而不用改代码重启。

Java 服务:聚合查询与大文件

除了 Django,平台里还有一个 Spring Boot 服务,用 MyBatis 访问同一套 MySQL,并直接查询 Elasticsearch。它主要承担几类工作:

  • 态势感知和搜索中心:跨多类事件的统一检索、趋势、地理分布等重聚合查询,并带缓存;
  • 大文件上传:PCAP、样本等可能是 GB 级的文件;
  • 批量导入导出:用 Excel 模板批量导入知识库条目、资产信息等;
  • 域名归属等辅助数据。

前端访问它同样经过 Django 的代理,所以对浏览器来说只有一个后端。

为什么会有两个后端?这更像是系统演进过程中逐步形成的分工,而不是一开始就规划好的。它带来的代价也很实在:两套代码访问同一批表,表结构变更要两边同步;两套部署脚本、两套健康检查。如果从头再来,我们会倾向于一个主后端,把“重查询”做成独立的服务接口,而不是另起一套完整的 Web 后端。

国际化:一份翻译源,多处消费

平台默认中文,也要支持英文界面。麻烦在于需要翻译的东西分散在很多地方:

  • Web 界面的按钮、标签、提示语;
  • 威胁分类、子类、杀伤链阶段(来自知识库);
  • 协议名、设备类型、操作系统、地理位置;
  • 检测规则的告警名称——有数万条;
  • Kibana 仪表盘的标题和面板名。

我们把所有翻译集中在一个独立的翻译仓库里,按领域拆成二十多个 JSON 文件:

translations/
├── zh/
│   ├── web-ui.json
│   ├── alarm-message.json
└── en/
    └── …(只放“英文显示和 key 不一样”的条目)

格式就是最简单的 key-value,key 用英文原文:

{
  "Remote Control": "远程控制",
  "alarm_name": "告警名称",
  "Request parameter error": "请求参数错误"
}

合并脚本

一个合并脚本把所有文件读进来,产出几份最终文件,分别给 Web 前端、Django 和 Kibana 使用:

# 示意:合并翻译
def load_tree(root):
    merged = {}
    for path in sorted(glob(f"{root}/**/*.json", recursive=True)):
        for k, v in json.load(open(path, encoding="utf-8")).items():
            if k in merged and merged[k] != v:
                log.warning("override %r: %s -> %s (%s)", k, merged[k], v, path)
            merged[k] = v
    return merged

zh = load_tree("zh")
en = {k: k for k in zh}          # 英文默认就是 key 本身
en.update(load_tree("en"))       # 少数需要改写的英文覆盖进来
write_all({"zh": zh, "en": en})  # 输出给前端、Django、Kibana

这个设计有几个关键点:

  • 英文以 key 兜底。因为 key 本身就是英文原文,英文界面绝大多数情况下直接显示 key 即可,en/ 目录只需要放少量“key 不适合直接展示”的条目(比如 alarm_name 这类变量风格的 key)。这让英文的维护成本降到很低。
  • 重复 key 要告警。二十多个文件合并,难免有同一个 key 在两个地方翻译得不一样,脚本会打印覆盖警告,由人决定保留哪个。
  • 知识库是部分翻译的源头。威胁分类等数据本身存在知识库里,带中英文两列。有一个导出工具把它们导出成 JSON,纳入同一套合并流程,避免两处各改各的。

发布

翻译仓库独立打包成一个系统安装包,版本号取自提交次数,保证单调递增。安装后的钩子自动执行合并脚本,然后重启相关服务。也就是说,改一个翻译不需要重新发布整个平台。

踩坑与取舍

  • 翻译文件太大。规则告警名有数万条,合并后的文件有好几 MB,前端一次性加载很重。可行的优化是按领域拆分、按需加载,规则名这类数据走接口查询而不是打进前端包。
  • 缓存。翻译更新后,浏览器缓存和 Kibana 的前端构建缓存都可能让新翻译“不生效”。发布流程里要处理缓存失效,否则用户会以为没改。
  • 英文是二等公民。中文覆盖接近完整,英文覆盖低得多,很多地方靠“key 即英文”兜底,个别 key 风格不统一时就会露出变量名。这是一个需要持续投入的地方。
  • 翻译值也是输入。翻译文本最终会渲染到页面上,要防止被当作 HTML 注入。
  • 两个后端的同步成本,上面已经说过,是这一层最大的架构债。

小结

管理平台的核心思路是:Django 作为唯一入口,统一认证、权限和审计,并反向代理其他后端;Celery 承担所有慢任务和定时任务,尤其是用预计算缓存来保护 Elasticsearch;一个 Java 服务负责重聚合查询和大文件;国际化用“一份 key-value 翻译源 + 合并脚本 + 独立发布”的方式,同时服务前端、后端和 Kibana。

前面讲的都是部署在中心机房里的“全功能”平台。但很多场景下,我们只需要在分支机构放一个小探针。下一篇讲轻量级探针的设计和生产部署。

全系列

  1. 全景:一套网络威胁检测平台
  2. 万兆流量采集
  3. Suricata 深度包检测与规则管理
  4. Zeek 协议分析
  5. Flume + Esper 事件管道
  6. 威胁情报匹配与知识库
  7. 规则驱动的异常检测
  8. 机器学习检测
  9. 告警关联、降噪与聚合
  10. 动态沙箱
  11. 多引擎杀毒
  12. 管理平台
  13. 轻量级探针
  14. 部署、版本与升级回滚
  15. 运维监控与自愈

本系列是个人技术学习与架构研究笔记,内容已做抽象和脱敏处理,不对应任何具体商业产品,不包含任何组织的内部配置或数据。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.