Wuming 無名

Blog

写了一个按路径分流的 HTTPS 代理

· In Chinese · Technology

系统架构

最近有新需求,内网有几个 Web 系统,有用了很多年的老系统,也有新一点的,然后还有一些证书过期了,由于在内网,证书更新很不方便。平时只在办公室里用,现在要让在外面的同事、合作方也能用,而nginx直接反代,需要开很多端口或者多个不同的域名。这些需求混在在一起,就有了现在这个想法。

想起20年前做了一个简繁转换的网站, 那个年代大家还在编码、简繁体之间就纠结,一直都有类似的问题。当然到了现代,大家都用utf-8,就不用纠结这个问题了。

现在手里的条件是:一个域名,一台云服务器,安全组里对外开一个端口。

最后的做法是按路径分:

https://example.com/app1/...  →  内网系统 A
https://example.com/app2/...  →  内网系统 B
https://example.com/app3/...  →  内网系统 C

这篇讲为什么选这条路,它难在哪里,以及是怎么一步步做出来、放上线的。

为什么需要这个东西

“让外面访问内网系统”有好几种常见做法。每一种都想过,每一种在这里都差了点什么。

做法 好处 在这里卡在哪
每个系统在防火墙上开一个端口 最简单,什么都不用写 每多一个系统多开一个口子;每个系统都得自己管 HTTPS 证书;用户要记一串端口号
每个系统一个子域名 系统完全不知道自己被代理,最干净 每个都要配 DNS、申请证书;这次只给了一个域名
VPN 安全,一次接入整个内网 每个用户都要装客户端;给合作方开 VPN,等于把整个内网交出去
改造每个系统,让它支持子路径 从根上解决 老系统没有源码,或者是厂商的,改不动

剩下的路就是:在内外网之间放一个程序,外面只认识它,它替用户去访问内网,并把系统”说错的话”翻译过来。

这样做还有几个附带的好处:

  • 只有一个入口。 防火墙只开一个端口,证书只有一张,要关掉外部访问,停一个程序就行。
  • 内网系统一行都不用改。 加一个系统,就是在后台添一行配置。
  • 有了一个能看全局的地方。 每个系统活着没有、慢不慢、证书还有几天,都在一个页面上。原来这些散落在各处,或者根本没人看。

难在哪:系统不知道自己”搬家”了

反向代理本身是老技术,nginx 几行配置就能把 /app1/ 转给系统 A。真正的麻烦在后面:转过去以后,页面打不开。

内网系统安装的时候,以为自己住在根目录 /。现在它被挂到了 /app1/ 下面,但它自己并不知道。于是:

  • 图片地址写的是 /static/logo.png。浏览器拿着这个地址去请求 example.com/static/logo.png,少了 /app1,代理不知道这是谁的。
  • 登录成功后跳转到 https://10.0.0.11:8443/home。这是内网地址,外面的浏览器根本到不了。
  • 两个系统都用同一个名字的 Cookie 存登录状态。在同一个域名下,它们会互相覆盖:登了这个,那个就掉线。
  • 页面里的 JavaScript 在运行时拼地址:fetch("/api/" + id)。这个地址在任何文件里都找不到原样,代理想改也没处下手。

一种比一种难。没有哪一招能全部接住,所以最后做成了一层一层的网:

六层处理

几层里面,有两处值得多说一句。

改页面时,只动必须动的字节。 常见的做法是把 HTML 解析成一棵树,改完再写回去。但写回去的 HTML 会被”整理”:属性换了顺序,引号换了样子,残缺的标签被补齐。老系统的页面经不起这种整理,说不定哪段脚本就靠着某个不规范的写法在跑。现在的做法是逐个扫描标签,只替换真正要改的那几个字节,其余原封不动。

浏览器里的那段小脚本。 对运行时拼出来的地址,服务器端无能为力,只能到浏览器里去拦。代理在每个页面的最前面放一小段脚本,抢在系统自己的代码之前,接管发请求、开 WebSocket、改地址栏这些动作。看到要去 /api/...,就悄悄改成 /app1/api/...。系统本身察觉不到。

怎么做出来的

先想清楚,再动手

我和 Claude 讨论了很久。第一步没有写代码,而是先把上面这几类”地址写错”的情况列全,每一类用哪一层接,接不住怎么办。计划定了,才开始写。

整个程序用 Go 写,最后是一个文件,拷到服务器上就能跑,不依赖别的东西。代码分成几块,各管一件事:

部分 做什么
分流 看路径前缀,决定交给哪个系统;对不上的一律 404,不透露后面有什么
翻译 上面那六层
健康检查 每隔一段时间去敲一下每个系统的门,记下快慢和证书
证书 自己向 Let’s Encrypt 申请和续期,不用另装工具
管理后台 另一个端口上的网页,配置和监控都在这里

一个故意”到处写错地址”的测试系统

光拿真实系统来试,很难覆盖所有情况。所以专门写了一个小的演示系统,把能犯的错都犯一遍:页面里写死内网地址,跳转到内网地址,在 JS 里拼地址,在样式表里引用根路径,用 WebSocket……

然后用真的浏览器自动去点:打开每个页面,检查图片是不是都出来了,请求是不是都成功了,控制台有没有报错,每一步截图存档。

证书也是同样的思路。在本机搭了一个模拟的证书颁发机构,把申请、续期、各种出错的情况都走一遍,不去碰真实的 Let’s Encrypt。

最后一共 121 个测试用例,全部通过,每一条都有记录或截图,就怕AI偷懒幻觉自己改完了。

管理后台

系统会增减,地址会变,每次登服务器改配置文件太累。所以加了一个管理后台,单独开一个端口,在云上用安全组限制只有几个 IP 能访问。

  • 增删改站点,保存后立即生效。不用重启,正在进行的请求也不会断。
  • 每个系统一张卡片:活着没有、延迟多少、最近一小时的请求和错误、它自己的证书还有几天过期。
  • 每个系统可以单独设日志级别。平时只记出错的请求,排查哪个系统时,单独把它调到最详细。
  • 两个人同时改配置,后保存的会被拦下来,提示先刷新,不会悄悄覆盖对方的修改。

上线

上线也分了几步:

  1. 依赖做一遍安全扫描。第一次扫出来一百多条已知漏洞,大部分是 Go 本身的版本太旧,升级后清零。
  2. 证书先用 Let’s Encrypt 的测试环境走通,再切到正式环境,免得调试时把正式环境的申请次数用完。
  3. 程序以一个专门的普通用户运行,系统权限一项都不给,只能读写自己的配置和证书目录。即使哪天被攻破,能碰到的东西也很有限。
  4. 从外网用真的浏览器访问一遍,严格校验证书,截图存档。

证书:差点埋下一个雷

上线前我又提了一个要求:服务器上的 80 和 443 端口另有安排,这个代理不许碰,连跳转都不要做,为了给扫描的机器人添点堵。

这个要求很合理,但它有一个不太显眼的后果。Let’s Encrypt 验证”这个域名是你的”,只会去敲 80 或者 443 的门。两个都不开,第一张证书已经拿到手,九十天内没问题,到期前却续不上。

更糟的是,这种失败是悄无声息的。一切正常地跑上两个月,某天浏览器突然报”证书已过期”。

所以程序里加了一个检查:启动时发现两个端口都没在监听,就在日志里记一条错误,后台的证书页挂一个警告,监控也会报警。问题没有消失,但现在它会大声说出来。真正的解决办法是换一种验证方式:在 DNS 里加一条记录来证明域名归属,不需要开任何端口。这是下一步要做的事,不过页不是太大问题,我到时候用cloudflare的手动更新就可以了。

上线第一天发现的事

健康检查一跑起来,就报了两个问题,都不是代理的:

  • 有一个内网系统自己的 HTTPS 证书,一个多月前就过期了。内网里大家点一下”继续访问”,一直没人在意。
  • 另一个系统配的是办公室局域网的地址,云服务器根本连不过去。

第一个真实系统接进来后,打开登录页一共二十多个请求,只有一张背景图漏到了最后一层兜底,也被接住了。

一个负责把门的程序,第一件事是把门后面的问题照了出来。这大概是加健康检查最直接的收获。

一点感想

这个项目从计划到上线,大部分代码是 Claude 写的,我负责提需求、做决定、看结果。有几处印象比较深:

  • 它在测试时停掉了我自己正在跑的演示程序,然后主动说了出来,并把测试环境改成和我的完全隔开。
  • 服务器的 SSH 指纹变了,它拒绝跳过检查,等我确认是我重装过机器才继续。
  • “不开 80 和 443”这个要求,它没有闷头照做,而是先指出续期的后果,再把这个风险做成看得见的警告。

工具越来越能干,但”做什么""可以接受什么代价”仍然得由人来定,人还是必须在中间一环把关。好的协作,是它把代价摆到桌面上,让人来选。

下一步:在第一张证书过期之前,换成 DNS 验证来续期。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.