Wuming 無名

Blog

诗酷手记(三):从 Java 搬到 Go,搜索引擎没有察觉

· In Chinese · Technology · Poem & Reading

上一篇:一千万张历史地图瓦片 | 项目介绍:诗酷 shi.cool

诗酷原来是一个 Spring Boot 2.0 程序:Java 8,Lucene 做全文搜索,Pebble 模板,MongoDB 存用户、收藏和评论。它跑了很多年,问题也越来越多:只能用 JDK 8 编译和运行(JDK 21 下 cglib 直接报错),启动要 20 到 45 秒,内存吃得多,没人敢动依赖。

一开始只想做一个 Go 的备份版,Java 挂了的时候让 nginx 自动切过去。结果 9 月 22 日服务器重启后,Java 版就没再起来,备份版直接顶上,成了正式版。

这篇记的是那个前提:换掉整个后端,但网址、页面、编号一个都不能变。 网站有五万多个诗词页被搜索引擎收录,用户的收藏和评论也是按编号存的。

什么叫「一样」

定的标准很严:同样的数据,同样的 URL,吐出同样的 HTML、JSON、sitemap 和 RSS,能逐字节相同就逐字节相同。

验证的办法是两个版本并排跑,把同一批 URL 分别请求一遍,再比对。最后的结果是:全部诗词和诗人编号、全部 API 的 JSON 完全一致;大部分页面逐字节相同;72 个测试搜索里 71 个结果一样。

能做到这一步,是因为每一个不一样的地方都追到了原因。下面是几个最意外的。

Java 的 HashMap 顺序

每日一诗是哪一首、搜索结果分数相同时谁排前面、某些 JSON 里键的顺序,原来都取决于 Java HashMap 的遍历顺序。这个顺序不是插入顺序,也不是随机的,而是由键的 hashCode、桶的数量和扩容过程决定的。

Go 的 map 遍历是故意打乱的,完全对不上。最后只能在 Go 里把 Java HashMap 的顺序模拟出来:同样的 String.hashCode,同样的扰动函数,同样的扩容时机。写完之后,每日一诗和 Java 版是同一首。

不用 Lucene 的 Lucene

搜索要结果一致,排序就得一致,而排序是 Lucene 的打分公式算出来的。Go 里没有 Lucene,于是自己写了一个小的倒排索引:按单字切词,记位置,支持词项、短语和布尔查询,打分照着 Lucene 7.4 的 BM25 公式来(k1=1.2,b=0.75),连它把字段长度压成一个字节的有损编码都照搬了,因为这会影响分数,进而影响排名。

查询语法也原样保留:@作者、《标题》、"精确短语"、*通配*、-排除。

模板和换行

模板从 Pebble 转成 Go 的 pongo2,写了一个转换器。最费时间的是空白:Pebble 会吃掉每个 {% %} 标签和 {{ }} 表达式后面的换行,pongo2 的 TrimBlocks 开关试了不管用,只好在转换器里自己处理。差一个换行,页面就不是逐字节相同了。

还有一个隐蔽的:go:embed templates 会悄悄跳过以下划线开头的文件,_base.html 根本没被打包进去。要写成 all:templates。

文件名和换行符

诗人和诗的编号是从名字算 SHA-1 得来的。有几位诗人的名字在磁盘上是 Unicode 分解形式存的,Java 在 macOS 上读到的是归一化之后的 NFC 形式,Go 读到的是原始字节,算出来的编号就不一样。读文件名时先做 NFC 归一。

Java 的 readLine 会把单独的 \r 也当成换行,Go 的 bufio.Scanner 不会。语料里恰好有几个文件带着孤零零的 \r,于是有几首诗的分行对不上。

MongoDB 里也有一处:Spring Data 会把嵌套对象里的 id 字段存成 _id,评论回复就是这样存的,Go 读的时候要照这个规矩来。

搬完之后

Go 版启动约 4 秒,Java 版 20 到 45 秒;常驻内存约 140 MB。整个程序加数据打包约 22 MB,一个文件拷上去就能跑。

上线后又补了几件事,这些终于不用顾虑跟 Java 一致了:每个页面独立的标题和描述、canonical 和 hreflang、Open Graph、JSON-LD 结构化数据、覆盖全部 53,057 首诗的 sitemap 索引。

部署也改成了一条命令:make deploy 先跑测试、打包、上传,服务器上的脚本备份旧版、重启、做 60 秒健康检查,检查不过就自动回滚。每晚还有一次备份,MongoDB 的数据和统计文件先在服务器上存一份,再拉回我自己的电脑上。

Java 版还留着,作为回退,但已经不再同步更新了。模板也不再从 Pebble 转换,Go 的模板就是唯一的源头。

这个系列先写到这里。网站在 shi.cool,欢迎去搜一搜你熟悉的那个字号。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.