# 诗酷手记（三）：从 Java 搬到 Go，搜索引擎没有察觉

- URL: https://wuming.si/blog/4111/
- Author: Wuming
- Published: 2026-04-05
- Language: zh-Hans
- Categories: Technology, Poem & Reading

> 上一篇：[一千万张历史地图瓦片](https://wuming.si/blog/4110) ｜ 项目介绍：[诗酷 shi.cool](https://wuming.si/projects/shici)

诗酷原来是一个 Spring Boot 2.0 程序：Java 8，Lucene 做全文搜索，Pebble 模板，MongoDB 存用户、收藏和评论。它跑了很多年，问题也越来越多：只能用 JDK 8 编译和运行（JDK 21 下 cglib 直接报错），启动要 20 到 45 秒，内存吃得多，没人敢动依赖。

一开始只想做一个 Go 的备份版，Java 挂了的时候让 nginx 自动切过去。结果 9 月 22 日服务器重启后，Java 版就没再起来，备份版直接顶上，成了正式版。

这篇记的是那个前提：**换掉整个后端，但网址、页面、编号一个都不能变。** 网站有五万多个诗词页被搜索引擎收录，用户的收藏和评论也是按编号存的。

## 什么叫「一样」

定的标准很严：同样的数据，同样的 URL，吐出同样的 HTML、JSON、sitemap 和 RSS，能逐字节相同就逐字节相同。

验证的办法是两个版本并排跑，把同一批 URL 分别请求一遍，再比对。最后的结果是：全部诗词和诗人编号、全部 API 的 JSON 完全一致；大部分页面逐字节相同；72 个测试搜索里 71 个结果一样。

能做到这一步，是因为每一个不一样的地方都追到了原因。下面是几个最意外的。

## Java 的 HashMap 顺序

每日一诗是哪一首、搜索结果分数相同时谁排前面、某些 JSON 里键的顺序，原来都取决于 Java `HashMap` 的遍历顺序。这个顺序不是插入顺序，也不是随机的，而是由键的 `hashCode`、桶的数量和扩容过程决定的。

Go 的 map 遍历是故意打乱的，完全对不上。最后只能在 Go 里把 Java `HashMap` 的顺序模拟出来：同样的 `String.hashCode`，同样的扰动函数，同样的扩容时机。写完之后，每日一诗和 Java 版是同一首。

## 不用 Lucene 的 Lucene

搜索要结果一致，排序就得一致，而排序是 Lucene 的打分公式算出来的。Go 里没有 Lucene，于是自己写了一个小的倒排索引：按单字切词，记位置，支持词项、短语和布尔查询，打分照着 Lucene 7.4 的 BM25 公式来（k1=1.2，b=0.75），连它把字段长度压成一个字节的有损编码都照搬了，因为这会影响分数，进而影响排名。

查询语法也原样保留：`@作者`、`《标题》`、`"精确短语"`、`*通配*`、`-排除`。

## 模板和换行

模板从 Pebble 转成 Go 的 pongo2，写了一个转换器。最费时间的是空白：Pebble 会吃掉每个 `{% %}` 标签和 `{{ }}` 表达式后面的换行，pongo2 的 TrimBlocks 开关试了不管用，只好在转换器里自己处理。差一个换行，页面就不是逐字节相同了。

还有一个隐蔽的：`go:embed templates` 会悄悄跳过以下划线开头的文件，`_base.html` 根本没被打包进去。要写成 `all:templates`。

## 文件名和换行符

诗人和诗的编号是从名字算 SHA-1 得来的。有几位诗人的名字在磁盘上是 Unicode 分解形式存的，Java 在 macOS 上读到的是归一化之后的 NFC 形式，Go 读到的是原始字节，算出来的编号就不一样。读文件名时先做 NFC 归一。

Java 的 `readLine` 会把单独的 `\r` 也当成换行，Go 的 `bufio.Scanner` 不会。语料里恰好有几个文件带着孤零零的 `\r`，于是有几首诗的分行对不上。

MongoDB 里也有一处：Spring Data 会把嵌套对象里的 `id` 字段存成 `_id`，评论回复就是这样存的，Go 读的时候要照这个规矩来。

## 搬完之后

Go 版启动约 4 秒，Java 版 20 到 45 秒；常驻内存约 140 MB。整个程序加数据打包约 22 MB，一个文件拷上去就能跑。

上线后又补了几件事，这些终于不用顾虑跟 Java 一致了：每个页面独立的标题和描述、canonical 和 hreflang、Open Graph、JSON-LD 结构化数据、覆盖全部 53,057 首诗的 sitemap 索引。

部署也改成了一条命令：`make deploy` 先跑测试、打包、上传，服务器上的脚本备份旧版、重启、做 60 秒健康检查，检查不过就自动回滚。每晚还有一次备份，MongoDB 的数据和统计文件先在服务器上存一份，再拉回我自己的电脑上。

Java 版还留着，作为回退，但已经不再同步更新了。模板也不再从 Pebble 转换，Go 的模板就是唯一的源头。

这个系列先写到这里。网站在 [shi.cool](https://shi.cool/)，欢迎去搜一搜你熟悉的那个字号。
