Wuming 無名

Blog

诗酷手记(一):搜「东坡」也能找到苏轼

· In Chinese · Technology · Poem & Reading

下一篇:一千万张历史地图瓦片 | 项目介绍:诗酷 shi.cool

诗酷是我在维护的一个读古诗词的网站,五万三千首诗、四千四百多位诗人。它的搜索一直能用,但有个明显的毛病:搜「东坡」,什么人都找不到。

原因很简单。诗人索引里只有本名,苏轼就叫苏轼。可是读者不这么叫他们:东坡、青莲居士、杜工部、李易安、辛稼轩,这些才是平时挂在嘴边的名字。更糟的是,网站的搜索页根本没去查诗人索引,只查诗的正文和标题。

这篇记一下怎么补上的。整个过程是在终端里和 Claude Code 一起做的,它写脚本、跑数据、核对结果,我负责定规则和抽查。

字号从哪来

古人的字、号、谥号,哈佛的中国历代人物传记资料库(CBDB)里有现成的,存在 ALTNAME_DATA 表里。问题是怎么把 CBDB 里的人对上网站里的诗人。

按名字对是一条死路:CBDB 里同名的有一千二百多组,还有繁简问题。好在网站的诗人编号不是随机的,而是从朝代和名字算 SHA-1 得来的,离线的 Python 脚本可以算出和线上一模一样的编号。我拿线上实例存下来的统计文件全量核对过,一个不差。

于是别名表可以离线生成,直接以诗人编号为键。运行时不需要任何人名匹配。

(有个小坑:macOS 上有些文件名是 Unicode 分解形式存的,比如带浊点的假名,直接哈希原始字节会算出另一个编号。先做 NFC 归一就好了。)

别名不能全收,也不能乱筛

CBDB 给每个别名标了类型:字、号、谥号、封爵、行第……一开始想只收「字」和「号」,结果一看就不行。「杜工部」被标成封爵,「诗圣」「老杜」「杜少陵」被标成「未详」。按类型白名单筛,恰好丢掉最有用的几个。

所以全部类型都收,噪声改用三条过滤规则去掉。

另一个原则是别名属于多个人时,不猜。「文忠」是 17 位诗人的谥号,欧阳修、苏轼都在里面。猜一个比不猜更糟,所以这种词不直接指向任何人。

第一轮下来是 4,076 个别名,覆盖 1,829 位诗人。

读者说的不是 CBDB 里存的

接着发现,CBDB 存的形式和读者的叫法还差一步。

号要去掉后缀。 CBDB 只存「东坡居士」,读者搜的是「东坡」。脚本给 193 个号推导出了词干。

要加上姓。 世人常说「白乐天」「苏东坡」「王摩诘」「欧阳永叔」,CBDB 只存「乐天」「东坡居士」「摩诘」「永叔」。于是给每个字号前面加上姓,又多出 3,379 个复合称呼,总数到了 7,455 个。这一步有几处要小心:

  • 复姓要有一张表,否则欧阳修加永叔会变成「欧永叔」。
  • 谥号也加姓。「欧阳文忠」「苏文忠」本来就常用,顺便还解决了「文忠」17 人的歧义。
  • 这一步要放在去后缀之后,否则会漏掉「苏东坡」,因为 CBDB 里只有「东坡居士」。
  • 已经带姓的(杜工部、李十二)跳过;拼出来和另一位真实诗人同名的,比如「陶渊明」,不收。

还有一个设计:展示和检索分开。 诗人页上「字号」一栏只显示 CBDB 的原始记录,我们推导出来的「苏东坡」不会出现在那里,但搜索认它。资料是资料,便利是便利,不混在一起。

搜到了,然后呢

搜「东坡」有两种可能:想找苏轼这个人,或者想找诗里有「东坡」两个字的诗(「东坡春向暮」)。所以裸词搜索不劫持全文结果,只在结果页顶部放一条提示:「东坡」是苏轼的号,点这里看他的作品。想直接跳到诗人,就写 @东坡。

验证用的是一串最常见的叫法:白乐天、李太白、苏东坡、王摩诘、欧阳永叔、杜子美、柳子厚、元微之、李易安、辛稼轩、陆放翁、苏文忠,全部解析正确;搜「李白」「杜甫」这样的本名,结果和以前一样。

后来又补的几件小事

字号上线之后,搜索结果页也顺手改了一轮:

  • 显示命中的那一句。 以前结果只有标题和开头,现在挑出匹配最好的一句,把命中的字标出来。一首长诗里搜「明月」,一眼就能看到是哪一句。
  • 繁体输入。 输入繁体会先转成简体再搜,页面上注明转换过,免得读者以为搜的就是原文。
  • 没结果时给出路。 搜不到的时候推荐相关的主题页,而不是一个空白页。

搜索指南也要更新,而且有两份:「关于」页一份,搜索框旁边的帮助浮层里一份。后者每页都能点开,其实看的人更多,差点漏掉。

下一篇讲行迹图背后的历史地图:一千万张瓦片是怎么下载下来、又怎么塞进一台小服务器的。

Comments

  1. Loading comments…

Leave a comment

Plain text; links are fine. Comments with many links wait for review.