为了让 AI 读懂古埃及手写体,这位埃及学爱好者建了个基准测试,结果很好笑
沉迷埃及学的人,2020 年想弄一个 hieratic(圣书体草书)纹身,找不到能翻译的人,最后在 2022 年花钱请了位牛津埃及学家手写了一句。等生成式 AI 火起来,他发现自己撞上了一件事:几乎所有模型都认不出 hieratic,更别提翻对了。于是他干脆自己建了个基准测试,叫 HieraticBench,在 Hacker News 上发了 Show HN。
先解释一下 hieratic 是什么。它就是象形文字(hieroglyphs)的草书形态,古埃及人日常书写用的,跟象形文字一样古老。日常的东西 AI 反而不认识,这事儿本身就有点讽刺——模型们把那张手写句子认成过 Tibetan(藏文)、Urdu(乌尔都语)、Korean,甚至认成「Reformed Egyptian」,这词出自《摩门经》,属实有点搞。
数据有多难看
第一版有 268 个条目,包括真实文献、字符合、其他埃及文字做对照组,外加那句从未公开的手写句子,两个版本。目前最强的基础模型,成绩相当惨:在真实文献上,最好的模型识别 hieratic 的正确率到了 95%,但单个字符识别的最高分只有 13% 左右——而且这还是明说了「这是 hieratic」之后的结果。至于那句牛津埃及学家手写、没见过任何数据的句子,目前没有一个模型能真正翻对。
作者自己说了,预算有限,不是每个模型都跑了每个任务。目前只有 Claude 系列做过字符识读,他接下来的计划是跑 Astra 和 Gemini 3.1 Pro。作者也坦诚,他自己完全没跑过这套基准,不太确定计分方式对不对。
为什么这事值得看
这算是个很典型的信号。现在主流的 benchmark 大多被各家模型刷得差不多了,很多趋于饱和,这时候拿一个完全没见过的、非英语的、连真实数据都少得可怜的任务去测,反而能真实量出模型的底线。它不测推理、不测代码,只测一件事:你到底认不认识一种「稀有」的文字。
这个基准的短板也明显:只有 268 个条目,带标签的字符还不多,模型的覆盖也不全。作者在 HN 帖子里直接列了需要帮忙的地方——跑他没覆盖到的模型、提供更多「密封句子」和带标签的字符。懂 hieratic 或者认识埃及学家的,可以直接发邮件到 hieraticbench@veeza.ai。
项目开源在 GitHub(github.com/alymoursy/hieraticbench),demo 在 hieraticbench.vercel.app,想自己试的可以直接上手。这个基准短期里改变不了什么,但它的存在说明了一件事:当大家都在同一个池子里涮分的时候,总有人会去挖一个没人填过的坑,然后发现坑底的水比想象中深得多。
相关链接:
- Demo:https://hieraticbench.vercel.app/
- 源码:https://github.com/alymoursy/hieraticbench
- HN 讨论帖:https://news.ycombinator.com/item?id=49982822