不生成文字、也就没什么可幻觉的模型：Laya 用 33ms 回答一整套问题

2026年10月1日

我看到这批邮件时会想：能不能有一种模型，它不憋长文，不给你编一个退款故事，而是直接把「这是账单问题、紧急程度 1.8/2.0、流失风险 89.2%、用户明确要求退款」这些结论一次性甩给你。Laya 这个开源模型做的大概就是这个事，而且它在材料里写得挺直白：它从不生成文本，所以没有什么可解析的，也没什么可幻觉的。

Laya 是一个多语言、非自回归的决策模型，官方管它叫 System 1 模型。你把一段状态（文本、邮件、工单或者 JSON）和一组「带类型的问题」丢进去，它在一个前向传播里把答案全部返回，带数学上校准过的概率，单次大约 33ms，覆盖 100 多种语言。它不是聊天机器人，不会写段落，只会针对你定义好的 choice、score、noul 这类问题给出结构化答案。训练方式叫 RLCD，用严格适当评分规则做强化学习，所以只有老老实实报出真实概率，奖励才最大——这个机制是它敢说自己「不幻觉」的底气。

真正让人觉得顺手的，是内置的 Router。它会自动检测语言和文字系统，毫秒级判断这是英文还是印地语脚本，然后路由到合适的 checkpoint，全程一次前向传播。材料里举的例子是客服工单拆分：一封「账单重复扣款，不退就取消套餐」的邮件，配上 department、urgency、churn_risk 几个问题，Router 直接给出 billing、urgency 评分和流失概率。这种「先判断再分配」的活儿，以前要么得自己接一堆分类器，要么让大模型多跑几轮——Laya 把它并成一个调用。

这个仓库一共有三个 checkpoint：英文的用 ModernBERT-large（421M，512 上下文），多语言的用 mmBERT-base（322M，100 多种语言），还有一个专门在四个决策工作流上微调过的 typed-decisions 版本。设计上有点意思：每个选项在各自的 [MASK] token 上打分，答案空间是请求时定义的，所以新增 schema 不需要重新训练，而且一次调用里的所有问题都在同一个前向传播里答完。pip install laya 就能跑，Apache 2.0，纯自托管。材料里对比的那家闭源服务单次 236–276ms，它 32.8ms，还顺手点了一句「自托管成本 $0」。

最有价值的部分其实是它的 Honest Limits 这一节——诚实得不像一篇发布稿。基座 checkpoint 在 typed-decisions 上零样本几乎等于瞎猜：英文基座 0.362，多语言 0.352，而随机基线是 0.318、多数类基线 0.461。那个漂亮的 0.766 属于在 benchmark 自己的训练集上微调过的版本，不是开箱即用的成绩。所以它把自己定位成一个「用来特化的快速底座，而不是开箱即用的决策引擎」，这话说得挺准。

还有几个坑值得记住。选项太多就不行：一个 77 选项的问题在高基数下每个标签分不到 3–4 个 token，效果会崩（Banking77 上 0.425，对比那家闭源是 0.870），要么调高 head_max_len，要么拆成两步粗到细的分类。noul 这种二选一问题有时候会跟着自己的标签文案走而不是跟着输入走，明明很正面的输入可能给你一个自信的「no」，所以答案要拿自己的数据复查。另外模型出厂是过度自信的，mean ECE 从 0.466 要在你这边重新拟合温度后才降到 0.081——在你真正信任这些概率之前，得先自己调一遍。 至于材料里那些和 Jev 的对比数字，作者自己也标注了是第三方发布的、这边没实测过，样本和 prompt 都不一样，看的时候留个心眼。

我读下来最大的印象是：现在很多模型发布会把「能力上限」当成卖点，而这个模型把「哪些场景会翻车」写成了官方文档的一部分。对做客服分流、工单拆分、Agent 可观测性这类场景的人来说，它更像一个可以快速微调出专用精度的底座，而不是拿过来就当通用裁决器用。要不要现在就用它，取决于你手头是不是真的有一堆「把文本判成结构化结论」的活儿——反正 pip install laya、Router(preload=True)，跑一个 demo 就知道它到底是不是在你想要的那类问题上靠谱，还是又一次对着幻觉表演。