164MB 的语音识别模型,把 2.5GB teacher 的老师压进 2.1 比特
模型发布这事,如果只是参数堆得够多,其实没什么可写的。真正让人有点反应的是反着来的那种——权重压到 2.1 比特,还能在 Open ASR Leaderboard 的七个英文测试集上平均跑出 5.21% 的词错率(WER)。Fermion Research 放出的 Phonon-2 就是这么个东西,下载只要 164MB,却声称在英文语音识别精度上压过一堆体量是它好几倍的模型。
这事的底子是 NVIDIA 的 parakeet-tdt-0.6b-v3,那个 2.5GB 的 full-precision teacher。Phonon-2 的做法是给 encoder 的每个权重保留五个学习到的电平,也就是约 2.1 比特,然后整个模型压到 164MB。看 Open ASR Leaderboard 的表,几个常见集上它确实能咬住甚至反超更重的模型——议会语音上达到了 teacher 词准确率的 100.8%,meetings 数据集上还赢了,而下载量只有 teacher 的十五分之一。VoxPopuli 上它 2.46 的 WER 直接压过表里所有对手,包括那个 8GB 的 Voxtral Mini。当然,LS clean 和 Earnings-22 上它还没赢过 teacher,GigaSpeech 也差一点,所以别急着说全面反超——但它用十分之一甚至更小的体积逼近大模型,这个趋势是实打实的。
光看精度还不够,落地的人更关心跑多快。材料里给的数是:一小时音频在 M5 MacBook Air 上大约 20 秒转录完(约 174x 实时),八核 Zen 5(16 vCPU)上是 143x,而在单张 H100 上以 128 batch 跑能到 6,680x。这个数字对做语音批处理、字幕、会议纪要或者给录音做索引的人来说,意味着你不用再为了一小时的会等上一场会的时间。
Fermion 其实早把这套东西做了产品——Phonon-2 就是 Mac 端听写应用 Detta 背后的模型。想在别处用它也简单,Apple silicon 上装 fermion-research 那个包,命令行一个 phonon transcribe recording.wav 就出结果,加 --json 还能拿到每个词的起止时间。同一个包跑在 Linux(x86-64 和 Arm)和 Windows CPU 上,Docker 镜像也给了 CPU 版和 CUDA 版,所以不管是自建服务还是本地批处理,入口都挺顺。命令行的文档在 fermionresearch.com/docs/speech,引擎代码在 GitHub 的 fermionresearch/phonon。
许可这块值得划个重点:模型本身是 CC-BY-4.0,跟原版 parakeet 一致,NOTICE 文件里列了改动点;命令行工具和仓库代码则是 Apache 2.0。也就是模型跟代码的授权是分开的,商用前最好把那两份协议都读一遍。
我比较在意的是 2.1 比特这个量化方式的边界。表里明显看得出,越是干净、口音规范的数据,小模型追得越紧;一到 LS clean 这种刁钻的集,跟大 teacher 的差距还是摆在那。所以 Phonon-2 更像是在「体积、速度、精度」三个点里找了一个很实用的平衡——单机设备、边缘部署、批量离线转写这种场景它划算,真要拿去做最硬核的学术基准,还是得回头找大模型。
Downloads last month 已经 3,063,仓库下挂着 5 个 quantization 变体和 7 个 Space 在用它。我还没真机跑过,不知道它在嘈杂音频里的实际上限在哪,但一个 164MB、能在 MacBook Air 上 174x 实时跑的模型,已经足够我把它放进待测清单了。