一个能在手机上 80ms 就出一版字、还 24/7 不漂移的流式语音识别模型，值得看看

2026年10月1日

打开 Hugging Face 页面是个挺常见的动作，但这次我盯着这行字停了一下：Audio8 ASR Infinite，流式语音识别，宣称可以 24/7 无限长度转录，内存和延迟都不随时长增长。语音转写这行见多了「又刷了个 CER」的发布，这种直接冲着「跑不停」来的，反而让人想仔细看看它到底怎么做到的。

先说它解决的是什么问题。传统 ASR 处理长音频要么提前切段、要么做滑窗重算，录到半小时往往开始卡壳、掉词或者重复。Audio8 走的是滚动 KV Cache 加精确 RoPE 重新基准（re-basing）的路子：30 秒的原生上下文窗口，配上滚动缓存，理论上内存和时延都能保持恒定，所以敢喊 24/7 不停机。这个设计很朴素也很实用，等于把「长录音」这件事从工程难题降级成「跑着就行」。

它给的几个可调参数值得玩味。音频时钟可以选 80/120/160 ms，对应每秒 12.5/8.3/6.25 次解码判断，转录延迟在 240–560 ms 之间可配。说到底就是颗粒度和算力之间做取舍：要更细的感知就花更多算力，延迟调高通常换来越准的字。官方还给出了几组后训练过的「优化工作点」，比如 80ms 时钟配 240/320/480/560ms 延迟，120ms 配 240/480ms——超出这些组合也能跑，只是可能不是最优性能。

另一个值得留意的点是 Semantic VAD，语义级语音活动检测。传统靠声学能量判断「这人说没说完」，遇到停顿、口吃经常翻车；它用语义来判断是思考停顿、结巴还是真到话轮切换，8 类标签、时间视野 0.5/1.0/2.0/3.0 秒。这块对实时对话场景价值不小，毕竟「他是不是想继续说」在实时交互里直接决定另一方什么时候该开口。

参数上，它继承了 Voxtral Realtime 的音频架构加 DSM 风格流式：Causal Audio Tower 用 Voxtral Realtime 4B 初始化，文本解码器是 Qwen2.5-3B-Instruct，双语（中英）。权重 8.17GB，bfloat16，Apache 2.0 许可。评测里中英文差距挺明显——中文测试集 aishell1 和 aishell4 的 CER 分别到 1.750 和 2.893，对比 Voxtral-Mini-4B 的 16 个多点，优势相当大；英文 librispeech 上反而是对手略优。结论是中文明显更强，英文不差但不算制霸。

部署入口给得比较完整：Docker compose 是官方推荐路径，还能顺带把 web demo 一起跑起来，服务内部监听 18190，主机映射到 18191；也可以直接用 torch 做模拟流式解码，或者用 transformers 的 embedded remote code 单跑。它只支持完整的合并权重目录，adapter 式或部分转换的权重不支持，这一点部署前得先看清楚。

这是个 preview 版本，官方路线图里后面还要在同一帧网格和同一声学前向通路上做帧级语义感知，不只是转写。下载量一个月 2.6 万多，说明关注的人不少。流式识别做「跑不停」的不少，但把内存时延恒定当成设计核心、还附上可调时钟和延迟的，确实不多见。英文评测没全面领先，中文场景更值得先试一把。

相关链接