音频大模型记不住「谁说的」，新基准 VoxMem 把这事摊开了

语音助手分不清「谁在说话」，VoxMem 把这事单独拎出来考

家里那台语音助手要是服务一家人，迟早会撞上这么个尴尬场景：你随口问「之前灯具更换那件事怎么样了」，可几天前另一个人也跟它聊过灯具，说的是「已经批准了」，而你当时说的是「先暂停」。它要怎么分辨这回问话的是谁，然后按谁说的来答？这句话的文字内容完全一样，答案却完全不同——区别只藏在声音里。

这正是现在音频大模型最别扭的地方。墨尔本大学和新南威尔士大学联合团队搞了个多会话语音记忆基准 VoxMem，专门量化这件事。核心是：模型记得住「说了什么」，但记不住「谁说的、怎么说的、周围能听到什么」，而后三类信息一旦转写成文字就全丢了。论文挂在 arXiv（2609.32607），代码在 GitHub 上的 swagshaw/voxmem。

这套基准设计得挺较真。现有音频评测被它挑出三个毛病：一是几乎只考词汇内容，很少碰语气、说话人身份、环境声这些「音频原生」信息；二是都建立在同一段录音或连续对话上，真实场景却是隔几天、跨多次会话的交互；三是不同历史长度用不同题目，分数下降到底是内容变多还是题变难，根本分不清。

VoxMem 针对这三点来设计。它用「声学证据×记忆操作」两个维度刻画每道题：证据分语义、说话人身份、副语言线索、环境声四类，操作分信息抽取、多会话推理、时序追踪、拒答四类，交叉后去掉纯文字的「语义×抽取」一格，剩下 15 种考察组合。关键的是，每道题都被塞进 8K、16K、32K、64K 四种历史长度，长历史严格包含短历史的所有会话，只往里加干扰和填充会话，问题和答案四个长度下完全一致——这样分数下降就只能归因于历史变长。

还有个细节：题目「必须用耳朵答」。每条带声学线索的轮次，都保留一个文字相同、音色相同、只去掉线索的「配对版本」，相当于每条线索都有对照实验。他们还专门验证过干扰会话的难度，一个只看文本的分类器区分证据和干扰会话，准确率只有 51%–56%，跟随机标签的 47%–49% 差不多，是真「海里放针」还要放假针。

测出来的结果不好看。15 个音频大模型（5 个闭源、10 个开源）在 32K 下没有一个整体准确率超过 40%，榜首 Qwen3.8-Omni-Flash 也只有 38.5%。按证据类型拆开看更扎心：闭源模型语义题平均 55.6%，说话人身份、副语言、环境声各只有 32.7%、20.0%、21.9%。也就是说「说了什么」的漂亮成绩，把声音本身的巨大失败盖住了。

最反直觉的一个发现是：跨多次会话推理，并不一定比单次检索更难，多会话推理在语义和说话人身份上分别到 41.8% 和 43.1%，反而高于对应信息抽取的 8.8% 和 13.5%。真正崩盘的是时序追踪——如果状态变化是「说出口的」，比如「入住改成周二了」，模型平均能追到 44.5%；可一旦变化只体现在语气里或背景声里，准确率几乎归零：语气变化 3.4%，背景声变化 1.2%。论文的解读是，模型不是不会做时间推理，而是难以维护和更新由声音承载的「状态」。

错误分析把瓶颈指得更明确。说话人题的错误 48% 是绑定错误——内容记对了，却挂到了别人头上；副语言题错误 63% 是定位失败，语气线索压根没被找回来；环境声题错误则分布在定位失败（41%）和无依据答案（39%）之间。在全部被归因的错误里，「证据找到、绑定正确、只是操作出错」的情况仅占 8.4%。顺着这组数字能看明白一个事：现在音频大模型在语音记忆上的瓶颈，大多不在「想」，而在「听进去并记住」。

还有个细节：VoxMem 专门设计了「证据不足该拒答」的题，可模型在副语言和环境声题上的拒答准确率反而更高（34.3% 和 34.2%），高于语义和说话人题。这谈不上「谨慎」——论文的解读是，模型不是因为判断出证据缺失才拒答，而是证据明明就在那儿，它也识别不出来、用不上。

对做语音助手、多用户家庭设备这类产品的团队来说，这套基准直接划了条线：把上下文窗口从 8K 拉到 64K，语义题能保留约 70% 的准确率，环境声只剩 63%。拉长窗口不是银弹，声音里的信息如果不单独保存、不跟说话人和事件建立时间上的关联，聊得越久忘得越多。VoxMem 的价值，在于它第一次把「谁说的、怎么说、周围听到什么」这几件事，从文字评测里单独拎出来，做成一张可以反复对比的卷子。

相关链接

• 论文：https://arxiv.org/abs/2609.32607
• 代码：https://github.com/swagshaw/voxmem