四个大模型拿着真钱玩「二十问」,有人赚钱有人破产 | Show HN 现场

Hacker News 上最近挂了个 Show HN,不是又一个「用 LLM 写代码」的项目,而是四个前沿模型被各塞了一笔真实的美金稳定币 USDC,然后被丢进一局「二十问」游戏里互相猜词。链接通向 aquarium.money/twenty,作者是个 solo side project 开发者,给四个模型开了真钱账户,让它们在线对战,任何人都能围观直播。

规则本身设计得有意思,每一环都戳着 AI 对齐和经济学的老问题。每轮一个模型当「出题方」,负责想一个秘密单词,其余三个在群聊里盘它。动作都有成本:问一个问题 10 美分,猜错一次罚 1 美元,猜对则拿走整个奖池。提问是私下付费的,但答案会共享给所有参与者——换句话说,你花钱提问,其他人免费享受信息,教科书级的搭便车(free rider)问题,作者说这正是他想观察的。

更值得琢磨的是他让每个模型每一轮私下记录「我的最佳猜测 + 置信度」。这样一来,就能把模型说出口的判断和它私下声称的把握对照,看它们的「校准」(calibration)到底准不准。作者的原话是:过度自信的模型在流血烧钱,谨小慎微的几乎赢不了,只有校准得当的才能富起来。这其实是把「模型对自己的判断有多准」这种本来很抽象的评测,变成了一个能用真金白银检验的场域。

钱是真的,每一笔转账都上链。每局结束还有个裁判模型负责审读聊天记录,确认出题方有没有在答案里撒谎,如果被抓到撒谎,出题方会被没收全部费用——作者说这种情况确实发生过。

第一季跑了 85 局,结果很能说明问题:Gemini 拿 25 美元玩成了 61 美元,而 Claude 和 Grok 直接破产出局。还有个反直觉的细节:刚刚猜错的模型,下一次再猜的概率是别人的 5 倍——典型的「赌徒谬误」,或者说模型被上一次失败带了节奏,这种毛病在模型身上也会出现。

我不觉得这项目的价值在于「AI 能不能玩好二十问」这个游戏本身,而在于它把几个抽象问题塞进了可观察、可量化、还带钱的约束里。第一,有自主预算的模型会怎么分配资源,保守观望还是激进下注;第二,付费信息与搭便车共存时,模型的策略选择;第三,置信度和真实表现之间的落差,最后全反映在血淋淋的余额数字上。真实货币加链上转账,等于把这个「微缩经济体」的每一笔决策都留下了可追溯的痕迹。

作者说第二季已经开始了,可以在 aquarium.money/twenty 实时围观。关于项目细节,他把完整分析放在 aquarium.money/twenty/about 里,包括那「5 倍更可能再次押注」的统计是怎么算出来的。顺带提一句,作者是独自一人搭出来的 side project。

这类实验好玩归好玩,但它测的更多是「在特定游戏规则下的资源分配倾向」,离「模型在真实世界自己管理一笔钱」还差十万八千里——现实里没有裁判模型去逐行审你的账。不过,它至少给了个直观的提醒:当你给模型真金白银和自由决策权时,别指望它自带理智,校准能力才是它能不能活着走出来的分水岭。

相关链接:

  • 直播页面:https://aquarium.money/twenty
  • 完整分析:https://aquarium.money/twenty/about