瓶颈思维：用于严格归纳的小沙漏推理

论文编号： arXiv:2607.11696 (cs.AI) 作者： Huan Zhu 提交日期： 2026年7月13日

在大型语言模型的少样本归纳推理任务中，自我修正（Self-refinement）方法往往难以取得实质性突破。仅依靠提示模型明确陈述其推断出的规则，作用十分有限。研究表明，真正决定效果的关键在于推理阶段之间的结构化隔离，确保信息只能以压缩的符号状态在阶段间传递。

为此，研究者正式提出小沙漏推理（Hourglass reasoning）框架。该机制强制在推理的各个阶段之间建立严格的上下文隔离。冻结状态的大语言模型在此过程中充当元构造函数，为每个任务构建一套符号编解码系统： - 归纳模块（Induction）：作为编码器，将支持性示例压缩为模式 $\phi$ 与临时支架 $z$； - 演绎模块（Deduction）：作为解码器，基于上述内容推导出规则 $T$，随后立即丢弃临时支架 $z$； - 实现者（Implementer）：将 $(\phi, T)$ 编译为具体产物； - 误差驱动修正器（Refiner）：对 $(\phi, T)$ 进行修订，并从头重新生成产物。

在整个流程中，仅有 $(\phi, T)$ 能够跨越阶段边界，这使得所有的修正过程都牢牢锚定在核心规则之上。

基准测试与性能表现

研究团队在涵盖视觉抽象、硬件合成和文本规则归纳的三个独立基准上对小沙漏推理进行了全面评估，实验使用的底层模型包括 GPT-5.5 与 Gemini 3.1 Pro。结果如下： - ARC-AGI-2：相较于迭代修正基线，最佳五次（best-of-5）准确率最高提升了 14 个百分点。 - ChipBench：结合 GPT-5.5 使用时，Verilog 合成准确率几乎实现翻倍，由 31% 跃升至 58%。 - BBEH-Linguini：该数据集借鉴自国际语言学奥林匹克竞赛题目。既往研究指出，在此类设定中显式言语化往往会损害模型性能。小沙漏推理成功缓解了这一问题，并在 Gemini 3.1 Pro 上彻底逆转了负面效应。

核心结论

消融实验进一步证实，上述性能增益完全归功于阶段间的隔离机制以及初始归纳的质量，而非提示词的具体措辞或所采用的特定符号形式。研究强调，对于冻结参数的大语言模型而言，驱动归纳推理的核心是信息在推理过程中的流动路径，而非用于表达信息的语言本身。