从“结构单一”到“系统之系统”：AI 架构的结构性反思
摘要： 2026年7月，Jaeho Seol 在 arXiv 上发表了题为《The Giant Hippocampus: From Structural Monoculture to a System of Systems》的论文。文章指出，当前 AI 领域过度依赖单一的 Transformer 架构，类似于将大脑皮层简化为单一的“海马体”。文章呼吁从“结构单一文化”转向“异构拓扑网络”，以实现更高效的计算和更合理的架构设计。
引言
在人工智能领域，Transformer 架构已经成为主流，被广泛应用于文本、图像和语音处理。然而，这种“一刀切”的方法是否真的合理？2026年7月22日，Jaeho Seol 在 arXiv 上发表了一篇题为《The Giant Hippocampus: From Structural Monoculture to a System of Systems》的论文 [1]，对这一问题进行了深入探讨。
核心论点：结构单一 vs. 结构多样性
1. AI 领域的“结构单一文化”
Seol 指出，当前的 AI 研究普遍将最先进的模型描述为“一件事在规模上的重复”——即 Transformer 架构。无论是文本、像素还是语音，都使用相同的结构进行连接和处理。这种“结构单一文化”（Structural Monoculture）虽然在大规模数据下取得了一定的成功，但其本质是一种“结构性错误”，而非风格上的差异。
2. 生物大脑的“结构多样性”
相比之下，神经科学家将大脑皮层描述为一种“马赛克”结构。例如，视觉皮层中密集的 Layer 4 负责空间编码，而运动皮层中较厚的 Layers 5/6 则负责时间整合。不同的认知功能由不同的结构实现，这是经过一个世纪的细胞结构研究（从 Brodmann 到单细胞 Patch-seq）所证实的事实 [1]。
3. CNN 的启示与遗忘
Seol 提到，卷积神经网络（CNN）曾是这一原理的有力证明。CNN 通过局部感受野和分层深度直接编码了这一先验知识，从而在较少数据的情况下实现了强大的图像识别能力。然而，这一教训后来被忽视了 [1]。
“硬件彩票”与 Transformer 的崛起
1. 硬件彩票（Hardware Lottery）
文章指出，Transformer 成为主流并非因为其是原则性的最佳选择，而是因为“硬件彩票”使其成为阻力最小的路径。这种趋势导致了 AI 架构的单一化 [1]。
2. MoE 的局限性
尽管混合专家模型（Mixture-of-Experts, MoE）常被提及为一种多样性解决方案，但 Seol 认为，MoE 实际上只是在相同的专家之间分配参数，并未真正解决结构单一的问题 [1]。
Transformer 的本质：功能性海马体
1. 功能性分析
通过对 Transformer 的功能主义分析，Seol 提出，Transformer 实际上是海马体形成的功能模拟，而非通用皮层。这类似于将皮层视为一个巨大的 Broca 区，但问题在于，现在整个领域已经标准化为一个“巨大的海马体”，并将其应用于它从未被设计处理的任务，如听觉、执行门控和工作记忆 [1]。
2. 结构性错误的可测量性
文章强调，这种结构性错误是可以测量的，并且可以通过对比生物大脑的结构多样性来验证 [1]。
替代方案：异构拓扑网络
1. 系统之系统（System of Systems）
为了解决这一问题，Seol 提出了一个替代方案：异构拓扑网络（Heterogeneous Topological Network）。这是一种“系统之系统”的设计，其中不同的模块保持其计算所需的归纳偏差，并通过标准化接口进行通信 [1]。
2. 设计纪律
文章最后强调，这不仅是认知科学的问题，更是 AI 架构师的设计纪律。应该在训练之前指定模块化，将结构证据作为设计输入，而不是从训练后的模型行为中逆向工程架构 [1]。
结论
Seol 的论文《The Giant Hippocampus》为 AI 架构的未来发展提供了一个重要的视角。通过从“结构单一文化”转向“系统之系统”，我们可以构建更高效、更合理的 AI 模型。这不仅需要对现有架构的深刻反思，还需要在实际设计中引入更多的结构多样性。
参考文献：
[1] Jaeho Seol. "The Giant Hippocampus: From Structural Monoculture to a System of Systems." arXiv preprint arXiv:2607.19973, July 22, 2026. Link