Digital Pantheon: 利用 SFT、DPO 与 RAG 实现 LLM 政治联盟模拟与审计

2026年7月18日

论文速览：《数字万神殿：利用 LLM 智能体模拟与审计联盟形成》

提交日期： 2026年7月16日
作者： Dylan Van Mulders, Matthias Bogaert, Dirk Van den Poel
会议： ECML PKDD 2026 (Post-Workshop proceedings)
arXiv ID： 2607.15095

1. 核心痛点：RLHF 的“中立性”陷阱

在计算政治学领域，研究者希望利用大语言模型（LLM）模拟复杂的政治联盟谈判。然而，传统上受限于强化学习从人类反馈（RLHF）所植入的中立性和帮助性偏见。这些偏见使得模型难以维持坚定的党派行为，从而无法真实模拟基于具体政策目标和意识形态信念的复杂政治联盟谈判过程。

2. 技术框架：SFT + DPO + RAG

为了解决上述问题，研究团队构建了一个多智能体框架，通过以下技术手段实现事实基础与意识形态对齐的平衡：

监督微调（SFT）：作为基础训练步骤。
直接偏好优化（DPO）：用于赋予智能体激进的特定党派人格（party-specific personas），克服中立性偏见。
检索增强生成（RAG）：为每个党派部署独立的 RAG 管道，确保智能体的行为严格限制在其官方竞选纲领（manifesto）范围内。

模拟机制：中心辐射型谈判

该框架在 2019 年弗拉芒（Flemish）选举数据上进行了操作化验证。模拟采用“中心辐射型”（hub-and-spoke）谈判结构，由一位“组阁者”（formateur）进行仲裁，党派智能体在此架构下进行协商。

3. 可审计性与评估指标

为了确保模拟结果的可解释性，研究引入了以下关键工具：

多层信息谱系拓扑（MILT）：将最终协议中的每一个条款追溯回其竞选纲领的来源，并将其分类为五种来源状态（provenance states）。
联盟影响力评分（CIS）：聚合这些可追溯的贡献，以识别哪些党派塑造了最终的协议内容。
现实世界基准测试：将模拟产生的每一项条款与历史上实际采用的联盟协议进行比对，以验证模拟的有效性。

4. 实验结果

在三次独立模拟中，该框架展现了以下结果：

稳定性：产生了稳定的获胜者和排名结果，N-VLA 领先于 CD&V 和 Open Vld。
预测能力：基于竞选纲领的谱系分析能够可靠地预测现实世界中的条款落实，而幻觉内容则未能实现这一预测。
透明性：提供了一个透明且可扩展的测试平台，用于事前探索党派兼容性和组阁者调解的妥协方案。

5. 对 AI 从业者的启示

该研究展示了在 Agent 系统中结合 DPO 与 RAG 的技术路径：

人格化与边界控制：通过 DPO 强化特定行为模式，同时利用 RAG 提供严格的上下文边界，防止模型“越界”。
可解释性设计：不仅关注输出结果，更通过 MILT 等工具建立从输出到原始数据的完整溯源链路，这对于高风险领域的 AI 应用（如政治、法律模拟）具有重要的工程参考价值。