SPyCE：技能与策略协同进化，多模态Agent新范式
摘要
近期发表于 arXiv 的论文 SPyCE: Skill-Policy Co-evolution for Multimodal Agents (arXiv:2607.13854) 提出了一种全新的多模态智能体训练框架。该研究由 Ru Zhang 和 Weijie Qiu 共同完成，于 2026年7月15日 提交。论文的核心贡献在于打破了传统强化学习"从零发现模式"和记忆方法"静态检索"的局限，提出将推理轨迹蒸馏为可重用技能，并与策略模型实现协同进化。
一、问题背景：现有方法的两大瓶颈
多模态智能体需要在推理过程中迭代操作视觉证据，并在多个步骤中调用外部工具。然而，当前的训练范式存在明显的局限性：
1. 强化学习方法的缺陷
现有的强化学习方法将完整的推理轨迹简化为单一的标量奖励值。这种压缩方式导致策略模型无法从历史经验中提取结构化知识，被迫在每一个新任务上从头开始探索可重用的工具使用模式，学习效率极低。
2. 基于记忆方法的局限
另一类基于记忆的方法虽然保留了过去的经验，但它们仅依赖测试时的检索机制来调用历史轨迹。这种方法不会在训练过程中更新策略本身，使得策略模型无法真正吸收和利用过往经验中的可重用模式。
二、核心洞察：技能蒸馏与协同进化
论文的关键洞察是：多模态推理轨迹应当被蒸馏为可重用的技能，这些技能应在训练过程中与策略模型协同进化，而非仅仅作为奖励信号或静态存储供测试时检索。
基于这一洞察，研究者提出了 SPyCE（Skill-Policy Co-evolution） 框架。
SPyCE 的技术架构
SPyCE 框架的核心组件包括：
| 组件 | 功能描述 |
|---|---|
| 分层技能库 | 将推理轨迹蒸馏为两层技能结构 |
| 执行技能 | 捕获局部的视觉操作模式 |
| 流程技能 | 编码编排工具使用的高层先验知识 |
| 策略模型 | 在训练过程中根据检索到的技能指导生成过程 |
| 协同进化机制 | 利用策略产生的高质量轨迹持续更新技能库 |
三、协同进化机制：闭环优化
SPyCE 最核心的创新在于构建了一个闭环优化系统：
-
策略引导技能：在训练阶段，策略模型会根据检索到的技能来指导其 rollout（生成过程），从而获得更好的推理行为。
-
技能进化策略：同时，技能库会根据策略模型生成的有价值 rollouts 进行持续更新和进化。
-
正向循环：改进后的策略产生更高质量的技能，而这些不断进化的技能库又为策略的 rollout 提供更强的先验引导。
这种设计实现了策略与技能的联合优化，而非传统的单向训练。
四、实验结果
论文在 八个基准测试 上进行了全面评估，主要发现包括：
-
性能优势：SPyCE 在所有基准测试中均一致优于基于强化学习的方法和基于记忆的方法基线。
-
消融分析：进一步分析表明，分层技能设计和协同进化机制均为该框架成功的关键因素，两者缺一不可。
五、意义与展望
SPyCE 的研究结果表明，技能-策略联合优化是构建高性能多模态智能体的一个有前景的新范式。这一方法为多模态 Agent 的训练提供了一种新的思路：
- 将非结构化的轨迹数据转化为结构化的技能知识
- 通过协同进化实现知识和能力的持续增长
- 为复杂推理任务提供了可复用的高效解决方案
对于从事多模态 Agent、强化学习和具身智能研究的从业者而言，SPyCE 提供了一个值得深入关注和借鉴的技术方向。
参考资料
- 论文标题: SPyCE: Skill-Policy Co-evolution for Multimodal Agents
- arXiv ID: 2607.13854
- 提交日期: 2026年7月15日
- 作者: Ru Zhang, Weijie Qiu
- PDF链接: View PDF
- HTML版本: HTML (experimental)