论文解析：Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversity
一、研究背景
在LLM agent的实际部署中，性能不仅取决于模型本身，还高度依赖于"harness"——即围绕模型的prompt设计、注入知识、运行时控制和配置参数。在部署场景中，harness往往是唯一可调用的杠杆，因此自动优化harness成为提升性能的自然路径。
然而，这一领域的核心挑战不在于生成变更，而在于判断哪些变更真正有效。自我生成的反馈存在噪声，表观的性能提升可能是测量伪影，或仅仅是针对调优任务的过拟合。
二、核心方法
论文提出了一个自我进化的agent harness框架，其创新在于将"提出变更"与"归因"两个环节分离：
- 语言模型负责诊断失败并提出补丁
- 确定性代码负责所有采样、测量和显著性检验
这种设计确保每一个被归因的性能改进都是"由构造保证可信的"。
关键技术：GSME
补丁被存储在一个门控语义质量多样性档案（Gated Semantic Quality-Diversity Archive, GSME）中，其索引键是(WHERE x WHY)病理学类型，而非任务本身。这是一种防止过拟合的归纳偏置。泛化能力通过仅在演化结束后评分的密封测试来衡量。
三、实验结果
在七个领域中，使用冻结权重的开放模型进行实验：
| 指标 | 数值 |
|---|---|
| credited gains | +9 to +15.5pp |
| 训练增益保留率 | 86%-147% |
关键发现：
- 获胜补丁追踪的是模型的主导病理学，而非模型大小或家族
- 更换模型会改变病理学和补丁，但相同的"病理学-补丁匹配"在两种模型家族中重复出现
- 可迁移的是"诊断-归因循环"，而非具体的harness
四、意义与启示
-
自动化harness优化的可行性：证明了在不修改模型权重的情况下，通过自动优化harness可以显著提升agent性能
-
防过拟合设计：GSME档案按病理学类型组织而非任务类型，有效防止了针对特定任务的过拟合
-
通用方法论：可迁移的核心是"诊断-归因循环"这一方法论，而非具体的prompt或配置模板
-
对从业者的价值：为AI应用开发者提供了一条无需重新训练模型即可提升性能的可行路径
五、总结
该论文提出了一种系统化的方法来自动优化LLM agent的harness，通过分离变更提出与性能归因，结合门控语义质量多样性档案，实现了在多个领域中的显著性能提升，同时保持了良好的泛化能力。