重新思考智能体框架演进的评估方法

本文重新审视了LLM智能体自动框架演进（harness evolution）的评估方法。作者指出，现有方法使用单元测试搜索框架配置并在同一公开基准上报告最终性能，这存在两个问题：一是框架演进本身是迭代搜索过程，应与简单任务级搜索基线在匹配反馈和推理预算下比较；二是搜索和最终评估共享同一基准，可能导致过拟合。实验表明，框架演进并不一致优于简单测试时缩放方法，且泛化能力有限。

1. 问题提出：现有框架演进方法使用单元测试搜索配置并在同一基准上报告性能，存在两个根本问题。
2. 对比分析：将框架演进与简单测试时搜索基线在匹配反馈和推理预算下进行比较。
3. 泛化性评估：在保留任务上评估演进框架的泛化能力。
4. 实验验证：在Terminal-Bench 2.1上使用GPT-5.4和Claude Opus 4.6进行实验。
5. 结论与建议：框架演进并不一致优于简单测试时缩放方法，且泛化有限，需更公平的评估协议。

• 现有框架演进方法使用单元测试搜索配置并在同一基准上评估，可能导致过拟合。
• 框架演进应作为搜索过程与简单测试时缩放基线在匹配预算下比较。
• 在Terminal-Bench 2.1上，GPT-5.4和Claude Opus 4.6的实验显示框架演进未一致优于简单测试时缩放。
• 演进框架在保留任务上泛化能力有限。
• 研究呼吁更公平的评估协议和基准。