SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness
让 AI 自动在海量代码仓库环境中研究自己的 agent harness，发现四个可迁移的 token 效率机制，在保持任务性能的同时将 API 成本削减约三分之一。
研究动机
- 问题难在哪：coding agent 正从单次代码补全转向无人值守的长时间自主探索。任务越长，token 消耗越大，API 成本成为规模化的瓶颈——单次 EdgeBench 跑满 51 个任务用 Codex 要花约 $1787。
- 现有方法的问题：
- 基础设施层优化（FlashAttention、PagedAttention）降低的是每 token 成本，无法减少 token 总量
- 模型压缩（量化、路由到小模型）以任务质量换成本
- 手动 harness 调优需要人工审阅大量 execution trace，耗时且难以跨任务/跨环境扩展
- 已有自动化 harness 优化（Meta-Harness、RHI）存在过拟合开发环境、held-out 任务上收益有限的问题
- 核心 insight：将 harness 优化本身建模为 RSI（Recursive Self-Improvement）搜索问题——让 AI 在大量可执行环境中自主研究 harness，搜索与验证严格分离，发现的机制才能真正泛化。
核心方法
1. Auto-Research Loop — 自动化 harness 研究流程
SoL-Pi 的核心是一个 broad-to-deep funnel：外层搜索宽泛覆盖假设空间（152 个候选方向，分为 context / progress / tools / delegation / prompt & policy / improvement & evaluation 六大族），内层对每个候选独立深化实现并验证。每轮循环：propose → implement → 独立 review → development validation → 若通过则 freeze → held-out evaluation（结果永不反馈回搜索）。
图2 — 搜索反馈与 held-out 验证全程分离。开发阶段结果驱动迭代，held-out 结果只在 freeze 后使用且不回流。
2. 搜索环境 — Search Environments
开发环境共 535 个：495 个来自 GitHub issue–PR 对（pre-fix 仓库 + 隐藏回归测试），40 个合成 verifier-driven 任务（允许多种解法）。最终验证集 EdgeBench（51 个 public 任务）全程隔离，不参与任何搜索迭代。整个搜索跨越约 150 个方向、500 个环境、3000+ 次运行、60000+ agent-environment 交互。
3. 机制筛选标准
候选机制须通过两道顺序关卡：① capability gate——所有能力指标在预设容忍范围内；② efficiency gate——至少改善一个效率指标。通过双门的候选取非支配解（Pareto frontier）。四个最终机制独立探索后再整合，微调超参数。
4. 实现基础
所有机制实现为 Pi harness 的扩展模块，不修改底层 LLM。Evidence-Preserving Reducer 的辅助小模型使用 GPT-5.6 Luna（低成本），主 agent 保留诊断和决策权。
四个发现机制
注：以下两列均来自单独启用配置（Pi + 该机制，非完整 stack），在 51 个 EdgeBench 任务上统计。
| 机制 | 作用节点 | 核心做法 | 触发率 GPT-5.6↑ 至少触发一次的任务占比 |
触发率 Opus 5↑ 至少触发一次的任务占比 |
token 效率提升 GPT-5.6↑ 仅在触发该机制的任务上，$/score 相对 Pi baseline 的改善幅度 |
|---|---|---|---|---|---|
| Action Fusion | 代码编辑阶段 | 将"编辑文件"和"执行后续命令"合并为单次 tool request，3 次 API call → 2 次 | 78.4% | 76.5% | +24.7% |
| Online Context Compact | 计划步骤完成时 | 在 plan step 完成边界评估是否压缩 context；通过 cost gate（预估节省 > cache 重写成本）才压缩 | 92.2% | 33.3% | +20.9% |
| Evidence-Preserving Reducer | 构建/测试日志接收时 | >4 KiB 的 build/test log：小模型提取关键证据生成 receipt；确定性验证器校验 schema/hash/exit status/引用；失败则回退原始 | 39.2% | 23.5% | +20.1% |
| ObservationPack | 大型工具输出接收时 | >10 KiB 的结果：前 2 次请求发完整内容，第 3 次起替换为 stable handle + 1 KB 摘要；按需召回原始块 | 80.4% | 68.6% | +10.2% |
完整 stack 下触发率变化：Action Fusion 92.2%，OCC 92.2%，EPR 41.2%，ObservationPack 56.9%（ObservationPack 被 EPR 吸收了部分 observation-heavy 场景，触发率下降）。完整 stack 中每个机制的 token 效率提升均高于单独启用（约 27-29%），呈现互补。
机制互补性
四个机制覆盖互补的开销来源：Action Fusion 减少 API 往返，Online Context Compact 控制历史增长，ObservationPack 避免大观察值重复传输，Evidence-Preserving Reducer 压缩信息密度低的日志。在完整 stack 中，ObservationPack 变得更具选择性（与 EPR 在 observation-heavy 轨迹上有重叠），但每个机制的 token 效率提升均高于单独启用时，呈现互补而非竞争关系。
Action Fusion 开发案例（27 次迭代追踪）
Oracle Analysis 识别出 12.3% 的直接优化空间（相邻动作）。Baseline 阶段发现纯 prompt 触发不稳定，遂扩展 tool schema 直接暴露 fused action，建立零无效调用的稳定基线（6 次迭代）。Prompt 优化阶段（18 次探索）引入 trigger rate 作为中间验收指标。最终配置在 trigger rate 与任务分数双维度选出，frozen 后通过 held-out 验证。
主要实验结果
EdgeBench 整体对比
| Harness | Backend | Total Tokens (B)↓ | API Cost ($)↓ | Avg Score↑ | Token Eff ($/score)↓ |
|---|---|---|---|---|---|
| Codex | GPT-5.6 Sol | 3.0537 | 1787 | 34.7 | 1.009 |
| Pi | GPT-5.6 Sol | 2.1538 | 1339 | 44.8 | 0.586 |
| SoL-Pi [Efficiency] | GPT-5.6 Sol | 1.0990 | 894 | 42.0 | 0.417 |
| SoL-Pi [Performance] | GPT-5.6 Sol | 2.0224 | 1271 | 47.2 | 0.528 |
| Claude Code | Opus 5 | 2.0045 | 2535 | 43.7 | 1.138 |
| Pi | Opus 5 | 2.3697 | 1741 | 44.8 | 0.763 |
| SoL-Pi [Efficiency] | Opus 5 | 1.3101 | 1158 | 42.2 | 0.538 |
| SoL-Pi [Performance] | Opus 5 | 2.1016 | 1605 | 50.5 | 0.624 |
跨 benchmark 泛化
| Harness | Terminal-Bench 4 solved/63 | TB4 cost ($) | TB4 cost/solved ($) | IMO 2026 pass/6 | IMO cost ($) |
|---|---|---|---|---|---|
| Codex | 18 | 272.35 | 15.13 | 5 | 114.47 |
| Pi | 18 | 286.45 | 15.91 | 3 | 75.95 |
| SoL-Pi | 15 | 211.12 | 14.07 | 3 | 62.69 |
注：Terminal-Bench 4 SoL-Pi 解决任务数略少（15 vs 18），但总成本节省 26.3%，cost/solved 降低 11.6%。IMO 2026 SoL-Pi 每道通过题成本最低（$20.90）。
Agent Swarm 实验
单协调者 + 20 个 worker 的 2 小时 kernel 优化：SoL-Pi swarm 达到 1127 cycles（最优），比 Pi baseline swarm（1366 cycles）提升优化深度，且 API 成本降低 26.8%（$60.11 vs $82.12）。单 Codex agent 成本最低（$39.20）但搜索规模受限。
消融实验
ObservationPack 在 GPT-5.6 Sol 下单独启用时平均分最高（47.2），Action Fusion 在 Opus 5 下表现最佳（50.5）。完整 stack 始终是 token efficiency 最优点。
局限与展望
- 已知局限：
- Harness 仅在 GPT-5.6 Sol 轨迹上训练，迁移到 Opus 5 时机制触发率和强度下降（Opus 5 上 Action Fusion 触发率 33.3% vs GPT-5.6 Sol 的 78.4%）
- Terminal-Bench 4 解题数略降（15 vs 18），说明效率优化有时会轻微影响任务成功率
- 完整 auto-research 循环计算开销大，难以做搜索广度/深度的受控对比实验
- 结果依赖特定 API 定价（截至 2026-08-17），价格变动会影响绝对成本数字
- 研究趋势与未来方向：
- Pretraining the Harness：类比模型预训练，在更多多样化环境上持续更新 harness，作者期望这能带来持续收益
- Multi-Backend Training：在多个 LLM backend 上同时训练和验证 harness，提升跨模型鲁棒性
- Recursive Efficient Improvement：更高效的 harness 降低下一轮 auto-research 本身的成本，让固定预算覆盖更多环境和想法——效率既是研究成果也是扩展搜索的资源
定位
SoL-Pi 是 RSI-at-harness-layer 的早期实证：在不修改模型权重的前提下，通过自动化搜索将 token 成本降低约 50%（相对 native harness）、约 33%（相对 Pi），并初步证明机制可跨模型迁移。其更深层的意义是提供了一个方法论框架——将 harness 视为"可训练的"系统组件，为未来的规模化 RSI 系统奠基。