QuenchBench 排行榜
同一个模型、同一组 QuenchBench 任务，换不同的智能体 harness 来跑：包在本地模型外面的 harness 会让它多完成或少完成多少工作。最新的在最上面。每次对比都写明是怎么跑的、运行中出了哪些问题；标着“预览”的结果，会在双方于完全相同的条件下重新测量后替换。
2026 年 11 月
Local Quench 与 pi：QuenchBench Short 预览
同一个模型、同样 26 个 QuenchBench Short 任务，每个任务跑三次，分别用两个智能体 harness：Local Quench，以及装了社区插件 pi-tool-repair 和 pi-anti-doom-loop 的 pi。模型为 Spark X2.6 4B，Q8_0，运行在 LM Studio 中，同时跑四个任务，每个任务 30 分钟模型时间，每个任务都在自己的容器里。
这是预览，不是最终结果。两次运行都出了一些小问题，原因在测试机器和它的设置，而不在任何一个 harness 的设计。这些问题已在下表中标出。等两个 harness 在完全相同的条件下重新测量后，这一节会立即更新。换用其他版本的 harness 或其他模型，结果也可能不同。
- Local Quench：有 3 次尝试被判为失败，因为评分程序无法创建 Go 的构建缓存（QuenchBench 的一个 bug，已修复）；另有两次尝试被回复长度上限截断，这个上限后来已经去掉。
- pi：它在主机上而不是在任务容器里执行命令，所以在 Go 和 Rust 任务中，它先遇到了缺失或版本不同的工具链；有 11 次尝试因为它的防循环插件中止了请求而结束，这里都算作失败。这两点现在都已在基准测试中修复：外部智能体的命令在任务容器里执行，被中止的尝试按智能体留下的状态评分。
- Local Quench
- pi
| Local Quench | pi | |
|---|---|---|
| 解决的尝试 | 36 / 78 (46.2%) | 26 / 78 (33.3%) |
| 可能范围（95%） | 36–57% | 24–44% |
| 每轮（第 1、2、3 轮） | 12 / 12 / 12 | 7 / 9 / 10 |
| 每个任务的中位用时 | 15.1 分钟 | 15.4 分钟 |
| 每解决一个任务的模型时间 | 35.5 分钟 | 50.7 分钟 |
| 因时间上限停止 | 13 | 25 |
| 每个任务的输出 token（平均） | 15.4k | 16.1k |
| 每个任务的输入 token（平均） | 427k | 339k |
| 每个任务的步数（平均） | 24.2 | 21.5 |
| 最大上下文 | 51,549 | 45,841 |
按任务看：两者都至少解决过一次的有 13 个，只有 Local Quench 解决的 4 个，只有 pi 解决的 2 个，都没解决的 7 个。每边 78 次尝试，这么大的差距仍可能部分来自偶然（配对检验 p ≈ 0.1），上面的范围也有重叠。请把它看作第一次测量。
全部 26 个任务，逐次尝试
✓ 已解决，✗ 未解决，✗ 改动直到超过时间上限后才通过测试，! 因设置问题出错的尝试（鼠标悬停可看原因）。灰色行：两个 harness 都没解决。
| 任务 | 语言 | Local Quench | pi | 说明 | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| algorithms grid-dijkstra | Go | ✗ | ✗ | ✗ | 0/3 | ✗ | ✓ | ! | 1/3 | pi：在任务容器外执行命令，找到的 Go 或 Rust 工具链版本不同或缺失；pi：1 次尝试被 pi-anti-doom-loop 中止 |
| algorithms union-find | C | ✓ | ✓ | ✓ | 3/3 | ✗ | ✗ | ! | 0/3 | pi：1 次尝试被 pi-anti-doom-loop 中止 |
| bugfix bash-log-rotate | Bash | ✗ | ✗ | ✗ | 0/3 | ✗ | ✗ | ✗ | 0/3 | 两者都没解决 |
| bugfix binary-search | JavaScript | ✓ | ✓ | ✓ | 3/3 | ✓ | ✓ | ✗ | 2/3 | |
| build bash-set-e-build | Bash | ✓ | ✓ | ✓ | 3/3 | ✗ | ✓ | ✗ | 1/3 | |
| build py-import-cycle | Python | ✓ | ✓ | ✓ | 3/3 | ✓ | ✓ | ✓ | 3/3 | |
| data unit-convert | Rust | ✗ | ✗ | ✗ | 0/3 | ✗ | ! | ✗ | 0/3 | 两者都没解决；pi：在任务容器外执行命令，找到的 Go 或 Rust 工具链版本不同或缺失；pi：1 次尝试被 pi-anti-doom-loop 中止 |
| data w2-json-patch | JavaScript | ✗ | ✗ | ✗ | 0/3 | ✗ | ✗ | ✗ | 0/3 | 两者都没解决 |
| feature c-ringbuf | C | ✓ | ✗ | ✗ | 1/3 | ✗ | ✗ | ✓ | 1/3 | |
| feature go-cursor-pagination | Go | ! | ✓ | ✓ | 2/3 | ✗ | ✗ | ✗ | 0/3 | LQ：有一次尝试判分有误（QuenchBench 的 Go 构建缓存 bug，已修复）；pi：在任务容器外执行命令，找到的 Go 或 Rust 工具链版本不同或缺失 |
| project w2-agent-capacity | Go | ✓ | ! | ✗ | 1/3 | ! | ! | ✓ | 1/3 | LQ：有一次尝试判分有误（QuenchBench 的 Go 构建缓存 bug，已修复）；pi：在任务容器外执行命令，找到的 Go 或 Rust 工具链版本不同或缺失；pi：2 次尝试被 pi-anti-doom-loop 中止 |
| project w2-csv-quoting | Python | ✗ | ✓ | ✓ | 2/3 | ✓ | ✓ | ✓ | 3/3 | |
| reading batch-complexity | Rust | ✓ | ✓ | ✗ | 2/3 | ✓ | ✗ | ✓ | 2/3 | pi：在任务容器外执行命令，找到的 Go 或 Rust 工具链版本不同或缺失 |
| reading w2-pricing-pipeline | JavaScript | ✗ | ✗ | ✓ | 1/3 | ✓ | ✓ | ✗ | 2/3 | |
| refactor dedupe-email-check | Python | ✓ | ✓ | ✓ | 3/3 | ✓ | ✓ | ✓ | 3/3 | |
| refactor link-store-interface | Rust | ✗ | ✓ | ✗ | 1/3 | ! | ! | ✓ | 1/3 | pi：在任务容器外执行命令，找到的 Go 或 Rust 工具链版本不同或缺失；pi：2 次尝试被 pi-anti-doom-loop 中止 |
| security c-image-overflow | C | ✓ | ✗ | ✓ | 2/3 | ✗ | ✓ | ! | 1/3 | pi：1 次尝试被 pi-anti-doom-loop 中止 |
| security c-strlcpy | C | ✓ | ✓ | ✓ | 3/3 | ✗ | ✗ | ✓ | 1/3 | |
| terminal find-duplicates-nul | Bash | ✗ | ✗ | ✗ | 0/3 | ✗ | ✗ | ✗ | 0/3 | 两者都没解决 |
| terminal git-recover-deleted | Bash | ✓ | ✓ | ✓ | 3/3 | ✓ | ✓ | ✓ | 3/3 | |
| testing retry-backoff-tests | Go | ✓ | ✓ | ! | 2/3 | ✗ | ✗ | ✗ | 0/3 | LQ：有一次尝试判分有误（QuenchBench 的 Go 构建缓存 bug，已修复）；pi：在任务容器外执行命令，找到的 Go 或 Rust 工具链版本不同或缺失 |
| testing w2-resolver-tests | JavaScript | ✗ | ✗ | ✓ | 1/3 | ✗ | ! | ✗ | 0/3 | pi：1 次尝试被 pi-anti-doom-loop 中止 |
| ui ui-cart-totals | Web | ✗ | ✗ | ✗ | 0/3 | ✗ | ✗ | ✗ | 0/3 | 两者都没解决 |
| ui ui-kanban-undo | Web | ✗ | ✗ | ✗ | 0/3 | ! | ✗ | ✗ | 0/3 | 两者都没解决；pi：1 次尝试被 pi-anti-doom-loop 中止 |
| vague config-file-vague | Python | ✗ | ✗ | ✗ | 0/3 | ✗ | ✗ | ✓ | 1/3 | |
| vague w2-rate-limit-vague | Go | ✗ | ✗ | ✗ | 0/3 | ✗ | ! | ✗ | 0/3 | 两者都没解决；pi：在任务容器外执行命令，找到的 Go 或 Rust 工具链版本不同或缺失；pi：1 次尝试被 pi-anti-doom-loop 中止 |
运行：Local Quench 20261102-104128-ed23（0.1.2 开发版，Guided harness），pi 20261103-110733-b3fc（pi 1.4，pi-tool-repair 0.3.9 和 pi-anti-doom-loop 0.0.14）。由同一镜像中的同一套 QuenchBench 检查评分。任务对话不公开。每一次尝试及失败时发生了什么：见 GitHub（英文）。