# Garry Tan open-sources g-harness-evals, a benchmark comparing agent harnesses

> Original title: Garry Tan 开源「g-harness-evals」：同一个前沿模型做同一批任务，只换掉 agent harness，也就是系统提示、工具和记忆这些外围设计，谁更准，谁更省钱？

- Source: meng shao
- Published: 2026-11-09T08:54:37.000Z
- Bad Influence: https://badinfluence.news/items/zfwli56mbd47lfdkc5nx6tqyj
- Original: https://x.com/shao__meng/status/2119715268393836956

## Summary

Garry Tan has open-sourced g-harness-evals, which holds the frontier model fixed and varies only the agent harness, covering system prompts, tools and memory. On its 20-task public dev set, pass rates range from about 71% to 79%, and 14 tasks score identically across all combinations.

## Post

Garry Tan 开源「g-harness-evals」：同一个前沿模型做同一批任务，只换掉 agent harness，也就是系统提示、工具和记忆这些外围设计，谁更准，谁更省钱？
https://github.com/garrytan/g-harness-evals

测什么，怎么判分

任务不是编程题这种评测，是一家虚构公司 Pemberline 的多人办公场景。测试搭了一个模拟的 Slack，让 agent 担任团队机器人，处理权限、审批，以及别人在后续对话里提出的纠正。主榜用的是 v0.3 版本的 20 道公开开发集任务。

模型固定为 Opus 5.5 或 GPT-6.1 Sol，只换 harness。Opus 这边比较 Claude Code、Hermes、OpenClaw 和 QM，Sol 这边比较 Codex、Hermes 和 OpenClaw。Claude Code 和 Codex 各自绑定自家模型，所以两者之间不做同模型对比。

判分不看 agent 自己怎么说，而是检查任务结束后的系统状态和事件日志，确认答案是否正确、有没有泄密、有没有越权读取。费用按计量代理记录的标价计算，用总花费除以通过的题数，得出解出一题平均花多少钱，另外报告耗时中位数。

评测结果关键数字

准确率方面，Garry 认为各个 harness 的通过率区分不开，大约都在 71% 到 79% 之间，Hermes 配 Opus 的点估计是 78.8%。20 道题里有 14 道在所有组合下得分完全相同，8 到 14 个百分点以内的差距基本无法确认。Garry 也承认这套题已经接近饱和。

真正拉开差距的是成本和速度，这部分只是描述性数据，没有做统计检验。在 Opus 上，OpenClaw 解出一题约 0.44 美元，耗时中位数约 99 秒。其余几个 harness 约 0.19 到 0.24 美元，Claude Code 和 QM 大约 40 秒。在 Sol 上，Codex 约 0.17 美元、30 秒左右，又便宜又快。作者把 OpenClaw 偏贵归因于提示更长、缓存写入更多。

失败案例里，跨频道纠正这类任务所有 harness 都容易出错。Garry 也提醒，这是开发集而不是留出集的确认结果，OpenClaw 有部分组合没跑完，QM 的网络条件也没和其他组对齐。

![](https://badinfluence.news/api/img-proxy?u=https%3A%2F%2Fpbs.twimg.com%2Fmedia%2FHWq9y3DbcAA6iqY.jpg&mode=thumb&exp=1794528000&sig=dce01e4f321e6746)