Skip to content
View original post on X: meng shao
Published
Pick72/100

Jediah Katz argues agent harnesses are not dead despite model gains

AIJediah Katz, a Cursor and Grok Bot harness engineer, argues that smarter models absorb coding patches from agent harnesses. He says harnesses still matter for opening new task types, for infrastructure, trust and safety, and for efficiency.

AIWhy it matters.

The post contrasts the view that agent harnesses are obsolete with an engineer's argument that they still matter, which clarifies where model improvements leave room for harness design.

meng shaoVerified on X
@shao__meng
View on X

Agent Harness 已死?Grok Bot & Cursor Harness 负责人 Jediah Katz 认为: 编码补丁正被模型吸收,开拓新任务、安全与效率仍离不开 Harness!

模型越来越聪明,Harness 里"帮模型写好代码"的那部分确实在消失。但 Harness 还有两项消失不了的职责:一是带模型开拓新的任务边界,二是提供模型无法吸收的基础设施、信任安全和效率。

Youtube 视频:
https://youtu.be/7Y4sbZgBdnc?is=9PAd3si0khM5XkOJ

演讲者与背景
@jediahkatz 2025 年初加入 Cursor,是在 Agent Harness 上工作时间最长的工程师,随 Cursor 被收购后加入 SpaceX并参与 Grok Bot Harness。他梳理了这个领域的称呼变迁:2023 年流行"提示词工程师",2025 年年中变成"上下文工程师",今年业界才定名为"Harness 工程"。

Harness 由什么组成

Harness 是模型的"眼睛和手",向上对接用户使用的 App,向下连接电脑和第三方服务(如 MCP)。他把它分成两层:

运行时层:决定 Agent 循环在哪里运行、状态怎么保存以便中断后继续,比较接近传统软件工程。

上下文与编排层:决定什么时候调用哪个模型、模型能看到什么,包括提示词、工具、记忆、压缩,以及各种行为调校技巧。他形容这一层是"蛮荒西部"。

为什么有人说 Harness 已死

今年年初是 Harness 的高峰:Cursor 用一个叫 Grind Swarm 的长时运行 Harness 从零写出了一个浏览器,成本极高,据说还把 Cursor 搞宕机过一两次。

几个月后,风向变成"Harness 已死":Anthropic 的 Tariq 说 Claude Code 删掉了大部分系统提示词;YC 的 Garry Tan 认为以后只有 Skills 重要;Cursor 自己也删掉了很多护栏,比如专门用来应用代码修改的小模型,以及"如何探索代码库、如何检查自己的工作"这类编码指令。

研究证据:UC Berkeley 测试了 7 个前沿模型配不同 Harness(Pi、Codex、Claude Code),在 SWE-bench Lite 上分数差别不显著;Apple 和 EPFL 发现,专门的 MLE Harness 在 MLE-Bench 上也没有带来明显提升。

他的判断:如今花哨的 Harness 已经不再增加模型的编码能力。原因是一个数据飞轮:Harness 让更难的任务变得可行,于是更多用户用 Agent 去做这些任务,更多数据流向模型厂商,模型把这些技能内化,Harness 就可以删掉当初的补丁。可以说,Harness 在让自己过时。

Harness 为什么没死

开拓新边界:编码能力被模型"商品化"之后,由 Harness 去开辟下一类任务,飞轮再转一圈。他以自家的 Grok Bot 为例:在 Cursor 是不断删提示词、删护栏,在 Grok Bot 却是加回了很多,因为做幻灯片、订旅行这类网页流程,汇报进度但不打扰用户,判断该直接做还是先问(比如替用户发邮件),以及通过记忆学习用户的习惯,这些模型都还没完全掌握。另一个例子是"软件工厂":Bug 报告进来后自动分诊,云端 Agent 修复并录制修复前后的对比视频,上线后再由另一个 Agent 盯着生产环境。这相当于一个编排多个 Agent 的"元 Harness"。

模型吸收不了的部分:

基础设施:Agent 的任务已经从几分钟延长到几小时、几天,不可能放在一台会休眠的笔记本上跑,必须上云;

信任与安全:权限按 Agent、按人收窄,防止灾难性操作,或者醒来发现一张一万美元的 API 账单;

效率:前面那两项研究虽然发现分数差别不大,但单任务成本差别显著。他过去一个月通过提升缓存命中率、Token 效率和优化模型组合,在质量不下降的情况下明显降低了成本和延迟。

接下来的趋势

产品又跑在了模型前面,Harness 会先变乱再变干净,所以设计上要方便功能上线和下线。一个表现是越来越少向用户暴露内部机制,理由是 Hyrum 定律(你暴露的任何东西都会被用户依赖),代价是透明度降低。

设计面向 Agent 的原语(primitives):例如"订阅",用一个统一的工具让 Agent 响应 Slack 消息、CI 失败、定时等各种事件,而不是给每种事件单独做集成。

集中追踪"补丁"(shim):对模型的已知坏习惯,先用确定性规则临时修补(比如提醒它"用户在等你"),每次触发都记录下来;一旦某个补丁不再触发,就由一个 Bot 自动提 PR 删掉它。

抽象层级上移:上一代 Harness 是由多次 LLM 调用组合而成,新一代以 Agent 作为基本单元。

他预测:6 个月内,90% 的 Agent 工作会脱离个人电脑,在云端运行。

Original, in Chinese
AI Engineer 🔜 CODE Summit🌉@aiDotEngineer
Inside Grok Bot: is the agent harness dead? @jediahkatz of @SpaceXSI explains why smarter models let Cursor remove prompts and guardrails, and why Grok Bot is adding them back. Watch his AI Engineer New York talk: https://www.youtube.com/watch?v=7Y4sbZgBdnc
View quoted post on X
Source details

meng shao · x.comPublished · added here

Original title: Agent Harness 已死?Grok Bot & Cursor Harness 负责人 Jediah Katz 认为: 编码补丁正被模型吸收,开拓新任务、安全与效率仍离不开 Harness!