https://x.com/i/article/2108757732417572864
常驻智能体如何工作：Lee Robinson 斯坦福 CS146S 讲座，GrokBot 架构、Harness 与上下文工程全解
Lee Robinson 斯坦福 CS146S 讲座「How do always-on, proactive agents like @Bot work?」
背景：Lee Robinson（前 Vercel/Next.js 负责人、前 Cursor，现 SpaceXAI 模型训练团队）在这场约 45 分钟的讲座中，完整拆解了 GrokBot 这类“常驻主动式智能体”的工程架构。这绝对是一线生产系统的第一手披露，他明确说“其中一些东西是我们在 SpaceX 正在做的”。
核心命题：从“工具”到“同事”
讲座的出发点是学生们第一周搭过的简易 harness（模型 + 工具调用循环）。这个范式很强大，但有一个根本缺陷：合上笔记本，进程就死了。常驻式 agent 要解决的正是这个问题，它跑在服务器上、能在崩溃后恢复、拥有自己的一台 Linux 云电脑（文件、浏览器、桌面），并且像同事一样工作：知道何时该安静，只在有重要进展时才来找你，由 Slack 消息、邮件、日程等事件唤醒，能连续工作数周甚至数月。
第一部分：四个时代的演进（How we got here）
他将开发者与 AI 协作的历史分为四段：复制粘贴 ChatGPT 代码 → 终端里的简易 agent（能改文件、跑命令）→ 专用 agent 应用（并行运行、上云，但人类是瓶颈，每条命令都要人审批）→ 常驻式 agent（在后台环境化运行，你睡觉它继续干活）。
其中最有信息量的是两个观察：
1.从“排队”到“转向”（steering）。旧模式是你发指令→等待→批准命令→再等待；新模式是你可以随时打断它、连珠炮式补充指令（“去看那个线程……算了周四再做”），且模型能理解这些指令之间的关系，这是模型能力升级的直接体现。
2.AI 审批反而更安全。现在业内普遍用“auto review”（一个独立模型审查每条将执行的命令）替代人工逐条审批。他给出的判断很锐利：盲测中模型审命令多数时候比人做得更好，因为人工审批上百条命令必然疲劳懈怠。随着模型变强，界面反而在变简，最终形态就是“给朋友发短信”，因为所有人都会发短信。
第二部分：模型层面的六个关键变化
1.长程指令遵循：配合压缩技术，模型可稳定运行数小时到数天不迷失；
2.子智能体（subagent）：主模型可把任务交给“帮手”，帮手拥有全新的工作记忆，干完重活只汇报结果，等效于无限上下文；
3.工具调用成熟 + 强力工具：几年前模型连工具都调不好、幻觉频出（他调侃“现在没人再谈幻觉，因为基本解决了”），现在可以直接给一台完整的 Linux 电脑，靠 computer use（像人一样点屏幕）操作一切，任何没有 API 或 MCP 的网站/SaaS 都可以被无头使用；
4.文件即存储：信息存文件，模型靠 shell 命令（grep/搜索）随时查取；
5.技能（skills）：把“如何做好某件事”编码成 markdown 文件，且已有整个技能生态；GrokBot 有插件系统（工具=插件=技能+服务器）和 routines（定时任务，即 cron job）；
6.由此得出一句纲领性总结："Everything is computer"（一切皆计算机）。
第三部分：常驻 agent 的内部架构
休眠-唤醒模型。服务器和云电脑平时都休眠，由消息或事件触发启动，按需拉起 VM，用完即休眠；因为“让全世界每个人的 agent 电脑永远在线，既昂贵、世界上也没有那么多电脑”。状态（会话日志、记忆、例程）持久化到数据库。
唤醒源与“是否打扰用户”的路由判断。除直接提问外，Slack、电话、会议都能唤醒；SpaceX 内部已经常见员工让 bot 代为参会、记笔记并带回纪要。所有触发经过一个路由器去重、合入会话，再用一套启发式规则判断这件事值不值得打扰你；同事每取得一点进展就来汇报会令人崩溃，agent 同理。
云电脑是 Firecracker 微虚机：可快照、可关机、可恢复；用户可以连进去实时观看甚至接管；命令跑在隔离环境而非你的笔记本上；支持虚拟桌面，五六个 bot 各有自己的浏览器互不干扰。
薄客户端、厚服务器。关键架构决策：客户端与服务器之间只有一个工具，"send to user"。所有重工具（shell、文件、云 agent、录屏）都在服务端。好处是任何客户端形态（手机 App、桌面、邮件、Slack）都只需实现这一个接口，而客户端收到响应后可以自行渲染富交互，登录表单、1Password 接入、Stripe/XMoney 支付、不可逆操作（发邮件）前的草稿审批、甚至只用 emoji 回应。
消息优先级：你的直接消息会打断当前 agent 循环并最优先处理；群聊和后台任务排队；短时间内到达的三四条消息自动合并为一个 turn。
任务队列 vs 持久化工作流（durable workflow）：普通队列崩溃后要重放第 1、2、3 步，而持久化工作流失败重试时直接从第 3 步续跑。他们用开源的 Temporal 解决这个问题，不重复造轮子。
升级阶梯（escalation ladder），工程哲学上很漂亮的一条：总是先试最便宜/最可靠的选项：会话历史 → 插件/MCP/API（如 Plaid 查银行数据）→ 网页搜索 → 打开浏览器操作 → 动用整台 Linux 桌面跑脚本 → 全部失败才去找用户。电脑端的信息获取也有同样的阶梯：截图 → HTML → 无障碍树（accessibility tree，大幅省 token） → 像素级点击（对付弹窗）→ 退回给用户（验证码、双重认证）。
第四部分：安全模型
•每条 shell 命令执行前都经模型审查（auto review）；
•不可信输入隔离：收件箱里的钓鱼邮件、webhook 数据绝不能当作用户指令直接进入模型，这是提示注入（prompt injection）防护的核心，他坦言“业界还有很多工作要做”；
•不可逆操作必须用户先审批；
•密码等凭证通过产品层工作流保持在模型会话之外。
第五部分：上下文工程（Context Engineering）
他直接说：上下文工程就是 harness 工程，二者是一回事。核心洞察与技巧：
1.Prompt caching 是经济性的命脉。理想情况下大部分 token 都应是缓存命中（每轮对话重发全部历史，只有最新消息是增量）。为此要保持工具定义和系统提示在调用间静态不变；把 prompt 分段固定顺序、近乎做哈希，A/B 测试插入新段落不能破坏其他所有人的缓存；缓存未命中（cache miss）应当被视为 bug。他还提到今年 1 月 OpenClaw 在订阅套餐里爆火时，这种 agent 常驻运行的新用法造成大量缓存未命中，各家被迫紧急优化。一个巧思：用户打开聊天框开始打字时，服务器就提前准备 prompt 预热缓存，像网页 hover 链接时预取下一页。
2.压缩（compaction）时机学：所有压缩都是有损的（“这个问题够写好几个博士论文”）。他们的实操技巧：对话超过 10 万 token、用户离开后，要在缓存还温热的时间窗（10–60 分钟）内立刻完成压缩，这样用户回来时从便宜的摘要继续，成本低得多。
3.记忆分层（对大脑工作方式的类比很精彩）：
◦核心事实：每条消息必须携带（如“该用户永远用小写”，他顺带开了个 Sam Altman 的玩笑）；对事实做“垃圾回收”，今天相关的留下，足球比赛那种以后再回忆；
◦带日期的日志：过往会话历史的存档；
◦便签（scratchpad）：当下正在处理的小事，设计上就是短暂存在；
◦其余一切靠文件：模型随时 grep 查询。“这就是文件的魔法。”
第六部分：未来走向
训练飞轮：预训练 → SFT（教会模型在这个特定 harness 里工作、认识工具）→ RL（指令遵循、从上百个技能里选对技能、在浏览器里点对位置）。内环是每天“发现 bug → 转成 eval → 修 harness/提示词 → 验证 → 上线”；外环是每月/每季度新模型从所有失败中学习、爬 eval 曲线。新模型带来的能力跳变又会催生新产品用法，比如群聊里的多 bot 协作是全新涌现的行为，必须主动训练（他点名了 Moltbook 和 Hugging Face 事件作为反面教材）。
"Delete the product"（删掉产品），他从 Cursor 带到 SpaceX 的原则：默认今天的模型是其史上最差的版本，六个月后你可能要重写整个 UI。正确策略是为下一代模型而建：建得越少越好，只留一个极简界面让模型思考和行动。
六到十二个月的预测：agent 工作时长从数小时/天延长到数周/数月；记忆召回算法持续进化（图、文件还是别的形态未定）；给 agent 配齐人类新员工入职时的所有工具；语音对语音交互；技能在岗学习并沉淀为文件；企业学会把自家的定制流程写成 agent 可读的文档。
最锋利的行业判断（引自 OpenRouter 的 Alex）：有人说“现在所有 AI 应用长得都一样，侧边栏+对话框”，他的回应是“2005 年大家也长得一样：服务器+数据库+CRUD”。Agent 能力就是新一代产品的默认底座：每个产品要么集成 agent，要么沦为他者 agent 调用的无头数据源。而 durable workflow、沙箱、云电脑、记忆、技能、语音、支付、身份、evals、可观测性，每一个盒子都是几十亿美元的 VC 赛道、二十家创业公司在抢，它们合起来构成下一代公司的“新原语”。
给学生的三条建议
1.系统设计与架构比以往任何时候都重要，且决策会复利累积（他仍坚持看代码，“有些人已经不看了”）；
2.动手自己搭一个，GitHub 上有开源的 GrokBot 复刻版；
3.不做 ML 也该理解 LLM 的基本原理，就像做 Web 应用要懂数据库，因为产品层和 harness 层的无数决策正被模型特性反向塑造。
整体感受
这场讲座的价值在于罕见的完整性：从模型能力变化，到服务器/VM 双层休眠架构、单工具薄客户端设计、Temporal 持久化工作流、缓存经济学的分段哈希与预热技巧、分层记忆与压缩时机，再到训练飞轮，一个生产级常驻 agent 的全栈决策链条被完整摊开，且处处标注了真实的工程权衡（为什么只有一个工具、为什么压缩要趁缓存温热、为什么 auto review 反而更安全）。
它同时清晰标记了行业的未解难题：如何评估一个跑一个月的 agent（模型每月都在发新版）、提示注入防御、以及“主动 vs 打扰”的分寸拿捏（“我注意到你昨天缺课了，笔记帮你记好了”，是贴心还是越界？）。这些开放问题，正是下一代从业者 的机会所在。