Skip to content
View original post on X: meng shao
Published
47/100

Cursor cloud agents rebuild Slack-style UI motion as code from the real app

AIMatt Pocock shows a Cursor cloud agent, controlling a Linux desktop with Slack open, recreating Slack's UI motion as video code by checking its output against the real app. The agent iterates in an inner loop of build, compare, and fix, while humans supply references, preferences, and access in an outer loop.
meng shaoVerified on X
@shao__meng
View on X

用 Cursor 云端电脑「看着真正的 Slack」把界面做成代码视频

来自 @mattyp 的实战演示,整体覆盖:Why → Cursor agents & computer use → Video as code → Slack → 聊天·Agent·电脑 → 内环/外环 → The ladder → Skills → Feedback loops → Recap。

演示看起来是「Agent 复刻 Slack 动效」,真正要讲的是一套可被复制参考的创造方法:给 Agent 一台可操控的电脑,把参考界面打开,让它用代码做视频资产,并在「做 → 对照真物检查 → 修」的内环里自己迭代;人只在外环给参考、偏好与权限,再把一次成功收成 Skill、推广成抽象,最后外环自动化。

演示具体在干什么
Matt 在 Cursor 云 Agent 的 Linux 远程桌面上开 Chrome,跑着 Slack;同时用 Agent 做 motion video(把 UI 动效当代码产物)。强调:没有反编译 Slack,只是告诉 Agent 要什么、给视频参考,并在 Agent 电脑上打开真 Slack,让它对照提取视觉与 easing / motion 模式。画面里能看到复刻出的频道、线程(如 # ci-oncall 里 Agent 查 payments-svc 测试)、以及 # launch-copy 里 @ Marketer 起草 Team Bots 文案等资产;左侧 Agent 还在合并 PR、导出 asset pack、把「刚做完的事」收成 bootstrap motion skill。他说这类事一年前几乎做不到。

Video as code
视频资产用代码生成时,「对不对」变成:能不能渲染 / 编译、看起来是否符合预期。以前视觉验收 Agent 很弱;现在可以做进反馈环,渲染后由模型对照真实参考检查,再改代码。

形状:一个聊天 + 一个 Agent + 一台电脑
多数演示同构:你在聊天里指挥;Agent 有完整桌面控制(截图、点击),云上或本地都行。他偏爱云端(可长时间跑、不怕笔记本休眠),也在试 Mac mini。

内环与外环
· 内环:Agent 做事 → 对照真实物检查 → 有明确失败/评估标准就修 → 继续,直到自认完成再交给人验收。
· 外环:人提供 inputs(references / preferences / access)并 judge 产出(artifacts / screenshots / analytics)。Slack 例:要建 sandbox、给凭证、在电脑上登录,他半开玩笑说可能踩 ToS,「别告诉 Slack HQ」。目标是尽量把可自动化的部分塞进内环。

The ladder(阶梯)
口播路径:先 做一次(自己 vibe coding 聊出来)→ 收成 Skill → 泛化(不止 Slack,也可对 X 等产品出可视化 / B-roll)→ 最后在外环 自动化,像软件一样往内环倒上下文、收高质量输出。画面阶梯标注为 Do(workflow)→ Codify(skill)→ Generalize(abstraction)。

失败怎么办、Skills 为什么重要
用「台灯」类比:已插电、已开开关、灯泡也查过,问题就在插座到灯之间,工程师要找出断点。Agent 失败时同样:问为什么、调试,再把原因 编进 Skill,让后续 Agent 继承,消掉这一类问题。他也把反馈环类比到养植物、健身、学吉他;并说细心与习惯在带 Agent 时会被放大。末尾自称还在打磨这些说法。

matt palmer@mattyp
Agents rebuilt Slack as video (using code) by looking at the real thing 0:00 Why 0:25 @cursor_ai agents & computer use 1:03 Video as code 1:56 Slack 2:54 A chat, an agent, a computer 3:53 Inner loop and outer loop 5:04 The ladder 7:47 Skills 8:14 Feedback loops 10:02 Recap
View quoted post on X
Source details

meng shao · x.comPublished · added here

Original title: 用 Cursor 云端电脑「看着真正的 Slack」把界面做成代码视频