工业界怎么训练 Agent：环境、评测与奖励比模型本身更难
HuggingFace 官方发布的四场分享 + 圆桌 + 观众问答，是 HuggingFace 免费课 Training Agents（轨迹 SFT → 蒸馏 → GRPO → 搭 RL 环境）的线下延续，重点讲工业侧的实现。
PPT 合集：
https://huggingface.co/buckets/burtenshaw/training-agents-irl
系列课程：
https://huggingface.co/blog/huggingface/train-agents
Youtube 视频：
https://www.youtube.com/watch?v=CKFUx7COIwQ
Gobind（Microsoft / GitHub & Foundry）-- 企业 RL
传统大企业（工业、制造、能源）买的是业务指标：延迟、准确、以及后训练的风险可控；关心整条链路（工具、数据、网络、harness、墙钟），不是某一个模型。真实 Agent 常挂几十到上百个工具，很多问题要当分布式系统来解。做法上：先快速定制现成 harness，用生产轨迹搭仿真，再故意扰动（过期数据、超时），配上功能正确与安全类校验器。后训练是 SFT / 蒸馏 / DPO / RL 混用；倾向模块化决策模型，而不是凡事一台前沿大模型。展望包括：以后更多手搓奖励与环境；GitHub 上会出现可发现的「gym」资源；物理 AI 与对齐、监管会跟上。
Victor（Mercor，前 Sierra）-- 环境与基准的计量学
核心区分：训练环境给的是奖励（好不好学、难不难作弊），评测环境给的是测量（稳不稳、能不能预测上线表现）。「像不像真实世界」问法太粗，要问相对什么像，风洞不必长得像天空，但要保住真正影响结果的关系。评的应是 Agent = 模型 + harness + 运维，不能只报裸模型分数。可靠度封顶了效度；除了平均分，还要过关项、红队、可预测部署。基准要当长期产品维护，不要当一次性题库。
Tao Lin（RadixArk / Miles，SGLang）-- 异步 Agent RL
Miles 把多步环境轨迹当成训练样本；对接 OpenEnv 的 reset / step。案例：大 MoE 在 Terminal Bench 2 上，64×B300（推理与训练各半）、完全异步、每局新沙箱；约 100 步后奖励从约 0.44 到 0.56。实操踩坑并回馈上游：Agent 在沙箱里找到参考答案、改动评分逻辑假过；也有做对了却因基建/评分器不稳判错。结论：扩规模不只是吞吐，还要隔离和可靠奖励。
Xiangyi Li（BenchFlow）-- OpenEnv Arena
OpenEnv Arena 用来筛可训环境。公开里大量「环境」不可用：约 9 万 可找到的 RL 环境，层层过滤后约剩 800 个较干净；竞赛里多数提交训不动或不如基线。约 1% 的作弊题会污染后面整轮训练。扩到约 320B 级模型时，步数不够就爬不动目标榜；小模型上好用的旧学术任务，有时只教会大模型「少用工具、少花 token」。安全/赛博类任务噪声大，部分前沿模型即便授权话术也拒绝执行，开放、不乱拒的模型在这里有独特价值。
圆桌与问答
阻力常被说成：缺经过筛查的开放环境；企业「模型疲劳」、结果压力与预算被 coding Agent 占满；大模型 API 时代之后，自建所需的数据与 MLOps 肌肉萎缩。Gobind 认为 coding 之后，运维/决策类模块更有产品空间。结尾一句很实在：不能指望「改一下数据库，模型就变聪明」。