# Industry lessons on training agents: environments, evals, and rewards

> Original title: 工业界怎么训练 Agent：环境、评测与奖励比模型本身更难

- Source: meng shao
- Published: 2026-10-28T01:09:33.000Z
- Bad Influence: https://badinfluence.news/items/aig3yzz5qrxlp4ws35s90tq17
- Original: https://x.com/shao__meng/status/2115249578882826742

## Summary

Gobind of Microsoft says enterprise agents need end-to-end system testing, with tools, data, and harnesses checked together rather than the model alone. Victor of Mercor argues that training environments provide rewards while evaluation environments provide measurement, and that agents should be evaluated as model plus harness plus operations. Tao Lin of RadixArk reports that Miles ran a large MoE on Terminal Bench 2 with 64 B300 GPUs, rising from about 0.44 to 0.56 reward in around 100 steps, while agents sometimes cheated by finding reference answers.

## Post

工业界怎么训练 Agent：环境、评测与奖励比模型本身更难

HuggingFace 官方发布的四场分享 + 圆桌 + 观众问答，是 HuggingFace 免费课 Training Agents（轨迹 SFT → 蒸馏 → GRPO → 搭 RL 环境）的线下延续，重点讲工业侧的实现。

PPT 合集：
https://huggingface.co/buckets/burtenshaw/training-agents-irl
系列课程：
https://huggingface.co/blog/huggingface/train-agents
Youtube 视频：
https://www.youtube.com/watch?v=CKFUx7COIwQ

Gobind（Microsoft / GitHub & Foundry）-- 企业 RL
传统大企业（工业、制造、能源）买的是业务指标：延迟、准确、以及后训练的风险可控；关心整条链路（工具、数据、网络、harness、墙钟），不是某一个模型。真实 Agent 常挂几十到上百个工具，很多问题要当分布式系统来解。做法上：先快速定制现成 harness，用生产轨迹搭仿真，再故意扰动（过期数据、超时），配上功能正确与安全类校验器。后训练是 SFT / 蒸馏 / DPO / RL 混用；倾向模块化决策模型，而不是凡事一台前沿大模型。展望包括：以后更多手搓奖励与环境；GitHub 上会出现可发现的「gym」资源；物理 AI 与对齐、监管会跟上。

Victor（Mercor，前 Sierra）-- 环境与基准的计量学
核心区分：训练环境给的是奖励（好不好学、难不难作弊），评测环境给的是测量（稳不稳、能不能预测上线表现）。「像不像真实世界」问法太粗，要问相对什么像，风洞不必长得像天空，但要保住真正影响结果的关系。评的应是 Agent = 模型 + harness + 运维，不能只报裸模型分数。可靠度封顶了效度；除了平均分，还要过关项、红队、可预测部署。基准要当长期产品维护，不要当一次性题库。

Tao Lin（RadixArk / Miles，SGLang）-- 异步 Agent RL
Miles 把多步环境轨迹当成训练样本；对接 OpenEnv 的 reset / step。案例：大 MoE 在 Terminal Bench 2 上，64×B300（推理与训练各半）、完全异步、每局新沙箱；约 100 步后奖励从约 0.44 到 0.56。实操踩坑并回馈上游：Agent 在沙箱里找到参考答案、改动评分逻辑假过；也有做对了却因基建/评分器不稳判错。结论：扩规模不只是吞吐，还要隔离和可靠奖励。

Xiangyi Li（BenchFlow）-- OpenEnv Arena
OpenEnv Arena 用来筛可训环境。公开里大量「环境」不可用：约 9 万 可找到的 RL 环境，层层过滤后约剩 800 个较干净；竞赛里多数提交训不动或不如基线。约 1% 的作弊题会污染后面整轮训练。扩到约 320B 级模型时，步数不够就爬不动目标榜；小模型上好用的旧学术任务，有时只教会大模型「少用工具、少花 token」。安全/赛博类任务噪声大，部分前沿模型即便授权话术也拒绝执行，开放、不乱拒的模型在这里有独特价值。

圆桌与问答
阻力常被说成：缺经过筛查的开放环境；企业「模型疲劳」、结果压力与预算被 coding Agent 占满；大模型 API 时代之后，自建所需的数据与 MLOps 肌肉萎缩。Gobind 认为 coding 之后，运维/决策类模块更有产品空间。结尾一句很实在：不能指望「改一下数据库，模型就变聪明」。

![](https://badinfluence.news/api/img-proxy?u=https%3A%2F%2Fpbs.twimg.com%2Fmedia%2FHVrgRRBbMAAU1UL.jpg&mode=thumb&exp=1793404800&sig=1bef2d7825c5ef26)

## Quoted post @SergioPaniego

> last week we closed the Training Agents series IRL at the GitHub offices in SF
> 
> 4 talks, a panel and audience Q&A. almost 2h on post-training agents with open models
> 
> > Learnings from enterprise RL (@t2govind Microsoft)
> > Environments and benchmarks in industry (@VBarres86633  Mercor)
> > How to train your agents with Miles (@nblintao RadixArk)
> > Why we built OpenEnv Arena (@xdotli BenchFlow)
> 
> full recording + slides
> 
> https://www.youtube.com/watch?v=CKFUx7COIwQ

https://x.com/SergioPaniego/status/2115103476892234214