Carnegie Mellon's fall 11-768 AI Agents course, taught by Dan Fried and Graham Neubig, has published slides and video for lecture 12 on reinforcement learning systems.
The lecture covers RL framework design, separate training and inference optimization, and practical pitfalls in agentic RL. It highlights that RL frameworks couple two heterogeneous workloads, training and inference, rather than sharing one computation graph.
CMU 秋季最新课程 11-768: AI Agents
主讲：@dan_fried @gneubig
第 12 讲「Reinforcement Learning Systems」讲义和视频已公开
这一讲从强化学习系统的框架开始讲起、再到推理侧和训练侧的分别优化、训练-推理交互、Agentic RL 的实战踩坑经验、RL 框架设计等，完整系统了讲述了强化学习系统的理论和实战。
讲义：https://www.cmu-agents.com/slides/lecture-12-rl-systems.pdf
视频：https://www.youtube.com/watch?v=dwR6NP9nI-8
在课程中看到几个最核心的观点：
1. RL 框架的本质是两种异质负载（训练和推理）的耦合，而非一套统一计算图
2. “前缀复用”是贯穿 agentic RL 系统效率的不变量
3. Token-In-Token-Out：一个微小设计错误曾造成全行业的训练不稳定
4. 权重同步与 R3：双引擎之间的隐藏成本
5. 架构演进终点：一切皆服务 + 在线 RL
周末适合沉下心来系统性的学习基础知识 CMU 秋季最新课程 11-768: AI Agents 主讲：@dan_fried @gneubig 课程：https://www.cmu-agents.com/ 视频：https://www.youtube.com/watch?v=UwfjzyLnvMg&list=PLSN0qpDfUvTMView quoted post on X
Source: meng shao · x.comPublished · added here
