9集、230分钟 @jbhuang0604 系列视频「AI Training and Inference」把基座模型训练和推理基础讲清楚了，覆盖整个训推架构：单卡显存 → 千卡并行 → 便宜微调 → 推理加速 → 小模型蒸馏 → 推理 RL → 优化器（AdamW→Muon）
这个训推系列的串联逻辑
先解决「模型塞不进一张 GPU」，再用五维并行铺到万卡级；然后 LoRA 系把适配成本压下来；推理侧用投机解码在不改输出分布的前提下加速；能力压缩走 on-policy 蒸馏；推理能力用从 PPO 到 GRPO 的 RL 线；最后回到优化器基线与 Muon。服务侧（KV cache、调度等）放在最后第 9 集。
https://www.youtube.com/playlist?list=PLXrQ2OzD3YKA
1. ZeRO & FSDP（约 23 分钟）
浮点与混合精度如何吃显存；数据并行会复制优化器状态与梯度。ZeRO-1/2 切优化器与梯度，ZeRO-3 再切权重；FSDP 是同一套分片日程在 PyTorch 里按模块落地。
2. 五维并行（约 40 分钟）
纯数据并行不够时，沿数据 / 张量 / 序列·上下文 / 流水线 / 专家切开。张量并行的行列切与 all-reduce；上下文并行与 ring attention；流水线从 GPipe、1F1B 到 zero-bubble / DualPipe；MoE 的 all-to-all；并以 Llama 3 的 16384 GPU 布局作示例，给出排并行的「小抄」三步。
3. LoRA 与变体（约 21 分钟）
冻住 W0W_0W0，学低秩 ΔW=BA\Delta W=BAΔW=BA；初始化常用随机 A、零 B。LoRA+ 给 A/B 不同学习率；QLoRA 用 NF4 等把骨干量化、适配器仍高精度（字幕称可在单卡 48GB 上微调 70B 量级，为讲者表述）；VeRA 共享冻结随机基、只训缩放；DoRA 拆幅度与方向。
4. 投机解码（约 25 分钟）
小草稿模型往前猜，大模型并行验证；拒绝采样保证与目标模型同分布。再展开 draft tree、Medusa、MTP、EAGLE 系列与 DFlash / DFlash 2。
5. On-policy 蒸馏（约 31 分钟）
软标签与「暗知识」→ 序列级蒸馏；曝光偏差；on-policy RL 奖励稀疏。On-policy distillation：学生用自己的轨迹，仍拿教师的稠密指导；并强调 KL 方向；应用提到推理、个性化、数据复用与自蒸馏。
6. GRPO（约 23 分钟）
从 REINFORCE、baseline/价值、GAE、Actor-Critic、TRPO/PPO（尤其 clip）推到 GRPO：同一题采一组回答，组内归一化奖励当优势，整段共用优势、可不另训 value；相对参考策略加 KL。Dr. GRPO 去掉长度归一与标准差除法，减轻「对了就变短、难了优势被放大」等偏差。视频将其与 DeepSeek-R1 类推理训练挂钩。
7. AdamW（约 7 分钟）
SGD → 动量 → RMSProp → Adam；Adam 把衰减和自适应步长缠在一起会伤泛化；AdamW 解耦 weight decay，成为长期默认。
8. Muon / MuonClip（约 18 分钟）
线性层动量矩阵近低秩，稀有方向更新弱；Muon 用 Newton–Schulz 等把动量矩阵正交化（讲者称相对 AdamW 算力效率约高一倍，为片中说法）。大规模时配合衰减与按矩阵尺寸调学习率；注意力 logit 爆炸用 QK-clip，MLA 场景延伸为 MuonClip。
9. LLM Serving（约 42 分钟）
会员内容，如果前面 8 集看完觉得有需要，朋友们自行学习。