Anti-distillation curbs Chinese LLM catch-up, widening the gap to 12 months

AIAn unnamed WeChat post titled "China LLM discussion notes" argues that anti-distillation measures are blocking China's main path to catch up with frontier labs. The post says distillation costs have risen 5–10 times (up to 20 times in some cases), and that training 3–5T-parameter models needs tens of thousands of B-class GPUs.

indigo

@indigox

View on X

今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记！结论和我自己的感知还比较一致，反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍（高的到 20 倍），替代办法都不如直接蒸，前沿实验室的模型普遍 5-10T，学生太小听不懂老师，700B 蒸 3-5T 效果很差，还得靠扎实的预训练；但训 3-5T 模型至少需要几万张B卡，最后竞争还是算力😆

现在靠蒸馏，差距大约是 3–4 个月；反蒸馏生效后，会拉到约 12 个月；如果美国头部几家明年都是 RSI，差距还会再拉到 18–24 个月。到时数据配比、算力分配、开几条线都是「炼丹」，50 个研究员只能开 50 条线，RSI 之后训练线数只由算力决定 ...

Source details

indigo · x.comPublished Nov 4, 11:17 PM ET

Original title: 今天看到公众号上的一篇文章「中国 LLM 讨论纪要」无记名的讨论笔记！结论和我自己的感知还比较一致，反蒸馏正在把国产的主要追赶路径堵死。蒸馏成本短期涨了 5–10 倍（高的到 20 倍），替代办法都不如直接蒸，前沿实验室的模型普遍 5-10T，学生太小听不懂老师，700B ...

Anti-distillation curbs Chinese LLM catch-up, widening the gap to 12 months

Topics