后训练文章系列第三篇,关于 LoRA 和 QLoRA
三个重要的基本概念:
rank 秩
low-rank approximation 低秩近似
quantization 量化
它们可以用同一个概念串起来,即矩阵中的 pattern模式。
后训练文章系列第三篇,关于 LoRA 和 QLoRA
三个重要的基本概念:
rank 秩
low-rank approximation 低秩近似
quantization 量化
它们可以用同一个概念串起来,即矩阵中的 pattern模式。
https://x.com/i/article/2113912265061593088View quoted post on X