Princeton：小语言模型 剪枝与从头训练的抉择

这篇文章探讨了小参数语言模型的最佳构建路径，即在给定相同资源的情况下，应当从头训练还是通过剪枝大型模型来获得。研究发现，当训练数据有限时，剪枝初始化由于继承了父模型的知识，性能显著优于随机初始化。然而，随着训练规模扩大，这种初始化优势会逐渐减弱。对于结构化剪枝（如减少层数或宽度），增加从头训练的样本量可以赶上甚至超越剪枝模型。相比之下，稀疏剪枝展现出更强的知识留存能力，即便在海量数据下，其表现依然领先于同规模的从头训练模型。总之，剪枝是节省算力的捷径，但在资源充沛且追求硬件效率时，从头训练依然具有竞争力。