Lilian Weng 发布关于 Scaling Laws 的长文

Lilian Weng 发布了一篇拖延 3 年多的 Scaling Laws 长文，探讨如何在投入大规模训练前推理数据与模型规模之间的最优算力分配。文章涵盖 Scaling Laws 的预测内容、算力最优分配的工作机制、Kaplan et al. 与 Chinchilla 结论分歧的原因，以及数据上限与拟合细节如何让外推变得困难。