RMSNorm 与 LayerNorm 有何区别：用 GPT-2 small 复现实验对比

RMSNorm 由 Biao Zhang 和 Rico Sennrich 在 2019 年论文中提出，只做缩放归一化而跳过 LayerNorm 的均值归一化步骤。作者在 JAX 中黑盒复现 GPT-2 时发现，去掉 LayerNorm 后训练约 100 步即崩溃，损失升至未初始化模型水平并持续 700 余步。文章对比两者原理，并用多个 GPT-2 small 风格模型分别训练验证差异。