OpenAI 神秘 RL 后训练算法被指只是 STE 近似:解析 Score Centering 与 vLLM/Megatron 训推不一致问题
针对 arXiv 论文《Score Centering Stabilizes Off Policy Reinforcement Learning》被传为 OpenAI 后训练 RL 算法,有分析指出该 score centering 算法本质上是 STE(straight through estimation)的近似实现,其梯度与 STE 方案完全一致。