OpenAI 神秘 RL 后训练算法被指只是 STE 近似：解析 Score Centering 与 vLLM/Megatron 训推不一致问题

针对 arXiv 论文《Score Centering Stabilizes Off Policy Reinforcement Learning》被传为 OpenAI 后训练 RL 算法，有分析指出该 score centering 算法本质上是 STE（straight through estimation）的近似实现，其梯度与 STE 方案完全一致。