Lilian Weng：On-policy 蒸馏让教师模型充当过程奖励模型

Lilian Weng 指出，on-policy 蒸馏把教师模型当作过程奖励模型，在 rollout 中提供稠密奖励，同时避免 SFT 式的 OOD shock。Thinking Machines 的最新文章称，在数学推理和内部聊天助手训练中，on-policy 蒸馏以更低成本超过其他方法，该训练思路兼具 RL 的纠错相关性与 SFT 的奖励密度。