亚马逊与杜克大学研究：万分之一稀疏监督即可提升大模型推理能力

亚马逊与杜克大学研究发现，大模型后训练中每条 rollout 只保留一个 token 的梯度信号（占比约0.025%），学生模型推理能力反而显著提升。基于 Qwen3 的9组教师—学生配置及代码推理、Llama 系列、PPO-based RLVR 验证中均复现该现象，仅监督一到两个分歧最大的 token 即可匹配甚至超过全信号训练。极稀疏监督仅更新约10%网络参数，其机制仍待解释。