机器之心·· 3 小时前AI 评估 · 64/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
阿里千问提出 TRACE:FP4 Rollout 强化学习 Rollout 最高加速 5.4 倍
FP4 W/A+FP4 KV的强化学习也能「又快又稳」:阿里千问提出TRACE,Rollout最高加速5.4倍
AI 导读
阿里千问联合俄亥俄州立大学提出 TRACE,用 Rollout 侧真实 FP4 量化结果反向指导训练侧舍入,缓解低精度 Rollout 导致的 RL 训练崩溃。
来源:机器之心 · mp.weixin.qq.com