Spiral：用 RL 让 LLM 学会并行采样与聚合推理

斯坦福 AI Lab 提出 Spiral，一个用强化学习让模型端到端掌握串行、并行与聚合三种推理算力原语的框架。它用集合 RL 训练模型生成对聚合器集体有用的回答，再用标准 RL 让它把多个回答聚合成更优答案。目前仅优化串行算力的训练方式与部署时的多轴扩展存在根本错配，Spiral 仅凭最终输出奖励即可学习协调三种推理方式。