Fireworks AI(@FireworksAI_HQ)· Fireworks (@FireworksAI_HQ)·· 9 天前AI 评估 · 20/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
Fireworks AI：rollout 占 RL 大部分算力，拆分引擎会导致数值不一致
Rollouts drive most of RL's compute cost. But splitting rollout and training across engines risks nu...
AI 导读
Fireworks AI 指出，rollout 贡献了 RL 训练的大部分算力开销，但把 rollout 与训练拆分到不同引擎会带来数值不一致，在 MoE 模型中甚至可能把 token 路由到不同的专家。Fireworks 表示其两套引擎为协同构建，因此训练既快又保持一致。
来源：Fireworks AI(@FireworksAI_HQ) · x.com