Thinking Machines — Connectionism·· 2025-09-10AI 评估 · 56/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
Thinking Machines 详解 LLM 推理不确定性成因与确定性实现
Defeating Nondeterminism in LLM Inference
AI 导读
Thinking Machines 发布文章解释 LLM 推理不确定性的真正来源并非浮点并发累加,而是 kernel 缺乏 batch invariance,负载变化导致 batch size 变化进而改变归约顺序。
来源:Thinking Machines — Connectionism · thinkingmachines.ai