SemiAnalysis· Tanj Bennett·· 19 天前AI 评估 · 27/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
MoE 推理的计算与数据搬运：Prefill、Midfill、Decode 四阶段解析
Computation and Data Movement for Inference
AI 导读
SemiAnalysis 解析 MoE 推理的计算与数据搬运，将模型服务拆为 Prefill、Midfill、Decode attention、Decode experts 四种运行模式，各自对算力、内存和网络的需求不同。
来源：SemiAnalysis · newsletter.semianalysis.com