跳到正文
原文
大模型智能·· 6 小时前AI 评估 · 45/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

乱谈 Kernel 之 Mega 向左,PDL 向右:GLM-5.2-FP8 decode 层优化对比

乱谈 Kernel 之 Mega 向左,PDL向右

AI 导读

针对 GLM-5.2-FP8 在 decode 阶段执行完整 Indexer 的一个 Transformer layer,作者在 B300 上对比了 Megakernel 与 CUDA Graph + Multistream + PDL(CMP)两条优化路线。

来源:大模型智能 · mp.weixin.qq.com