AWS Machine Learning Blog· Mona Mona·· 4 小时前AI 评估 · 51/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
AWS 团队介绍了在 Amazon SageMaker AI 上针对融合 MoE 模型实施的多项内核优化,包括通过 Swap-AB 转置提升 Hopper WGMMA 利用率、为 FP8 张量量化改用 Triton 后端路由,以及用 do_not_specialize 消除 Triton JIT 重复编译。
来源:AWS Machine Learning Blog · aws.amazon.com