AMD ROCm Engineering Research· Eliot Li·· 1 天前AI 评估 · 60/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
AMD 在单节点 MI300X 上用 DP8+EP8 部署 GLM-5.3-FP8
Long Context, One Node: Serving GLM-5.3-FP8 on MI300X with DP8+EP8
AI 导读
AMD 发布在单台 8 卡 MI300X 节点上以 DP8+EP8 模式部署 GLM-5.3-FP8 的完整配方,基于 ROCm 7.2.3 与 vLLM v0.28.0,服务窗口设为 202,752 tokens。
来源:AMD ROCm Engineering Research · rocm.blogs.amd.com