得物技术·· 5 小时前AI 评估 · 71/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
得物技术分享昇腾 910C 大模型推理优化:镜像与参数调优提速 40%
国产算力·昇腾 910C 大模型推理优化(上):镜像更新与参数调优,提速 40%|得物技术
AI 导读
得物技术团队在昇腾 910C-560t 上对 Qwen3.5-35B-A3B 做在线推理优化,通过升级 vllm-ascend 至 0.23.0、调整 HCCL 与内存分配等参数,c=1 的 TPOT 从 14.22ms 降至 7.8ms,下降 45.1%。
来源:得物技术 · mp.weixin.qq.com