国际大厂·· 22 小时前精选AI 评估 · 80/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
KTransformers-FineTune 提出 CPU/GPU 协同计算,MoE 微调吞吐达卸载范式 2.5–21.2 倍
别再让计算等着搬权重了!KTransformers让CPU直接参与MoE微调计算
AI 导读
清华大学 MADSys 实验室与趋境科技提出 KTransformers-FineTune(KT-FT),让 CPU 用主存中的权重直接完成 MoE 专家计算,GPU 负责注意力模块,标准 LoRA 微调吞吐达到卸载基线的 2.5–21.2 倍。
推荐理由
原文给出 CPU 直接执行 MoE 专家计算的吞吐对比与显存门槛,可据此判断低资源微调路径。
来源:国际大厂 · mp.weixin.qq.com