机器之心·· 1 天前AI 评估 · 49/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
港科大与华为提出 BalanceRoute：破解大模型推理数据并行负载均衡瓶颈，解码吞吐提升约 15%
卡加了，吞吐为何没跟上？大模型推理中的等待，有了新解法
AI 导读
香港科技大学周子杰团队与华为 2012 实验室理论部联合提出 BalanceRoute，通过数学建模刻画数据并行解码中的跨组同步等待，将短期负载预测转化为在线路由决策。
来源：机器之心 · mp.weixin.qq.com