量子位·· 10 小时前AI 评估 · 55/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
是石科技发布 TokenFleet 分布式调度框架,首 Token 延迟降低 32.4%
首Token延迟降低32.4%!是石科技放出集群调度大招,国产推理再提效
AI 导读
是石科技在 2026 CCF 全国高性能计算学术大会期间发布 TokenFleet 分布式调度框架,聚焦请求路由、跨机房容量协同与混合负载治理。其 TokenPilot 在 GLM5.3 调优数据中使 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%;SLOMax 的收益测算示例显示达标输出吞吐提高约 29.4%,达标比例从约 67% 升至约 86%。
来源:量子位 · mp.weixin.qq.com