国际大厂·· 3 小时前精选AI 评估 · 85/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
DeepSeek 开源大规模推理框架 DeepInfer，单集群日吞吐 155 万亿 Token
刚刚，DeepSeek开源最新推理框架：单集群日吞吐155万亿Token，KVCache可保存7天
AI 导读
10 月 20 日，DeepSeek 正式开源大规模云服务推理框架 DeepInfer，并已用于 DeepSeek V4.1 Flash 的线上推理服务，单集群日吞吐达 155 万亿 Token。
推荐理由
原文披露了 DeepInfer 在 PD 分离、KVCache 分层与推测解码上的具体设计取舍，可供做大规模推理部署的团队参考。
来源：国际大厂 · mp.weixin.qq.com