AI寒武纪·· 14 小时前精选AI 评估 · 83/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
DeepSeek 技术报告披露单集群日跑 155 万亿 Token 的推理架构
刚刚,DeepSeek自曝单集群日跑155万亿Token:白菜价背后,利润率竟高达80%
AI 导读
DeepSeek 在知乎发布技术报告,称基于其开源的大规模推理框架,DeepSeek V4.1 Flash 单集群服务吞吐达 155 万亿 Tokens/天,每卡每小时收入 38 美金(按谷价)。报告拆解了 Prefill 与 Decode 分离部署、KVCache 分层存储与四层负载均衡等设计,并称在低 API 售价下服务毛利率约 80%。
推荐理由
读者可借此了解 DeepSeek 如何用 Prefill/Decode 分离、KVCache 分层与负载均衡把单集群吞吐推到 155 万亿 Token/天。
来源:AI寒武纪 · mp.weixin.qq.com