核心模型与趋势·· 53 分钟前精选AI 评估 · 80/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
DeepInfer 实测：4 张 B200 如何支撑 1000 并发
DeepInfer 实测：如何用 4 张 B200 提供 1000 并发
AI 导读
上海云轴 CTO 王为实测 DeepSeek 开源的推理框架 DeepInfer，用 4 张 B200、不依赖 RDMA 网卡，在每条请求 128k 上下文、1,024 并发下总输出约 6.2 万 token/s，每用户约 61 token/s。限制到 256 并发时每用户约 110 token/s。相比官方 EP8 方案，单卡吞吐少约 25%，换来更低的部署门槛。
推荐理由
作者实测把 DeepSeek 推理框架的部署门槛从 8 卡集群降到 4 张 B200，并给出与官方数据的逐项对比。
来源：核心模型与趋势 · mp.weixin.qq.com