跳到正文
原文
NVIDIA AI(@NVIDIAAI)· NVIDIA AI (@NVIDIAAI)·· 4 小时前AI 评估 · 23/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

NVIDIA Dynamo 如何用可扩展 worker 在 Kubernetes 上扩缩模型端点

Already running a model endpoint? What does it take to scale it on Kubernetes? In five minutes, we ...

AI 导读

NVIDIA Dynamo 演示如何在 Kubernetes 上扩展已运行的模型端点,通过可扩展 worker 和 OpenAI 兼容端点完成部署,全程约五分钟。

来源:NVIDIA AI(@NVIDIAAI) · x.com