Modal 推出无服务器 Servers，p50 延迟从 39ms 降至 6ms

Modal 发布面向 HTTP、WebSocket 和 gRPC 流量的 Servers，通过区域化自动扩缩容的 HTTP 服务器副本池和反向代理路由，将 p50 延迟从 39ms 降至 6ms。该方案走轻量低延迟路径，副本不可用时客户端会收到 503，排队与降载交由容器应用处理，适合 LLM 推理等毫秒级场景。