Modal 发布 Auto Endpoints：一条命令部署自托管 LLM 推理

Modal 推出 Auto Endpoints，一条命令即可部署兼容 OpenAI API 的生产级 LLM 推理服务，代码、指标和部署过程对用户可见可控。该服务支持 GLM 5.2 等开放模型，默认给出经调优的推理配置，并提供 TTFT、ITL、投机解码接受长度等引擎级指标及自动扩缩容。Modal 同时为超低延迟路由推出 Modal Servers，称 HTTP 请求开销可低至 5ms。