Modal 如何保障 2 万块 GPU 的健康运行

Modal 将其跨 AWS、GCP、Azure、OCI 的 GPU 工作池扩展到超过 2 万块并发 GPU，两年内启动超 400 万云实例。此次公开其 GPU 可靠性系统，涵盖实例类型测试选型、机器镜像与启动检查、被动与主动健康检查，以及可观测性与支持。模态还维护半自动基准测试 modal-host-bench，用于评估并规避特定实例类型的性能与可靠性问题。