NVIDIA 如何用 AIPerf 对大规模 LLM 推理做基准测试

NVIDIA 发布 AIPerf，用于大规模 LLM 推理的基准测试。文章指出用 curl 命令、手写 asyncio 脚本或临时压测工具测推理性能，都会受单进程性能上限和 Python GIL 并发限制影响，导致测得的数字不可靠。