MongoDB 旗下 Voyage AI 用基于 token 计数的批处理让查询嵌入推理提速

Voyage AI by MongoDB 通过基于 token 计数的批处理策略，让查询嵌入推理用少 3 倍的 GPU 仍将 GPU 推理延迟降低 50%。该方案依托 vLLM 和 SGLang 支持的 padding removal，将短查询序列拼接成变长批次处理，替代按 B×S 补 padding 的传统做法，避免 padding token 白白消耗算力与显存带宽。