美团 SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化

美团技术团队公开了面向搜索推荐场景 SLM 的推理引擎，针对 Prefill-Only 和固定 Beam Search 这类有界生成负载，用静态 DAG 组织完整业务请求，并结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。