热点事件持续更新
美团开源SLM高并发推理引擎优化实践
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026年10月15日，美团技术团队公开了面向搜索推荐场景SLM的生成式高并发推理引擎。该引擎针对Prefill-Only和固定Beam Search这类有界生成负载，采用静态DAG组织完整业务请求，并结合AOTInductor编译、Packed Prefill、请求内K/V共享以及选择性FP8压缩，以调度与计算开销的优化应对延迟约束下的有效吞吐问题。目前公开内容为技术方案介绍，尚未披露具体性能数据与开源落地细节。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 16:00
美团公开面向搜索推荐SLM的高并发推理引擎，采用静态DAG与FP8压缩优化吞吐。报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- 美团技术团队美团 SLM 生成式高并发推理引擎：延迟约束下的有效吞吐优化
美团技术团队公开了面向搜索推荐场景 SLM 的推理引擎，针对 Prefill-Only 和固定 Beam Search 这类有界生成负载，用静态 DAG 组织完整业务请求，并结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享和选择性 FP8 压缩调度与计算开销。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。