跳到正文
原文
Modal Blog·· 17 天前AI 评估 · 50/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

Modal 发布 Quail 推理引擎,把 AI-SQL 查询规划与推理引擎联合优化

Quail: Speeding up AI-SQL by jointly optimizing query planner and inference engine

AI 导读

Modal 发布面向 AI-SQL 的推理引擎 Quail,将 SQL 查询规划与推理执行联合优化,在单条多表连接查询上达到每 H100 GPU 每分钟处理超 10 亿 token,比同硬件的 vLLM 基线快 10 倍以上。

来源:Modal Blog · modal.com