Modal 如何让 FlashAttention-4 更适合 LLM 推理

Modal 对 FlashAttention-4 内核做了一系列改动，使其更适合大语言模型推理，尤其是 decode 密集的负载。团队将优化归为两类：调整并行策略（如把 split KV 技术移植到 FA4、从 query 并行转向 key/value 并行），以及支持不规则全局内存访问（用 cp.async 取代基于 TMA 的 cp.async.bulk）。