现代 LLM 注意力变体视觉指南：MHA、GQA 与滑动窗口注意力

Sebastian Raschka 发布 LLM 架构画廊，收录 45 个架构并配可视化模型卡，同时推出 Redbubble 海报版。文章借此梳理现代开源权重模型中的注意力变体，从标准多头注意力（MHA）讲起，示例架构包括 GPT-2、OLMo 2 7B 和 OLMo 3 7B，并延伸到分组查询注意力、滑动窗口注意力等概念。