超越标准 LLM：线性注意力混合架构等替代方案解析

当前最强的开源权重 LLM，从 DeepSeek R1 到 MiniMax-M2，仍基于自回归 decoder 式 Transformer 与多头注意力机制，但文本扩散模型、线性注意力混合架构等替代方案近年来不断涌现。