Transformer 家族综述：从原始架构到各类改进模型

Transformer 依赖缩放点积注意力和多头自注意力机制，原始版本采用编码器-解码器架构，编码器由 6 个相同模块堆叠，每模块含多头自注意力层和逐位置全连接前馈网络，各子模块带残差连接和层归一化。此后简化版 Transformer 在语言建模任务上表现出色，如仅编码器的 BERT 和仅解码器的 GPT。