Attention 机制详解：从 Seq2Seq 瓶颈到神经机器翻译

针对 seq2seq 模型固定长度上下文向量无法记住长句的缺陷，注意力机制通过在每个输出位置对全部编码器隐状态加权求和来生成上下文向量，权重由源词与目标词的对齐分数决定。该机制最早由 Bahdanau 等人于 2015 年提出，用于神经机器翻译，编码器采用双向 RNN 拼接前后向隐状态。