Karpathy 从零用代码手写 GPT 教程
Andrej Karpathy 发布视频教程，参照《Attention is All You Need》论文和 OpenAI 的 GPT-2 / GPT-3，从零用代码构建一个 GPT，并讲解其与 ChatGPT 的联系。视频附带 Google Colab 和 GitHub 仓库，还给出把 Head 与 MultiHeadAttention 合并为并行多头、以及在自己数据集上训练 GPT 的练习。
为什么值得看
作者从零手写 GPT 并对照原始论文与 GPT-2/3，读者可据此理解 Transformer 的实现路径。