Lilian Weng — Lil’Log·· 2019-01-31AI 评估 · 52/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
Lilian Weng 综述广义语言模型：从 CoVe、ELMo 到 GPT-3 与 ELECTRA
Generalized Language Models
AI 导读
Lilian Weng 在 Lil'Log 发布《Generalized Language Models》综述，按时间顺序梳理了从 CoVe、ELMo、CVT、ULMFiT 到 GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART、ELECTRA 等模型的上下文词表征与预训练方法。
来源：Lilian Weng — Lil’Log · lilianweng.github.io