广义视觉语言模型：四类视觉与语言融合方法综述

Lilian Weng 在 Lil'Log 综述将视觉语言模型（VLM）归为四类：把图像转为可与 token 嵌入联合训练的嵌入向量、学习可作为冻结预训练语言模型前缀的图像嵌入、用专门设计的 cross-attention 机制把视觉信息融入语言模型各层，以及不做任何训练直接组合视觉与语言模型。