word2vec 究竟学到了什么：伯克利证明其等价于对特定矩阵做 PCA

伯克利 AI 研究团队给出 word2vec 的定量学习理论，证明在实际可实现的训练条件下，其学习问题可归约为无权重最小二乘矩阵分解，最终学到的嵌入等价于对矩阵 M* 做 PCA，该矩阵仅由词共现统计和超参数决定。梯度流动力学有闭式解：从小初始化出发，word2vec 按离散步骤逐个学出正交线性子空间，每步提升嵌入矩阵的秩并阶梯式降低损失，各特征即 M* 的顶层特征向量。