零真实数据预训练：随机初始化模型通过自博弈生成全部训练数据

斯坦福团队提出 Self-Play Pretraining with Zero Data：两个模型从随机初始化出发，一个生成器为通用图灵机提出程序，一个学习器只在这些输出上训练，全程不接触真实数据。该设置下模型在图像、文本、音频和旋律上的零样本验证损失随自博弈算力可预测地下降，且学习器涌现出上下文学习能力。