如何生成与使用合成数据做微调

合成数据由模型或模拟环境生成，可在预训练、指令微调与偏好微调中使用，比人工标注更快更便宜，质量与多样性常超过人工标注者，并规避隐私与版权问题。生成方式主要有两种：从更强模型蒸馏，或基于模型自身输出自我改进；前者优化响应质量与计算效率，后者无需外部依赖但受限于模型初始能力并可能放大偏见与错误。