产品评测的三个简单步骤

Eugene Yan 总结了构建产品评测的三步方法：先标注小数据集，再对齐 LLM 评测器，最后在每次配置变更时运行实验与评测集。标注阶段建议使用二元的通过/失败或胜/负标签，并至少准备 50-100 个失败样本；对齐阶段建议每个维度单独建评测器、按 75/25 划分开发集与测试集，并用 precision、recall 和 Cohen's Kappa 评估评测器。