Eugene Yan·· 2023-10-09AI 评估 · 38/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
Eugene Yan 谈 LLM 系统构建模块:评估、RAG、Guardrails 与反馈收集
AI Engineer 2023 Keynote - Building Blocks for LLM Systems
AI 导读
Eugene Yan 在首届 AI Engineer Summit 上提出构建 LLM 系统与产品的四大模式:评估、检索增强生成(RAG)、Guardrails 与反馈收集。他认为评估是基础,可用于指导提示工程、检索增强和微调;针对特定任务手工构建约 40 条评测集即可起步,并需警惕 MMLU 等学术基准与自身任务不匹配。
来源:Eugene Yan · eugeneyan.com