淘宝AI购物助手如何落地日级全量LLM-as-a-Judge在线评测

淘宝AI购物助手在日均百万条会话的购后场景落地了日级全量LLM-as-a-Judge评测，用"路由准确率×回复正确率"定义执行成功率。方案包含四层数据清洗、按域拆分的分布式推理workflow和CNT六层漏斗Rubric框架，单域单分区量级从数千到数万条、推理耗时2-3h。团队发现评测可信度瓶颈不在Judge模型，而在数据质量与评测标准的持续校准。