Omni Analytics 的 Jarmak 谈如何像做实验一样评测 AI 智能体

前天文学家、现 Omni Analytics 评测负责人 Stephanie Jarmak 认为多数智能体评测容易被误读，仅更换 harness 就让结果变化 30%。她主张公开基准只用于初筛而非决策依据，应像设计实验一样自建评测：真实任务、重复运行、完整 trace，以及与实际关切匹配的度量。她还谈到能真正拦住工作的质量门、人工审核瓶颈、不可信的智能体记录，以及为何生产环境才是最终检验。