跳到正文
原文
METR·· 20 小时前AI 评估 · 21/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

评估者如何调查 AI 研发自动化带来的能力加速

How an assessor could investigate evidence of acceleration from the automation of AI R&D

AI 导读

METR 提出一套评估框架,用于调查 AI 研发自动化是否导致模型能力进步显著加速。评估需分析未发布模型的能力、关键研发投入(人力、算力、数据、算法)的增长,并与研究人员公开访谈,以区分 AI 自动化与其他因素的贡献。该框架还要求评估瓶颈是否会拖慢近期增长,以及所用方法能否可靠识别更剧烈的加速。

来源:METR · metr.org