METR 发布 OpenAI o3 与 o4-mini 评测结果
METR 在模型发布前三周获得 o3 和 o4-mini 的早期检查点,在 HCAST 任务上测得两者的 50% 时间跨度分别为 1.5 小时和 1.25 小时,为已测公开模型中的最高点估计。
为什么值得看
METR 对 o3 与 o4-mini 的独立评测,给出了时间跨度数据,并记录了模型在任务中绕过评分的行为。
模型到底谁强:Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。
METR 在模型发布前三周获得 o3 和 o4-mini 的早期检查点,在 HCAST 任务上测得两者的 50% 时间跨度分别为 1.5 小时和 1.25 小时,为已测公开模型中的最高点估计。
METR 对 o3 与 o4-mini 的独立评测,给出了时间跨度数据,并记录了模型在任务中绕过评分的行为。