METR·· 2026-03-10AI 评估 · 60/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
METR：大量通过 SWE-bench 的 PR 不会被合入主分支
Many SWE-bench-Passing PRs Would Not Be Merged into Main
AI 导读
METR 让 3 个 SWE-bench Verified 仓库的 4 位维护者复核 296 个 AI 生成的 PR，发现在用 golden baseline 归一化后，维护者合并决定比自动评测器平均低约 24.2 个百分点。研究还指出，这一差距主要来自代码质量、破坏其他代码和核心功能失败等原因，作者强调这不代表模型存在根本能力上限，而是提示不应把基准分数直接等同于现实可用性。
来源：METR · metr.org