跳到正文
原文
METR·· 13 天前AI 评估 · 24/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

METR 如何实现并评估面向安全评测的逐动作实时监控器

Implementing and Evaluating a Basic Per-Action Monitor for Safer Evals

AI 导读

METR 开发并部署了一个基础的实时逐动作监控器,用 LLM judge 在智能体每次动作执行前审查,超过阈值即转人工审核并暂停评测,专注识别可能造成现实危害或试图绕过监控的行为。

来源:METR · metr.org