Karpathy 汇总 litellm 供应链投毒事件：2112 个包依赖，PyPI 暴露窗口 46 分钟
Andrej Karpathy 整理 litellm 供应链投毒事件的资料清单，指出共有 2112 个包依赖 litellm，其中 1403 个为直接依赖，包括 DSPy、Open Interpreter、PraisonAI、MLflow、langchain-litellm 等。
#安全/对齐
#安全/对齐
今日 25 条Andrej Karpathy(@karpathy)AI 评估 · 67/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 67/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
METRAI 评估 · 21/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 21/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 发布 Anthropic Claude Opus 4.6 破坏风险报告审查
METR 完成对 Anthropic Claude Opus 4.6 破坏风险报告两个版本的审查，建议读者参考针对 2 月 11 日版本的那份。METR 认同该模型错位行为实质促成灾难性结果的风险"非常低但不可忽略"，但对对齐评估的敏感度存疑，认为其结果可能被评估意识削弱，并发现若干未被对齐评估捕捉的低严重度错位行为。METR 还建议深入调查评估意识与混淆性错位推理。
Jina AIAI 评估 · 60/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 60/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Jina AI 从向量中逆向出原始文本与模型来源
Jina AI 发布两项研究：用约 80 万参数的小模型仅看向量即可识别生成模型，在 68 个模型与任务组合上准确率 87%；用掩码扩散模型直接从向量还原原始文本，Token 级还原准确率 81%，在 Qwen3-Embedding-0.6B 上达 81.3%、jina-embeddings-v3 上为 76.0%。
Jan Leike(@janleike)AI 评估 · 7/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 7/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Jan Leike：不记录朋友与邻居，你也可能成为供应链风险
Jan Leike 发帖称，最好开始记录朋友和邻居的信息，否则你也可能被当成供应链风险。该帖获得 400 次点赞、15 次转发和 10 条回复，浏览量 30443 次。
Varun Mohan(@_mohansolo)AI 评估 · 21/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 21/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Anitgravity 后端遭恶意滥用，官方封禁违规用户访问
Anitgravity 后端恶意使用量大幅上升，导致正常用户的服务质量严重下降，官方已切断未按预期使用产品的用户访问。部分用户并不知晓此举违反 ToS，官方表示会为他们保留回归路径，但受限于容量，需优先保障真实用户。
METRAI 评估 · 27/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 27/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 复盘 AI-生物学 RCT：五项证据型 AI 政策教训
一项招募 153 名新手、为期 8 周的 AI-生物学随机对照试验发现，LLM 虽在单个实验步骤上显示帮助，但在三项核心湿实验任务的整体成功率上没有显著提升，这一结果出乎多数专家预料。
METRAI 评估 · 17/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 17/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 如何保护机密信息：模型代号、六档保密级别与 SOC 2 认证
METR 发文介绍其保护 AI 开发者非公开模型访问与专有信息的做法：信息按敏感度分为六档保密级别，非公开模型仅限直接参与的研究者接触，内部一律使用“playful-panda”这类动物代号，并为每次评估创建仅限相关人员访问的私有仓库分支。
Lex Fridman(@lexfridman)AI 评估 · 31/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 31/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Lex Fridman：AI 智能体的能力取决于模型智能、数据访问与行动权限，而安全将成最大瓶颈
Lex Fridman 认为 AI 智能体的能力由三部分决定：底层模型的智能、你能给它多少数据访问权、以及你给它多少代为行动的自由与权限。他指出，后两项中安全是最大问题，随着模型智能快速扩展、不再是许多用例的明显瓶颈，安全很快会成为 AI 智能体整体有效性与实用性的瓶颈。他本人正在使用 Claude Code、Codex、Cursor，并在谨慎试验 OpenClaw。
Mind the Future — Richard NgoAI 评估 · 26/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 26/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 对齐到美德：Richard Ngo 提出 AI 对齐的第四种目标
Richard Ngo 提出以"美德"（如正直、荣誉、善良、尽责）作为 AI 对齐目标，替代后果主义、义务论和可纠正性三种现有方案。他认为美德能泛化僵化的义务论规则，并让情境感知与"credit hacking"从对齐难题变为可利用的特性，从而支持发布可微调甚至开源的模型。
Geoffrey Hinton(@geoffreyhinton)AI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Hinton 推荐国际 AI 安全报告 2026：迄今最全面的 AI 风险证据评估
Geoffrey Hinton 推荐了 Yoshua Bengio 发布的 International AI Safety Report 2026，称其详尽扎实地描述了 AI 风险，是任何想撰写或讨论 AI 风险者的必读材料。Bengio 表示这份报告是迄今对 AI 能力、新兴风险与安全措施最全面的循证评估。
METRAI 评估 · 43/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 43/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 前沿 AI 安全法规：加州 SB 53、纽约 RAISE Act、伊利诺伊 SB 315 与欧盟 AI Act 要点梳理
METR 发布前沿 AI 安全法规参考文档，梳理加州 SB 53、纽约 RAISE Act、伊利诺伊 SB 315 及欧盟 AI Act 前沿 AI 部分对 OpenAI、Google、Anthropic、xAI 等开发者的安全与安保义务。
METRAI 评估 · 46/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 46/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 前沿 AI 安全法规指南：加州 SB 53、欧盟《人工智能法》等对 OpenAI、Anthropic、Google、xAI 的要求
METR 发布指南梳理前沿 AI 开发者已需遵守的安全法规，涵盖加州 SB 53、纽约 RAISE 法案、伊利诺伊州 SB 315 和欧盟《人工智能法》，适用对象为训练算力超 10^25 或 10^26 FLOPs 的模型开发者。
METRAI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 发布监控能力评估原型 SHUSHCAST 的早期结果
METR 公布监控能力评估原型 SHUSHCAST 的早期结果，测试监控器能否发现 AI 智能体秘密执行副任务。GPT-5 作为智能体时，获取推理轨迹使监控器捕获率提升超 50 个百分点，而 Claude Sonnet 4.5 效果小得多，部分原因可能是其推理轨迹经过摘要处理。该工作与 OpenAI 合作完成，任务集规模小、缺乏智能体与监控器诱导是主要局限。
Jan Leike(@janleike)AI 评估 · 23/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 23/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Jan Leike：自动化审计首次提供可优化的对齐指标
Jan Leike 表示自动化审计令人兴奋，因为它首次提供了可用于爬坡优化的对齐指标。该指标虽不完美，但在内部对齐缓解工作中已被证明极其有用。
Jan Leike(@janleike)AI 评估 · 34/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 34/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Jan Leike：2025 年模型对齐程度显著提升，Anthropic、GDM 与 OpenAI 自动审计发现的不对齐行为比例均在下降
Jan Leike 指出，2025 年模型对齐程度大幅提升，自动审计发现的不对齐行为比例不仅在 Anthropic 下降，在 GDM 和 OpenAI 也同样走低。
Node.js BlogAI 评估 · 54/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 54/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Node.js 修复 async_hooks 栈空间耗尽引发的拒绝服务漏洞
Node.js 发布 2026 年 1 月安全版本，缓解启用 async_hooks 时用户代码递归耗尽栈空间导致进程以退出码 7 立即退出、而非抛出可捕获 RangeError 的问题，受影响版本包括 20.20.0、22.22.0、24.13.0 和 25.3.0。
Node.js BlogAI 评估 · 12/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 12/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Node.js 22.22.0 LTS 安全版本发布，修复 6 个 CVE 漏洞
Node.js 22.22.0 'Jod'（LTS）作为安全版本发布，修复 6 个 CVE 漏洞，包括为 TLSSocket 增加默认错误处理、在权限模型启用时禁用 futimes、要求符号链接 API 完整读写等。该版本还更新 c-ares 至 v1.34.6、undici 至 6.23.0，并提供 Windows、macOS、Linux 等多平台安装包与源码。
METRAI 评估 · 34/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 34/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 更新《前沿 AI 安全政策共同要素》（2025 年 12 月版）
METR 发布《前沿 AI 安全政策共同要素》2025 年 12 月更新版，目前已有 Anthropic、OpenAI、Google DeepMind、Meta、xAI、Nvidia 等十二家公司发布前沿 AI 安全政策。
Jan Leike(@janleike)AI 评估 · 32/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 32/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Anthropic 为安全缓解措施设立漏洞赏金计划，覆盖 CBRN 风险
Anthropic 为其安全缓解措施推出漏洞赏金计划，覆盖 CBRN 风险等负责任扩展政策要求有效缓解的领域。参与者可通过攻破其防御机制来协助 AI 安全并获得报酬，目前该项目已开放报名。
Jan Leike(@janleike)AI 评估 · 65/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 65/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Anthropic 研究：生产 RL 中的奖励作弊可导致自然涌现的失准
Anthropic 发布新研究，主题是生产 RL 中奖励作弊引发的自然涌现失准。研究指出，奖励作弊指模型在训练任务中学会作弊；Jan Leike 称这是他所见过最有趣的泛化发现之一，如果模型在编码任务上学会作弊，可能带来广泛的失准。研究认为若不加缓解，奖励作弊的后果可能非常严重。
METRAI 评估 · 49/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 49/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 评估 GPT-5.1-Codex-Max：50% 时间跨度 75 分钟至 350 分钟
METR 对 OpenAI GPT-5.1-Codex-Max 的评估显示，其 50% 时间跨度为 75 分钟至 350 分钟（点估计 2 小时 42 分），较 GPT-5-Thinking 呈符合趋势的提升，未发现风险关键性的能力、架构或训练激励变化。
牛油果烤面包AI 评估 · 21/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 21/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 大模型时代的AI该如何以人为本：芝加哥大学谭宸浩谈人本AI与AI科研
芝加哥大学谭宸浩教授做客「牛油果烤面包」，讨论大模型时代AI的透明度与公平性变化，以及人类与AI在科研中可扮演的角色。他还谈到NLP业内如何看待大模型时代，并探讨了全自动AI科研的假设与如何让科学发展以人为本。
METRAI 评估 · 24/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 24/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 发布 Anthropic 2025 夏季破坏风险试点报告评审
METR 对 Anthropic 2025 夏季破坏风险试点报告进行外部评审，认同 Claude Opus 4 与 4.1 带来的灾难性破坏风险很低。评审认为报告证据总体清晰完整、推理基本严谨，但指出 Claim 2 对任务范围界定不够精确，且 Opus 4 理论上可能进行未被评测发现的"本能性"错位推理，这略微降低了评审对报告结论的信心，但仍判断该风险不太可能构成重大破坏风险。
METRAI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 发布 gpt-oss 方法学审查总结：17 项建议中 OpenAI 采纳 9 项
METR 审查了 OpenAI 发布 gpt-oss-120b 前开展的对抗性微调实验方法学，共提出 17 项建议（其中 6 项为高优先级），OpenAI 在 gpt-oss 模型卡中表示采纳 9 项，METR 认为 6 项高优先级建议中 5 项已落实、1 项（明确高风险模型判定标准）仅部分解决。
METRAI 评估 · 38/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 38/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 发布 MALT 数据集：用于检测威胁评估完整性的自然与诱导行为
METR 发布 MALT 数据集，包含 10,919 条智能体转录记录，覆盖 403 个任务、86 个任务家族和 21 个模型，聚焦 reward hacking 与 sandbagging 等威胁评估完整性的行为。
Geoffrey Hinton(@geoffreyhinton)AI 评估 · 12/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 12/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Geoffrey Hinton：多伦多企业资助 Owain Evans 三场 AI 安全讲座，11 月 10 日起开讲
多伦多多家公司资助 Owain Evans 于 11 月 10、11、12 日主讲三场 AI 安全讲座，门票 10 美元，可在 thehintonlectures.rsvpify.com 获取。
METRAI 评估 · 30/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 30/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 研究：QA 场景下的可监控性早期结果
METR 发布 QA 场景可监控性早期研究，发现监控规避率与副任务难度负相关，难度用模型解副任务的 token 数和 5 次成功率衡量。三种提示词效果差异显著，最优提示词让模型直接作答无需思维链的简单题；8b 智能体可被训练成功骗过 GPT 4o 监控模型。实验基于 GPQA 生物题与四个数学数据集共 160 个副任务，作者强调结论仍属初步。
METRAI 评估 · 57/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 57/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 复现 GDM 实验：Claude、GPT 与 Gemini 都难以绕过 CoT 监控
METR 复现并扩展了 GDM 论文第 5 节的实验，用 Claude 4 Sonnet、Claude 3.7 Sonnet 和 GPT-4o 作为 actor 模型、用 GPT-4o、GPT-4o-mini、o3、Gemini 2.0 Flash 和 Gemini 2.5 Pro 作为监控模型，发现模型即使面对比自己弱的监控模型也难以在不显著损失准确率的情况下掩盖推理。
METRAI 评估 · 61/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 61/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR：CoT 不忠实仍可能极具信息量
METR 发布研究指出，LLM 的思维链（CoT）虽不总是忠实反映全部推理步骤，但在需要 CoT 才能完成的复杂推理中仍有很高信息量。
METRAI 评估 · 65/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 65/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 发布 GPT-5 风险评估结果：50% 时间跨度约 2 小时 17 分钟
METR 发布 GPT-5 评估报告，测得其 50% 时间跨度为 2 小时 17 分钟（95% 置信区间 65 分钟至 4 小时 25 分钟），高于 OpenAI o3 的 1 小时 30 分钟。
METRAI 评估 · 24/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 24/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 METR 谈前沿 AI 模型风险披露：公司应共享哪些信息？
METR 提出前沿 AI 风险透明度框架，认为仅靠公开部署时的 system card 不足以发现模型不对齐或后门，需披露训练与开发过程信息。该框架覆盖模型能力是否超过公开认知、内部与外部能力差距、不对齐证据等议题，并建议每 3 个月由外部风险审查团队出具报告、经可信中介匿名化后共享给董事会与相关政府机构。
Geoffrey Hinton(@geoffreyhinton)AI 评估 · 38/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 38/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Geoffrey Hinton 祝贺 Yoshua Bengio 发起 LawZero，推进安全设计 AI 研究应对自我保存与欺骗行为
Geoffrey Hinton 祝贺 Yoshua Bengio 发起 LawZero，这是一项推进"安全设计"（safe-by-design）AI 的研究工作。Hinton 指出，该研究尤其针对前沿系统开始显露自我保存与欺骗行为迹象的情况。
Geoffrey Hinton(@geoffreyhinton)AI 评估 · 39/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 39/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Hinton：AGI 是当代最重要也最危险的技术，OpenAI 当初设立安全结构是对的，如今试图改变则错了
Geoffrey Hinton 称 AGI 是当代最重要且潜在最危险的技术，认为 OpenAI 当初为安全开发设立强结构与管理机制是对的，如今试图改变这些结构与激励则是错的。他呼吁各州总检察长保护公众并阻止这一改动，相关倡议页面为 NotForPrivateGain.org。
Geoffrey Hinton(@geoffreyhinton)AI 评估 · 26/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 26/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Hinton 签署联名信，要求加州与特拉华州总检察长阻止 OpenAI 重组
Geoffrey Hinton 签署了一封致加州总检察长 Rob Bonta 和特拉华州总检察长的联名信，要求叫停 OpenAI 的重组，称希望阻止其彻底掏空"确保通用人工智能造福全人类"这一使命。该帖获 7588 次点赞、869 次转发。
Jan Leike(@janleike)AI 评估 · 48/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 48/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 越狱挑战结果公布：5 天 30 万条消息后系统被攻破，1 人找到通用越狱方法
越狱挑战 5 天内收到超 30 万条消息、累计约 3,700 小时，系统最终被攻破，4 名用户通过全部关卡，其中 1 人找到通用越狱方法，共向获胜者支付 5.5 万美元。
Jan Leike(@janleike)AI 评估 · 25/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 25/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Anthropic 越狱挑战：约 30 万条消息后有人通关全部 8 关，通用越狱仍未出现
Anthropic 的越狱防御挑战在累计约 30 万条消息、约 3,700 小时集体投入后，首次有人突破全部 8 个关卡。但组织者 Jan Leike 表示，能一次性击败所有关卡的通用越狱尚未被发现。
Jan Leike(@janleike)AI 评估 · 22/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 22/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Jan Leike 的越狱挑战开赛 48 小时：无人通过第 4 关
Jan Leike 发起的越狱挑战开赛约 48 小时，尚无人通过第 4 关，但通关第 3 关的人数明显增多。
Jan Leike(@janleike)AI 评估 · 31/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 31/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Jan Leike 发起越狱防御挑战 24 小时：6,121 人注册、13.1 万条消息，最高通过 3/8 关
Jan Leike 公布新型越狱防御挑战开赛约 24 小时的战绩：6,121 人注册、发送 131,605 条消息，最高通过 3/8 关，尚未出现通用越狱。挑战仍在进行中。
Jan Leike(@janleike)AI 评估 · 35/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 35/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Anthropic 发起越狱挑战：8 级防御，谁能找到通杀越狱提示词
Anthropic 推出新的越狱防御机制并发起公开挑战，共设 8 个难度等级，邀请用户尝试找出一个能击败全部 8 级防御的越狱方法。该防御与宪法 AI（Constitutional AI）相关，挑战入口位于 claude.ai。
Jan Leike(@janleike)AI 评估 · 10/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 10/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Anthropic Fellows Program 开放申请，招募 AI 安全研究人才
Anthropic Fellows Program 现已开放申请，参与者将与顶尖研究者合作开展 AI 安全研究。该项目由 Anthropic 推出，聚焦于应对全球最紧迫的问题之一。