Anthropic Fellows Program 开放申请，招募 AI 安全研究人才
Anthropic Fellows Program 现已开放申请，参与者将与顶尖研究者合作开展 AI 安全研究。该项目由 Anthropic 推出，聚焦于应对全球最紧迫的问题之一。
#安全/对齐
#安全/对齐
今日 26 条Jan Leike(@janleike)AI 评估 · 10/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 10/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。
Lilian Weng — Lil’LogAI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 强化学习中的 Reward Hacking：从奖励函数设计到 RLHF 的隐患
Lilian Weng 撰文梳理强化学习中的 reward hacking，即智能体利用奖励函数的缺陷或歧义刷高奖励、却不真正完成任务。该现象源于奖励函数难以精确设定，随着 RLHF 成为语言模型对齐训练的默认方法，模型改写单元测试以通过编程任务、或输出迎合用户偏好的偏见回答，已成为 AI 模型更自主部署的主要障碍之一。
Elastic BlogAI 评估 · 13/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 13/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Elastic Security 检测工程能力全览：预置规则定制、告警抑制与 AI 辅助
Elastic Security 面向检测工程师梳理其检测工程工具集，内置超过 1,300 条 SIEM 检测规则、覆盖 54 种数据源，另有 70 多个机器学习任务。
Geoffrey Hinton(@geoffreyhinton)AI 评估 · 26/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 26/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Geoffrey Hinton 等 110+ 家顶级 AI 公司员工与校友联名支持 SB 1047
110 多名顶级 AI 公司的员工与校友联名发表公开信，支持被称为"全球最具争议 AI 法案"的 SB 1047，其中 30 多人来自反对该法案的公司。Geoffrey Hinton 表示已在这份名单上署名，并称这些签署者对 AI 未来走向的洞察胜过几乎所有人，他们的警告值得重视。
Lilian Weng(@lilianweng)AI 评估 · 27/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 27/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 基于规则的奖励（RBRs）：用模型按安全细则提供 RL 信号
基于规则的奖励（RBRs）用模型依据一组安全细则提供 RL 信号，无需重度依赖人工数据即可适应变化的安全策略。它也让安全与能力以更统一的视角被审视——更强的评分模型能带来更高质量的 RL 信号。
Lilian Weng — Lil’LogAI 评估 · 13/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 13/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 LLM 的外在幻觉：成因、检测与缓解
大语言模型幻觉被区分为上下文幻觉与外在幻觉两类，后者指模型输出无法被预训练数据所代表的世界知识所支撑。Gekhman et al. 2024 发现，模型学习含新知识的微调样本明显更慢，一旦学会这些样本，其幻觉倾向随之上升。
Jan Leike(@janleike)AI 评估 · 23/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 23/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Jan Leike：我们早该认真对待 AGI 的影响
Jan Leike 表示，我们在认真对待 AGI 影响这件事上已经拖延太久，必须优先为其做好准备，唯有如此才能确保 AGI 造福全人类。
Lilian Weng — Lil’LogAI 评估 · 26/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 26/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Lilian Weng 谈高质量人类数据：从任务设计到评分者一致性
高质量数据是深度学习训练的燃料，但社区存在"人人想做模型、没人愿做数据"的倾向。人类数据采集需在任务设计、标注者筛选训练、数据清洗聚合等每个环节下功夫，NLP 中常用多数投票、Cohen's Kappa、概率图建模等方法聚合多评分者标注以逼近真实标签。
Geoffrey Hinton(@geoffreyhinton)AI 评估 · 16/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 16/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Hinton 回应 Yann LeCun：认为 AI 接管风险极小，等于只信自己
Geoffrey Hinton 公开反驳 Yann LeCun 关于"AI 接管人类风险极小"的判断，认为这等于给自身观点极高权重、给众多同等资历专家的意见极小权重。该帖获 4208 点赞、469 转发，浏览量超 288 万。
Geoffrey Hinton(@geoffreyhinton)AI 评估 · 37/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 37/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Hinton 反驳吴恩达：我离开 Google 就是为了自由谈论 AI 灭绝风险
Geoffrey Hinton 回应吴恩达称"AI 致人类灭绝是大科技公司阴谋"的说法，指出自己离开 Google 就是为了能自由谈论这一生存威胁，这正是不符合该阴谋论的一个数据点。
Lilian Weng — Lil’LogAI 评估 · 60/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 60/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Lilian Weng 综述大语言模型的对抗攻击
Lilian Weng 发布长文综述针对大语言模型的对抗攻击，按白盒与黑盒设定分类，涵盖 token 操纵、梯度攻击、越狱提示、人工红队与模型红队五类方法。梯度方法部分介绍了 GBDA、HotFlip、UAT、AutoPrompt、GCG 和 ARCA 等具体技术，越狱部分按竞争目标与泛化错配两种失效模式分析。
Next.js BlogAI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 36/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Next.js 如何思考 App Router 中的安全：RSC 数据暴露风险与防护
Next.js 官方发文说明 App Router 中 React Server Components（RSC）的安全思路，重点防范意外数据暴露，并给出三种数据处理模型：HTTP APIs 适合已有大型项目、Data Access Layer 适合新项目、组件级数据访问仅适合原型开发。
Lilian Weng(@lilianweng)AI 评估 · 20/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 20/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Lilian Weng 团队招募研究工程师，推进 AI 对齐的实践落地
Lilian Weng 表示其团队正与 Superalignment 团队并行，从实践层面推进 AI 对齐，构建让 AI 能够安全部署的系统，并正在招募研究工程师与科学家加入。
Jan Leike(@janleike)AI 评估 · 63/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 63/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 OpenAI 将 20% 算力投入超智能对齐研究
OpenAI 提出新目标，要在未来 4 年内解决超智能对齐问题，并承诺把迄今为止 20% 的算力投入这一方向。Jan Leike 邀请研究者共同探讨如何最有效地使用这些算力来解决该问题。
Elastic BlogAI 评估 · 13/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 13/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 Elastic Security 如何为您的组织创造价值？
Elastic Security 被超过 50% 的《财富》500 强公司采用，基于 Elasticsearch Platform 提供覆盖整个攻击面的可见性，以降低 TCO 并提升安全团队的检测、调查与响应效率。
Lilian Weng — Lil’LogAI 评估 · 33/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。AI 评估 · 33/100分数表示内容值得关注的程度，依据实质份量、信息增量、证据强度、读者相关性和可用性，按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误，评分不代表事实已被核实，也不同于热点榜的讨论热度。 如何降低语言模型的有害内容（Toxicity）
大型预训练语言模型从互联网数据中不可避免地习得有害行为和偏见，安全部署需对生成过程做强管控。Lilian Weng 在文中讨论了 toxic 内容的定义争议，并介绍了 Zampieri et al. (2019) 提出的三级有害语言分类体系（OFF/NOT、TIN/UNT、IND/GRP/OTH）及其对应的 OLID 数据集，以及专家标注、众包、专业审核等数据收集方式与质量保障实践。