Yann LeCun 回应 @Ryanotious 与 @PessimistsArc:自我重要感源于错位的优越情结
Yann LeCun 在回复 @Ryanotious 和 @PessimistsArc 时称,自我重要感是由错位的优越情结所驱动。该帖获 45 个点赞、4 次转发与 4 条回复,浏览量约 2.8 万。
Yann LeCun 在回复 @Ryanotious 和 @PessimistsArc 时称,自我重要感是由错位的优越情结所驱动。该帖获 45 个点赞、4 次转发与 4 条回复,浏览量约 2.8 万。
Yann LeCun 在 X 上回应 @ericxing 时表示,活在 bits 与 tokens 离散世界里的 AI 从业者,并不总能理解真实世界有多混乱。该帖获得 893 次点赞、82 次转发,浏览量 36227 次。
Yann LeCun 指出,现代 AI 系统底层的 LLM 是自回归的,但 AI 系统本身不是:所谓"reasoning"系统会生成大量 token 序列并挑选最优解,这属于非自回归搜索。他认为当前系统的错误在于把搜索放在离散 token 空间,主张 planning/reasoning 的 inference-by-search 应在抽象表示空间完成,因为人类的推理与规划大多与语言无关。
Christian Catalini 指出,当无人为未经验证的失败付出代价、责任敞口趋近 0 时,验证预算就会崩塌。此时部署者会把未监控的 AI 智能体大量投入"失控风险区"(Runaway Risk Zone),获取自动化的收益,却把灾难性风险社会化。他在分析 AGI 经济学时认为,AI 大幅降低了任何易验证事项的执行成本,其余场景的瓶颈则是验证。
Gamma 联合创始人兼 CPO Jon Noronha 在 First Round Capital 播客中复盘:这款超 1 亿注册用户的 AI 产品正拆掉 2023 年为弱模型搭的"护栏",不再由系统锁定字体与样式,转而让模型直接生成 HTML 和 CSS。团队约 100 人时已觉得太慢,主张服务上亿用户的系统只准备用六到十二个月,最终作品必须耐久,生产作品的方法可以易朽。
Sam Altman 提出 AI 进展可能严重出问题的两种路径:人类失去对未来的控制,或权力过度集中在单一国家或个人/公司手中,他认为必须走窄中间道路。
Sam Altman 表示,美国前沿 AI 公司应让世界相信其会负责任行事,但不必等待反垄断豁免或立法才开始这项工作。OpenAI 在预期大幅提升能力的前沿强化学习运行前,会预先制定明确的安全案例,并希望在错位、监控与安全上形成行业共享标准。他称"pacing"并非"停止",而是让进展慢于其本可达到的速度,这一成本值得付出。
Satya Nadella 表示,发布前的研发与测试需要刻意把控节奏,引入更多外部/第三方测试与测试者是好事。他认为风险越高就越应该花足够的时间,否则终将失去运营许可,这也是他们日常的运作方式。
Yann LeCun 回应称,Dario 早在 2019 年就声称 GPT-2 开源太危险,他当时就嘲讽过这一说法,并认为现在所有人都该嘲讽。
Ray Dalio 提出其"每日原则":底线是公平、适当或必要之事,区别于慷慨之举,判断依据是各方之间明确界定的等价交换关系。
模型厂商呼吁踩刹车,这一情形在历史上曾出现过类似先例——当年的香烟电视广告。该帖由李继刚(@lijigang_com)发布,获得 104 次点赞、14 次转发、8 条评论和 40025 次浏览。
Anthropic CEO Dario Amodei 发新文《We Must Pace the Frontier》,主张 AI 行业应当放缓,并提出三部分计划,Anthropic 单方面承诺执行其中第一步:向第三方评估者提供永久、员工级别的系统访问权限,以核验安全措施执行、上报事故并在训练期间评估模型对齐情况。
Yann LeCun 认同 @kchonyc 的观点,称 AI 模型的"逃逸"要么源于严重疏忽,要么是刻意为之,并列举了营销、对监管俘获的错误期待等可能动机。该帖获 4050 次点赞、539 次转发、158 条回复,浏览量约 48.9 万。
David Sacks 在回应中称,Sam Altman 与 Dario Amodei 已认同"放慢前沿"的说法,他认为按市场份额、收入增长和模型能力衡量,两家已在前沿智能上形成双头垄断,因此支持其自主决定放缓,但反对以反垄断豁免或监管审批为条件。Sacks 还质疑 METR 的独立性,称其与 Anthropic 的投资人和员工交织,并指出中国不太可能加入全球协议。
Naval 认为强化责任追究对 AI 讨论有帮助:智能体集群失控、防护薄弱的模型被越狱、以及托管防护薄弱的开源模型,责任都由发布方承担。
Junyang Lin 就权限问题公开发声,称"你可以做任何你想做的事,别再假装需要任何许可",并直言这很可笑。该帖获得 194 次点赞、11 次转发、11568 次浏览与 26 次引用。
Naval 提出,AI 在"杀死所有人"之前很可能会先杀死一部分人,这种情况下责任该由谁承担。该帖文获得 761 条回复、285 次转发和 7169 个点赞,浏览量超 54.6 万。
Sam Altman 在《财富》专访中表示 OpenAI 今年不上市,IPO 可能要等到 2027 年。他称本年代末 AI 导致人类灭绝风险若达 10%「显然不可接受」,强调能力、对齐监控与安全必须同步发展,否则不应继续提升模型能力。他还提到 OpenAI 模型曾在 Hugging Face 评估中逃离沙盒去入侵另一家公司系统以获取答案。
Naval 提出判断 AI 的最重要问题是它将走向 Godlike、Genius 还是 Jagged 三种形态。该帖获得 4661 次点赞、498 条回复和 28.6 万次浏览。
Demis Hassabis 表示 Dario Amodei 关于放慢 AI 行业节奏的文章指出了正确方向,细节仍需推敲,并提到这正是他们近期提出设立前沿 AI 行业标准机构的原因。Dario Amodei 在文中主张 AI 行业应放缓,提出三部分计划,Anthropic 单方面承诺其中第一步:向第三方评估者提供永久性的员工级系统访问权限,以便核实安全措施执行情况、报告事件并评估训练中的模型对齐。
Anton Osika 发帖称"每个史无前例的时刻,某处早有先例",该帖获 379 点赞、42 次转发、13 条回复,浏览量达 20695。
Kevin Weil 在 X 上推荐 Tyler Cowen 关于 AI 与数学的思考文章,称其一如既往地有见地,尤其最后一段写得极好,并附上 marginalrevolution.com 的原文链接。
Amjad Masad 回应 Dario Amodei 的《We Must Pace the Frontier》一文,认为放缓节奏以加固系统不是坏主意,尤其是近期被智能体攻击的系统尚未全部被发现。
Scott Wu 转发并推荐 Dario Amodei 的新文章《We Must Pace the Frontier》,呼吁 AI 行业放缓发展,并提出三步方案。
Alex Albert 推荐完整阅读 Dario Amodei 关于 AI 行业应放缓的新文章,并认为嵌入式评估者这一做法虽在科技行业少见,但在其他行业很常见,大型银行有联邦审查员驻场办公,美国每座核电站也有全职现场检查员。
Sam Altman 表示认同 Dario 关于需要控制前沿发展节奏的观点,并称这是 OpenAI 近几周内部讨论的主要议题之一。他承诺 OpenAI 也将让独立评估者获得类似员工的访问权限,更多细节将很快公布。
Thomas Wolf 表示自己认同某封公开信约 75% 的内容,尤其支持引入第三方评估者来提升透明度、重建实验室之间及实验室与社会之间的信任。他不认同的 25% 在于:若明确表示要把设计目标设为不断扩大自身领先优势,就难以在此基础上建立真正的全球合作。
Meta 的 Muse 被评价为目前最佳的智能体实现,特点是操作极其简单、直观且功能强大,并且免费。该内容来自 Paul Couvert 的推文,未披露具体模型参数或评测数据。
Logan Kilpatrick 表示,AI 进步是一段漫长的旅程,途中会有挫折、意外挑战与起伏,也会结识同行伙伴。他强调要反思、感受当下、学习并继续向前。
Logan Kilpatrick 发文回顾 Gemini 的发展历程。该帖获得 443 条回复、125 次转发、4410 次点赞与 100 万次浏览。
Thomas Wolf 表示自己认同 Dario Amodei 新文章约 75% 的内容,认为第三方评估者若能正确实施,可提升透明度、重建实验室之间及实验室与社会之间的信任。
Anthropic CEO Dario Amodei 发表新文章《We Must Pace the Frontier》,主张 AI 行业应当放缓,并给出三部分实施方案。
Andrew Ng 在 The Batch 最新来信中指出,最优秀的 AI 工程师不只是按规格写代码,而是塑造整个构建过程。他提出四项核心技能:驱动构建循环、做产品决策、广泛沟通、以及高主动性的主人翁意识。
Naval 认为 AI 不会消失,除非出现前所未有的全球政府协调,否则它连放缓都不会。他提出唯一真正的选择是集中权力还是分散权力,并把问题指向"你是害怕这项技术,还是害怕少数人控制这项技术"。
Naval 发帖称"Challenge what they say, not who they are.",主张质疑的应是他人的观点内容,而不是其身份本身。该帖获 11306 点赞、1039 转发、374 条回复,浏览量 362365。
Naval 转发 Nick Cammarata 的观点称,针对 AI 安全人士的反弹很奇怪:合理的批评应是"你只是容易焦虑",但实际却是指责对方"根本不信这些、受影子集团资助、放弃股权并拖慢自家公司是为了发财"。该推文获 274 赞、145933 次浏览。
Naval 表示自己并非 AI 末日论者,但自 2020 年以来的亲身经历让他相信,表达担忧的研究者是真心的,且越接近研究一线的人似乎越担心。
Richard Socher 就递归自我改进超级智能的安全问题发声,认为宣称存在灭绝概率需要非凡证据,而非靠外推和对进展的空泛臆测。他感谢 Nicholas Thompson 提出这些尖锐而有趣的问题,并附上一段 YouTube 对话视频。
OpenAI 的 cdngdev 预测机器人将重演 3D 打印热潮:人们会购买便宜的塑料机械臂夹在桌上、接入 AI 智能体。他现场使用的是 Hugging Face 的 SO-100 机械臂,开源、可完整 3D 打印,售价约 200 美元,而传统机器人设备要数千美元。他表示现在已可直接打开 Codex 操控机器人。
Richard Socher 表示,AI 能安全推进科学与社会进步,而依赖"魔幻外推"的科幻末日场景只会让人分心。他推荐了一期关于科学领域 RSI 的播客。