孟岩对话微软中国 CTO 韦青:沉默的主角
播客「无人知晓」E42 中,孟岩与微软(中国)首席技术官韦青对谈五个多小时,主题为「沉默的主角」。韦青提出「想、能、应、可、已、正、将」框架与「认错、知错、改错」三错法,并谈及微软从 Know-it-all 到 Learn-it-all 的文化转型、异常值的价值以及 AI 时代人如何自处。
播客「无人知晓」E42 中,孟岩与微软(中国)首席技术官韦青对谈五个多小时,主题为「沉默的主角」。韦青提出「想、能、应、可、已、正、将」框架与「认错、知错、改错」三错法,并谈及微软从 Know-it-all 到 Learn-it-all 的文化转型、异常值的价值以及 AI 时代人如何自处。
目前仍无法实现 AI 训练 AI,核心原因是缺乏训练脚本行为与结果表现的数据。人类仍需大量试跑寻找合适手感,并反复盯着结果表讨论每次改动的原因,这种"训练→评估→思考→再训练"的循环扩展成本极高。真实工作流中的冷启动数据也依然稀缺。
芝加哥大学谭宸浩教授做客「牛油果烤面包」,讨论大模型时代AI的透明度与公平性变化,以及人类与AI在科研中可扮演的角色。他还谈到NLP业内如何看待大模型时代,并探讨了全自动AI科研的假设与如何让科学发展以人为本。
Quora CEO Adam D'Angelo 与 Replit CEO Amjad Masad 在 a16z 节目中对话,认为围绕 AGI 时间线和泡沫的炒作之下,智能体仍在快速进步,已初现可靠的计算机使用能力,未来将大幅提升单人创业能力并自动化大量知识工作。
Adam D'Angelo 提出终极目标是"集体智能":让人类整体与所有人工智能共享知识、共创技术并协作解决问题。该表述未涉及具体模型、参数或可用性信息。
Jekka 创始人 Aaron 认为市场上 99% 的泡沫来自对 Scaling Laws 的过度迷信,公司选择从客服场景切入做"靠谱"的 AI Agent,团队 90% 的人都在搭建测试集与测试流程。Jekka 提供 80%+ 独立解决率、99%+ 准确率的产品,每天处理数百万次文本与语音交互,日均消耗数亿 token,已是抖音、有赞首家官方模型提供商。
在 Amazon 与 Google 从事 AI 产品、并为多家 startup 提供咨询的 Roger 做客「牛油果烤面包」,讨论 AI 对产品创新与创业的影响。他谈到规模、定制化和质量的三难困境,以及 AI 如何破局,并涉及 AI 产品的护城河、精益创业模式和千人千面的产品管理。
真格管理合伙人戴雨森在与李翔的对话中回顾了从聚美优品到 2017 年加入真格、从互联网转向 AI 投资的历程。真格坚持「只做天使、只投中国创业者」的「投人」哲学,Manus 创始人肖弘从大四黑客松第一笔投资到今天的 Manus 是其典型案例。戴雨森认为 ChatGPT、Kimi、Manus、Genspark 带来的生产力提升让人从「做不到」变成「能做到」,但这还只是开始。
Geoffrey Hinton 与 Jon Stewart 录制了一期播客,他表示这是自己一直以来的偶像,过程很有趣,Jon Stewart 很想弄懂 AI 究竟是如何运作的。
Thinking Machines 在第二篇 Connectionism 博文中提出 Modular Manifolds,尝试通过对权重矩阵施加流形约束来协同设计神经网络优化器,以提升训练稳定性与性能。该方法从几何角度探索神经网络优化的基本原理,是其迈向更稳定高效训练的一步理论探索。
Lilian Weng 发文欢迎 Kevin Lu 加入 Thinking Machines 团队,并表示很高兴能再次共事。Kevin Lu 称自己近期加入 Thinking Machines,认为该团队拥有全球密度最高的研究人才,并称公司有宏伟的路线图,正在招人。
Geoffrey Hinton 警告,大幅削减 National Science Foundation 的经费将对美国的未来非常不利。他针对该机构资金问题公开发声,相关观点刊于 thehill.com。
Lilian Weng 表示,智能与能力能否跨领域、跨技能迁移仍是未解之谜,从早期的元学习到近期"解数学题是否有助于写好文章"的问题都属此列。她称自己因所见证据不足而略感悲观,并在帖中征集关于泛化这一主题的论文与线索。
硅谷增长顾问陈唱在 OnBoard! 播客中拆解了 HeyGen、Gamma、Otter.ai 等 AI 产品的增长实践,并提到 Cartesia 成立不到两年融资超 $90M。
AppLovin 技术副总裁葛小川在 OnBoard! 播客中回顾了这家广告技术平台从游戏营销公司到千亿美金市值公司的两次转型历程,并解析其核心广告推荐引擎 Axon AI 如何在微秒级处理上万亿次竞价、以 ROAS 而非 CTR 驱动投放决策。
Geoffrey Hinton 转发并称赞了一部汇集多方观点的合辑视频,主题是 AI 即将带来的变化。该合辑出自 Scr0nkf1nkle,标题为 The Great AI Job Displacement Is Closer Than You Think。
Lilian Weng 透露 Thinky 可能将推出的首款产品是一整块旋钮面板,让研究员在训练过程中物理调整所有超参数。她表示"总有一天要做硬件,时候到了"。该推文引用了 Stephen Roller 关于 Character 团队由 Noam Shazeer 手动调训练学习率的说法。
Lilian Weng 发布新文章《Why we think》,主题是让模型在预测前获得更多思考时间,例如通过 smart decoding、chain-of-thoughts 推理和 latent thoughts 等方式。她认为这类方法对解锁下一级智能相当有效。
一条推文把"warm initializations"类比为团队里已有人建好的索引。该说法强调复用已有工作成果,而非从零开始。
Geoffrey Hinton 称 AGI 是当代最重要且潜在最危险的技术,认为 OpenAI 当初为安全开发设立强结构与管理机制是对的,如今试图改变这些结构与激励则是错的。他呼吁各州总检察长保护公众并阻止这一改动,相关倡议页面为 NotForPrivateGain.org。
前 OpenAI 研究员 Richard Ngo 离职后转向独立研究,主攻"无尺度智能能动性理论",并提出名为 coalitional agency 的新构想。他认为现有两大候选理论——期望效用最大化(EUM)和主动推理(active inference)都不够完善:EUM 将信念与目标割裂、难以刻画长期学习过程,主动推理则源自神经科学,以预测编码统一信念与目标。
hidecloud 表示这是他职业生涯中开发的最佳产品,该帖获得 124 条回复、210 次点赞和 57105 次浏览,由 xgo.ing 提供技术支持。
DeepSeek 春节前夕发布的开源推理模型 DeepSeek R1,在数学、代码和推理能力上比肩 OpenAI o1 正式版,同时以极低训练推理成本和完全开源引发全球关注。OnBoard! 邀请 TinyZero 一作、CMU 研究 Long CoT 的研究员及 HuggingFace 资深工程师,从强化学习、Long CoT、infra 和开源角度解析其技术创新与生态影响。
Adam D'Angelo 发布的一条推文获得 7449 点赞、640 次转发和 718625 次浏览,互动数据总计 1059 次。该推文具体内容未在原文中说明。
这期播客回顾了 Sam Altman 从 Loopt 创业、29 岁出任投资公司总裁,到 2015 年参与创立 OpenAI 的历程,并讲述马斯克因"报仇"加入后又带着"蠢货"离开、微软投资 OpenAI、ChatGPT 发布以及 2023 年奥尔特曼被董事会开除、三天后回归的全过程。节目还科普了大模型原理,以及 ChatGPT 与 BERT 的路线之争。
Daloopa 联合创始人兼 CTO Jeremy Huang 在播客中复盘了这家 2019 年成立的 AI 金融产品公司如何切入金融服务数据自动化。Daloopa 今年 5 月完成 1800 万美元 B 轮融资,累计融资超 4000 万美元,客户包括 Morgan Stanley、Credit Suisse 等机构。
OnBoard! 播客邀请 Google DeepMind、Google Cloud 及国内大模型一线研究员,深度解读 OpenAI o1 如何通过强化学习结合思维链(CoT)提升逻辑推理能力,并探讨 MCTS 在 LLM 推理中的作用、o1 能力来源与复现路径。
Richard Ngo 撰文反对把理想推理理解为对真假命题分配信度,即 Bayesian 认识论的核心主张。他提出两点反对:一是应采用介于真与假之间的模糊真值,二是应以模型而非命题进行推理(语义观),并称后续文章将探讨如何形式化替代方案。
110 多名顶级 AI 公司的员工与校友联名发表公开信,支持被称为"全球最具争议 AI 法案"的 SB 1047,其中 30 多人来自反对该法案的公司。Geoffrey Hinton 表示已在这份名单上署名,并称这些签署者对 AI 未来走向的洞察胜过几乎所有人,他们的警告值得重视。
硅谷连续创业者梁胜创办的3家公司累计被收购金额达10亿美金,其2014年创立的 Rancher Labs 融资超9000万美金、2020年以超6亿美金被 SUSE 收购,2022年他又创办 Acorn Labs。
基于规则的奖励(RBRs)用模型依据一组安全细则提供 RL 信号,无需重度依赖人工数据即可适应变化的安全策略。它也让安全与能力以更统一的视角被审视——更强的评分模型能带来更高质量的 RL 信号。
OnBoard! 播客第55期对话 UCSD 计算机科学副教授苏昊,他同时是智能机器人创业公司 Hillbot 的联合创始人兼CTO。节目围绕大模型如何影响具身智能的技术路径、机器人数据采集与示范学习、模拟器与 sim2real 等问题展开,苏昊还介绍了自己的创业项目 Hillbot。
Jan Leike 表示,我们在认真对待 AGI 影响这件事上已经拖延太久,必须优先为其做好准备,唯有如此才能确保 AGI 造福全人类。
Geoffrey Hinton 公开反驳 Yann LeCun 关于"AI 接管人类风险极小"的判断,认为这等于给自身观点极高权重、给众多同等资历专家的意见极小权重。该帖获 4208 点赞、469 转发,浏览量超 288 万。
Geoffrey Hinton 回应吴恩达称"AI 致人类灭绝是大科技公司阴谋"的说法,指出自己离开 Google 就是为了能自由谈论这一生存威胁,这正是不符合该阴谋论的一个数据点。
Geoffrey Hinton 表示,将 GPT-3 的惊人表现外推到未来,生命、宇宙及一切的答案约为 4.398 万亿参数。该说法呼应《银河系漫游指南》中「42」的梗,以参数量作为终极答案的类比。