跳到正文
原文
跨国串门儿计划·· 4 小时前AI 评估 · 41/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。

Ilya:预测得越好,模型越懂世界

#787.Ilya:预测得越好,模型越懂世界

AI 导读

Ilya Sutskever 认为,模型要把数据预测好、压缩好,就必须越来越了解产生这些数据的世界,因此他不同意语言模型只是学会文字统计规律。他指出预训练让模型形成丰富的世界表征,却不直接保证输出准确,还需基于人类反馈的强化学习来纠正输出;他认为让用户反馈改进强化学习,有相当大机会彻底解决幻觉问题。

来源:跨国串门儿计划 · xiaoyuzhoufm.com