新智元·· 8 小时前AI 评估 · 34/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
NeurIPS'26 | OASIS 给注意力加弃权选项,改善长上下文与低比特鲁棒性
NeurIPS'26 | 注意力也能弃权!改善长上下文、低比特鲁棒性
AI 导读
西北大学、伊利诺伊理工学院、罗格斯大学等机构提出 OASIS,为 AttnResidual 的 token 层与 depth 层路由同时加入显式 null 选项,并用 token 层 null 概率调节 depth 层分支选择,该研究已被 NeurIPS 2026 接收。
来源:新智元 · mp.weixin.qq.com