OASIS提出双层null路由改善注意力鲁棒性

2026年10月23日，新智元报道西北大学、伊利诺伊理工学院、罗格斯大学等机构提出OASIS方法，针对AttnResidual的token层与depth层路由同时加入显式null选项，并用token层null概率调节depth层分支选择，旨在给注意力机制增加弃权能力，改善长上下文与低比特场景下的鲁棒性。该研究已被NeurIPS 2026接收。目前报道仅介绍方法设计与接收情况，尚未披露具体实验数据或对比结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。