新智元·· 14 小时前AI 评估 · 31/100分数表示内容值得关注的程度,依据实质份量、信息增量、证据强度、读者相关性和可用性,按内容类型加权。显示分数为两次独立评分的平均值。AI 判断可能有误,评分不代表事实已被核实,也不同于热点榜的讨论热度。
注意力也是FFN?北邮团队提出MiTA,从快权重视角重构高效注意力 | NeurIPS'26
注意力也是FFN?从快权重出发,重新理解高效注意力 |NeurIPS'26
AI 导读
北京邮电大学团队提出 Mixture-of-Top-k Attention(MiTA),将标准注意力展开为快权重 FFN,并据此设计可变形、可复用的 Top-k 专家,该工作已被 NeurIPS 2026 接收且代码已开源。
来源:新智元 · mp.weixin.qq.com