用信息论剖析深度学习：Tishby 的信息瓶颈理论

Naftali Tishby 提出用信息瓶颈（IB）方法为深度神经网络给出新的学习界，因为参数量指数级增长使传统学习理论失效。他将 DNN 训练分为两个阶段：先充分表征输入并最小化泛化误差，再压缩表示以遗忘无关细节，并称"学习最重要的部分其实是遗忘"。