什么是模型蒸馏？开发者指南

模型蒸馏是一种压缩技术，让较小的学生模型模仿大型教师模型的输出，以显著更少的参数达到接近教师的性能。常见方法包括基于响应的蒸馏、基于特征的蒸馏、注意力蒸馏与自蒸馏，文章还演示了如何用 PyTorch 从零实现，并与量化、剪枝、低秩分解等压缩方案进行对比。