模型蒸馏 (Model Distillation)，也称为知识蒸馏 (Knowledge Distillation)，是一种模型压缩技术。
想象一个"老师带学生"的场景：
老师（Teacher Model）学识渊博，不仅知道正确答案，还理解为什么其他答案是错的，以及错误答案之间的关联。
学生（Student Model）初出茅庐，能力有限。如果只死记硬背标准答案（Hard Labels），学习效果有限。
在蒸馏过程中，老师不仅告诉学生"这道题选A"，还会解释"B选项其实也有一定道理，只是不如A准确，而C完全是错的"。
这种包含额外信息的指导（Soft Labels），能帮助学生更快、更深刻地理解问题本质，从而"青出于蓝而胜于蓝"或至少达到接近老师的水平。
最终的损失函数通常是两部分的加权和：
Loss = α * L_distillation(软标签, 学生预测) + (1-α) * L_student(硬标签, 学生预测)
* 其中 α 是平衡系数，L_distillation 通常使用 KL 散度，L_student 使用交叉熵。
首先在完整数据集上训练一个高性能的复杂模型，直到其达到理想的准确率。
利用训练好的教师模型对训练数据进行预测，记录其输出的概率分布（通常引入温度参数 T > 1 来平滑分布，使其携带更多信息）。
初始化学生模型，同时使用数据的真实标签（硬标签）和教师提供的软标签进行监督训练，最小化综合损失。
温度参数 T 是知识蒸馏中的核心超参数，用于控制教师模型输出概率分布的平滑程度。
软化后的概率分布计算公式：
qi = exp(zi/T) / Σj exp(zj/T)
其中 zi 是模型 logits（未归一化的输出），T 是温度参数。
T ∈ [2, 20]T = 3~5 效果较好T = 2~4 较为常见训练时使用高温度 T，但在推理阶段必须将温度恢复为 T=1，否则会影响最终预测结果。
最经典的蒸馏方式，学生模型直接模仿教师模型的最终输出（logits 或概率分布）。
让学生模型的中间层特征表示尽可能接近教师模型的对应层。
不仅关注单个样本的表示，还学习样本之间的关系（如距离、相似度矩阵）。
除了基础的知识蒸馏，研究者们还提出了多种高级蒸馏策略以应对不同场景需求。
模型自己作为教师，通过深层网络指导浅层网络学习。
教师和学生同时训练，相互学习协同进化。
集成多个教师模型的知识，提供更丰富的监督信号。
不使用原始训练数据，通过生成器或反演恢复知识。
将知识从一种模态（如视觉）迁移到另一种模态（如音频）。常用于：多模态融合、传感器替代、跨领域迁移等场景。代表工作包括 Gupta et al. 的跨模态蒸馏框架。
以 PyTorch 为例，展示基础的知识蒸馏实现：
import torch
import torch.nn as nn
import torch.nn.functional as F
class DistillationLoss(nn.Module):
def __init__(self, alpha=0.5, temperature=4.0):
super().__init__()
self.alpha = alpha
self.temperature = temperature
self.kl_div = nn.KLDivLoss(reduction='batchmean')
self.ce_loss = nn.CrossEntropyLoss()
def forward(self, student_logits, teacher_logits, labels):
# 蒸馏损失：使用 KL 散度
soft_targets = F.softmax(teacher_logits / self.temperature, dim=1)
soft_prob = F.log_softmax(student_logits / self.temperature, dim=1)
distillation_loss = self.kl_div(soft_prob, soft_targets) * (self.temperature ** 2)
# 学生损失：标准交叉熵
student_loss = self.ce_loss(student_logits, labels)
# 总损失
return self.alpha * distillation_loss + (1 - self.alpha) * student_lossalpha：平衡蒸馏损失和学生损失的权重系数temperature：软化概率分布的温度参数T² 来平衡梯度尺度student_logits，无需温度参数将BERT等大模型蒸馏到手机APP中，实现离线翻译、语音识别。
在毫秒级时间内处理海量用户请求，需要极高的推理速度。
在算力受限的摄像头、传感器芯片上运行智能算法。
降低服务器资源消耗，提升吞吐量，减少推理成本。
在客服机器人、智能助手中部署轻量级语言模型。
实时渲染、NPC 行为决策等需要极低延迟的场景。
以下是典型的模型蒸馏效果对比（以 BERT 蒸馏为例）：
| 模型 | 参数量 | 推理速度 | 准确率 (GLUE) | 模型大小 |
|---|---|---|---|---|
| BERT-Base (Teacher) | 110M | 1x (基准) | 84.5% | 440 MB |
| DistilBERT (Student) | 66M (40% ↓) | 1.6x ⚡ | 82.8% (2.0% ↓) | 265 MB |
| TinyBERT (Student) | 14.5M (87% ↓) | 9.4x ⚡⚡ | 80.5% (4.7% ↓) | 58 MB |
| 直接训练小模型 | 66M | 1.6x | 78.2% (7.5% ↓) | 265 MB |
教师模型应该在目标任务上表现优异且充分收敛。避免使用欠拟合或过拟合的模型作为教师。
学生模型不应过小（容量不足）也不应过大（失去压缩意义）。通常为教师模型的 1/3 到 1/2 规模。
关键参数包括温度 T (2-20)、损失权重 α (0.3-0.7)、学习率。建议使用网格搜索或贝叶斯优化。
蒸馏过程中可以使用未标注数据，教师模型的软标签本身就是一种"自动标注"。
在真实环境中测试推理速度、内存占用和精度，确保满足生产需求。
因为蒸馏过程中，学生模型不仅学习“正确答案”，还学习了教师模型输出的概率分布（软标签）。这些软标签包含了类别间的相似性信息（“暗知识”），如“猴子比船更像狗”，这种额外信息帮助学生更好地理解数据的结构和语义。
通常从 T=3 开始尝试，通过验证集性能调优。对于复杂任务（如精细分类），较高的 T（如10-20）可能更有效；对于简单任务，T=2-5 通常已足够。关键是要确保训练和推理时使用一致的设置（推理时 T=1）。
不必须！这是知识蒸馏的一个优势。学生模型可以是完全不同的架构（如 ResNet 教师 → MobileNet 学生）。只要确保输入输出维度一致即可。特征蒸馏可能需要额外的映射层来对齐中间层维度。
剪枝 (Pruning) 是移除模型中不重要的权重/神经元；量化 (Quantization) 是降低权重的数值精度（如 FP32→INT8）；蒸馏是训练一个新的小模型。三者可以组合使用，例如先蒸馏再量化，以获得更极致的压缩效果。
可以！这是蒸馏的一个重要优势。可以用教师模型为未标注数据生成伪标签（Pseudo-labeling），让学生学习。这种方式特别适合标注数据稀缺但未标注数据丰富的场景，可显著提升学生模型性能。
以下是知识蒸馏领域的重要论文和资源：
提出了知识蒸馏的核心框架，引入温度参数和软标签概念。
提出了特征层蒸馏，让学生学习教师的中间层表示。
BERT 蒸馏的经典工作，压缩 40% 参数同时保持 97% 性能。
提出学习样本间关系的蒸馏方法，捕捉结构化知识。
知识蒸馏领域的全面综述，涵盖各类方法和应用。