大模型的精度塞进小模型，知识蒸馏怎么在保精度时省算力

算一笔账：起重机端侧部署视觉检测模型，精度和体积是一对死对头。一个几十层深的大模型，参数量动辄上亿，识别钢丝绳断丝、判断吊物姿态都更准，但它要么跑在服务器上、推理一次几十毫秒，要么端侧盒子根本带不动。而对需要毫秒级响应的抓取对位和在线检测来说，几十毫秒的延迟本身就是隐患。

反过来，纯小模型延迟低、功耗小，几瓦的边缘盒子就能跑，但精度往往差一截。账算到最后，云端大模型算力充裕却延迟高，端侧小模型延迟低却精度差，中间这一截精度差额，就是知识蒸馏要补的那块——它不靠换更大硬件，而是让大模型把「怎么判断」的本事教给小模型。

听起来像「教会徒弟」，但工程上它有一套可计算的损失函数和边界条件。克鲁德重工在端侧推理落地上反复验证过一件事：蒸馏能不能成，首先取决于边界条件算没算清楚，而不是公式背得熟不熟。下面就从边界条件开始，把这件事算清楚。

什么时候才值得做知识蒸馏？四个边界条件先算清楚

第一个边界条件是教师模型必须已经达标。知识蒸馏是知识转移，不是模型修复。如果教师模型自己的精度都过不了关，蒸馏只会把它学错的判断原样传给小模型，甚至因为小模型容量更小、误差被进一步放大。克鲁德重工在推进端侧部署时的原则是：先在服务器上把大模型训到满足验收指标，再谈压缩。

第二个边界条件是部署目标必须清晰。如果最终部署位置是端侧边缘盒子，延迟要求是毫秒级、功耗只有几瓦，那么把大模型压小就有明确收益；如果本来就跑在服务器集群、对延迟不敏感，蒸馏就缺少驱动力。算力预算决定了学生模型的上限，也决定了这件事值不值得做。

第三个边界条件是训练数据与部署数据的分布要一致。蒸馏出的学生模型容量更小、泛化能力更弱，对数据漂移更敏感。训练集和部署工况差异越大，小模型的精度损失就被放得越大。第四个边界条件是可接受的精度损失要有量化预期——蒸馏几乎必然带来一点精度下降，关键是这个降幅是否在项目允许的范围内，以实际工况验收为准。

蒸馏损失怎么算？温度软化与KL散度的公式推导

知识蒸馏要解决的核心问题，是让学生的输出分布尽量贴近教师的输出分布。这里有两个关键机制：温度软化与KL散度。

第一步是温度软化。普通的softmax会把logits映射成硬标签式的概率分布，而蒸馏会先除以一个温度系数T，把分布拉软。温度越高，分布越平缓，类别之间的相对差异越明显地暴露出来。软化后的概率可以写成：

q_i = exp(z_i / T) / Σ_j exp(z_j / T)

其中 z_i 是模型第 i 个类别的原始输出logits，T 是温度系数，q_i 是软化后的概率。

第二步是计算学生与教师之间的分布差异。损失函数用KL散度（相对熵）衡量两个概率分布有多不像，蒸馏软损失写成 T² 乘以KL散度，乘上 T² 是为了补偿温度缩放对梯度的影响。最终的总损失是软损失和硬损失的加权：

L = α · T² · KL(q_teacher ‖ q_student) + (1 − α) · CE(y_true, p_student)

其中 α 是软损失权重，CE 是真实标签的交叉熵损失，p_student 是学生模型在温度T为1时的标准输出。

为什么还要保留硬标签那一项？因为软标签教的是类与类之间的关系，硬标签保证学生不会偏离真实答案。两者缺一不可，权重 α 通常取 0.5 到 0.9 之间，具体以调参为准。

一个起重机缺陷检测的校核算例：从数亿参数压到数百万参数

用一个场景把上面的公式串起来。假设某厂要做钢丝绳表面缺陷的在线检测：教师模型是一个在服务器上训练的大网络，参数量在数亿级，训练数据来自站内长期积累的缺陷图像库——这类数据在行业里往往要几万到几十万张量级，克鲁德重工的缺陷标注体系也在持续积累这类样本。教师模型在服务器上精度达标后，把它蒸馏成一个数百万参数的学生模型，部署到端侧边缘盒子，对运行中的钢丝绳逐帧检测。

校核算例的核心问题只有一个：压了这么多，精度还能不能看。这里没有放之四海皆准的数字——蒸馏后的相对精度损失取决于教师模型的冗余程度、温度T、数据量等一串变量，必须以实际工况实测为准。但工程上有一个相对稳定的规律：教师模型越大、越过度参数化，可压缩的空间就越大，蒸馏保留精度的比例也越高。

从结果看，学生模型在参数量上压缩了约一个数量级，推理延迟从服务器级的几十毫秒降到端侧的毫秒级，功耗降到几瓦到十几瓦。这些收益对应的是抓取对位、在线检测这类对实时性敏感的环节。克鲁德重工在端侧部署方案中，正是把这一类蒸馏后的小模型作为主力推理单元，大模型只留在训练端或作为兜底复核。

需要强调边界：这类端侧检测模型的输出，最终要接入起重机的安全监控与联锁逻辑，部署边界要满足GB/T 28264《起重机械安全监控管理系统》对数据采集与实时性的要求，同时模型涉及的载荷与工况判断仍需回到GB/T 3811《起重机设计规范》定义的工况框架下。知识蒸馏不改变这些安全边界，只改变模型本身的体积与速度。

四个常见错误，照着做大概率白蒸馏

第一种错误：教师模型没训好就急着蒸馏。垃圾进、垃圾出，蒸馏放大的是教师已有的偏差，而不是弥补它。

第二种错误：温度T设错。T太低，软标签退化成硬标签，丢了暗知识；T太高，分布过软，学生学不到判别力。温度需要针对任务单独调，不是抄一个固定值。

第三种错误：只学软标签、丢掉硬标签。软标签教关系，硬标签保正确性，两者缺一不可，用损失权重α去平衡。

第四种错误：忽略数据分布漂移。学生模型容量小、泛化弱，训练数据和部署工况一旦错位，精度损失会被放大。蒸馏前后都要做数据分布校验。

把大模型的精度塞进小模型，本质上是在精度、延迟、功耗三个变量之间做一次可计算的权衡。克鲁德重工在端侧AI部署中，把知识蒸馏作为把重模型能力下沉到边缘盒子的重要手段，配合数据清洗、半监督等前序环节，让起重机在靠近现场的位置就完成检测与预警，而不是事事都等云端。前提始终是那一条：边界条件先算清楚，精度损失以实测验收为准。

📖 相关阅读：起重机端侧跑AI模型，精度与算力成本到底怎么取舍 | 大模型进起重机运维能落地哪些事

常见问题