Wissensdestillation: KI-Modell verkleinern, Genauigkeit erhalten

Eine einfache Rechnung: Bei der Edge-Bereitstellung von Bildverarbeitungsmodellen für Krane sind Genauigkeit und Modellgröße grundsätzliche Gegenspieler. Ein großes Modell mit Dutzenden von Schichten und einer Parameteranzahl im dreistelligen Millionenbereich erkennt Drahtseil-Drahtbruch und beurteilt die Lastpositionierung präziser – doch es läuft entweder auf dem Server mit einer Inferenz-Latenz von mehreren zehn Millisekunden, oder das Edge-Gerät ist damit schlicht überfordert. Für Greif- und Positioniervorgänge sowie die Online-Prüfung, die eine Millisekunden-Reaktion erfordern, ist eine Latenz von mehreren zehn Millisekunden bereits ein Risiko.

Umgekehrt bietet ein reines Kleinstmodell niedrige Latenz und geringe Leistungsaufnahme – ein Edge-Gerät mit wenigen Watt genügt –, doch die Genauigkeit bleibt oft spürbar dahinter zurück. Die Rechnung läuft am Ende darauf hinaus: Das große Cloud-Modell hat ausreichend Rechenleistung, aber hohe Latenz; das kleine Edge-Modell hat niedrige Latenz, aber geringere Genauigkeit. Genau diese Genauigkeitslücke soll die Wissensdestillation schließen – nicht durch größere Hardware, sondern indem das große Modell dem kleinen Modell seine „Entscheidungskompetenz" vermittelt.

Das klingt nach „Lehrling macht Meister", doch technisch steckt eine berechenbare Verlustfunktion mit klaren Randbedingungen dahinter. Kelude hat bei der Edge-Bereitstellung wiederholt verifiziert: Ob die Destillation gelingt, hängt zuerst davon ab, ob die Randbedingungen sauber definiert sind – nicht davon, wie gut man Formeln auswendig kann. Im Folgenden wird genau das systematisch aufgeschlüsselt, beginnend mit den Randbedingungen.

Wann lohnt sich Wissensdestillation? Vier Randbedingungen im Vorfeld klären

Die erste Randbedingung: Das Lehrermodell muss bereits die geforderten Kennwerte erreichen. Wissensdestillation ist Wissenstransfer, keine Modellreparatur. Wenn das Lehrermodell selbst die geforderte Genauigkeit nicht erfüllt, überträgt die Destillation lediglich die fehlerhaften Entscheidungen auf das kleine Modell – durch die geringere Kapazität des Schülers werden die Fehler sogar noch verstärkt. Das Prinzip von Kelude bei der Edge-Bereitstellung lautet: Erst das große Modell auf dem Server bis zur Erfüllung der Abnahmekriterien trainieren, dann über Kompression nachdenken.

Die zweite Randbedingung: Das Bereitstellungsziel muss klar definiert sein. Wenn die endgültige Bereitstellung auf einem Edge-Gerät erfolgt, die Latenzanforderungen im Millisekundenbereich liegen und die Leistungsaufnahme nur wenige Watt beträgt, ist die Verkleinerung des großen Modells eindeutig von Nutzen. Läuft das Modell dagegen ohnehin auf einem Server-Cluster und ist latenzunempfindlich, fehlt der Destillation die treibende Motivation. Das Rechenleistungsbudget bestimmt die Obergrenze des Schülermodells und damit auch, ob sich das Vorhaben überhaupt lohnt.

Die dritte Randbedingung: Die Datenverteilung von Trainings- und Einsatzdaten muss übereinstimmen. Das destillierte Schülermodell hat eine geringere Kapazität, eine schwächere Generalisierungsfähigkeit und reagiert empfindlicher auf Datenabweichungen. Je größer die Unterschiede zwischen Trainingssatz und realem Betriebszustand, desto stärker fällt der Genauigkeitsverlust des kleinen Modells aus. Die vierte Randbedingung: Der akzeptable Genauigkeitsverlust muss quantifiziert werden – Destillation führt fast zwangsläufig zu einem gewissen Genauigkeitsabfall. Entscheidend ist, ob dieser Rückgang innerhalb des vom Projekt vorgegebenen Rahmens liegt; maßgeblich ist die Abnahme unter realen Betriebsbedingungen.

So berechnen Sie den Destillationsverlust: Formelableitung für Temperatur-Softening und KL-Divergenz

Das Kernproblem der Wissensdestillation besteht darin, die Ausgabeverteilung des Schüler-Modells möglichst nah an die des Lehrer-Modells anzunähern. Dabei spielen zwei zentrale Mechanismen eine Rolle: das Temperatur-Softening und die KL-Divergenz.

Der erste Schritt ist das Temperatur-Softening. Ein Standard-Softmax bildet die Logits auf eine harte, klassifizierende Wahrscheinlichkeitsverteilung ab. Bei der Destillation werden die Logits jedoch zunächst durch einen Temperaturkoeffizienten T dividiert, wodurch die Verteilung „weicher" wird. Je höher die Temperatur, desto flacher die Verteilung und desto deutlicher treten die relativen Unterschiede zwischen den Klassen hervor. Die so erweichte Wahrscheinlichkeit lässt sich wie folgt darstellen:

q_i = exp(z_i / T) / Σ_j exp(z_j / T)

Dabei ist z_i der ursprüngliche Logit des Modells für die Klasse i, T der Temperaturkoeffizient und q_i die erweichte Wahrscheinlichkeit.

Im zweiten Schritt wird die Verteilungsdifferenz zwischen Schüler- und Lehrer-Modell berechnet. Als Verlustfunktion dient die KL-Divergenz (relative Entropie), die misst, wie stark sich zwei Wahrscheinlichkeitsverteilungen unterscheiden. Der weiche Destillationsverlust wird als T² multipliziert mit der KL-Divergenz definiert; die Multiplikation mit T² kompensiert den Einfluss der Temperaturskalierung auf den Gradienten. Der finale Gesamtverlust ist die gewichtete Summe aus weichem und hartem Verlust:

L = α · T² · KL(q_teacher ‖ q_student) + (1 − α) · CE(y_true, p_student)

Hierbei ist α das Gewicht des weichen Verlusts, CE der Kreuzentropie-Verlust der Ground-Truth-Labels und p_student die Standardausgabe des Schüler-Modells bei Temperatur T = 1.

Warum wird der harte Label-Term beibehalten? Während die weichen Labels die Beziehungen zwischen den Klassen vermitteln, stellt der harte Term sicher, dass das Schüler-Modell nicht von der tatsächlichen Antwort abweicht. Beide Komponenten sind unverzichtbar; der Gewichtungsfaktor α liegt üblicherweise zwischen 0,5 und 0,9 und wird durch Feinabstimmung bestimmt.

Praxisbeispiel zur Überprüfung: Kran-Fehlererkennung von mehreren Hundert Millionen auf einige Millionen Parameter

Ein konkretes Szenario veranschaulicht die obigen Formeln. Angenommen, ein Werk plant die Online-Prüfung von Drahtseil-Oberflächenfehlern: Das Lehrer-Modell ist ein großes, auf einem Server trainiertes neuronales Netz mit einer Parameteranzahl im dreistelligen Millionenbereich. Die Trainingsdaten stammen aus einer langjährig aufgebauten Bilddatenbank für Fehler – in der Branche sind dafür oft Zehntausende bis Hunderttausende Aufnahmen erforderlich. Auch das Defektkennzeichnungssystem von Kelude trägt kontinuierlich zu solchen Datensätzen bei. Nachdem das Lehrer-Modell auf dem Server die geforderte Genauigkeit erreicht hat, wird es zu einem Schüler-Modell mit einigen Millionen Parametern destilliert und auf einem Edge-Gerät in der Anlage bereitgestellt, wo es das laufende Drahtseil Bild für Bild auf Fehler prüft.

Die zentrale Frage dieser Überprüfung ist denkbar einfach: Bleibt die Genauigkeit nach der starken Kompression erhalten? Eine pauschale Antwort gibt es nicht – der relative Genauigkeitsverlust nach der Destillation hängt von einer Reihe von Variablen ab, darunter die Redundanz des Lehrer-Modells, die Temperatur T und die Datenmenge. Maßgeblich ist letztlich die Messung unter realen Betriebszuständen. Dennoch zeigt sich in der Praxis ein relativ stabiler Zusammenhang: Je größer und überparametrisierter das Lehrer-Modell ist, desto größer ist das Kompressionspotenzial und desto höher fällt der Anteil der erhaltenen Genauigkeit aus.

Aus den Ergebnissen geht hervor, dass das Schülermodell bei der Parameteranzahl um etwa eine Größenordnung komprimiert wurde. Die Inferenzlatenz sank von mehreren zehn Millisekunden auf Serverniveau auf Millisekunden an der Edge, die Leistungsaufnahme auf wenige bis etwa fünfzehn Watt. Diese Vorteile kommen vor allem bei Echtzeit-Anwendungen wie Greifpositionierung und Online-Prüfung zum Tragen. Bei der Edge-Bereitstellung setzt Kelude Schwerindustrie genau auf solche destillierten kleinen Modelle als primäre Inferenzeinheiten, während große Modelle nur im Training oder als Fallback für die manuelle Überprüfung dienen.

Eine wichtige Randbedingung sei betont: Die Ausgaben dieser Edge-Erkennungsmodelle müssen letztlich in die Sicherheitsüberwachungs- und Verriegelungslogik des Krans integriert werden. Die Bereitstellungsgrenzen müssen die Anforderungen an Datenerfassung und Echtzeitfähigkeit gemäß GB/T 28264 – Sicherheitsüberwachungs- und Managementsystem für Hebezeuge erfüllen. Gleichzeitig müssen die vom Modell getroffenen Last- und Betriebszustandsbewertungen weiterhin im Rahmen der Betriebszustände gemäß Norm DIN 15018 – Krandimensionierungsnorm validiert werden. Die Wissensdestillation verändert diese Sicherheitsgrenzen nicht, sie beeinflusst lediglich Modellgröße und Inferenzgeschwindigkeit.

Vier häufige Fehler, die die Destillation meist zunichtemachen

Fehler Nummer eins: Das Lehrermodell wird destilliert, bevor es ausreichend trainiert wurde. Garbage in, garbage out – die Destillation verstärkt vorhandene Abweichungen des Lehrers, anstatt sie zu korrigieren.

Fehler Nummer zwei: Die Temperatur T ist falsch gewählt. Ist T zu niedrig, degenerieren die weichen Labels zu harten Labels und das dunkle Wissen geht verloren. Ist T zu hoch, wird die Verteilung zu weich und der Schüler lernt keine Unterscheidungsfähigkeit. Die Temperatur muss für jede Aufgabe individuell eingestellt werden – ein fester Wert aus anderen Projekten funktioniert nicht.

Fehler Nummer drei: Nur weiche Labels lernen, harte Labels ignorieren. Weiche Labels vermitteln Beziehungen, harte Labels sichern die Korrektheit. Beides ist unverzichtbar und wird über den Verlustgewichtungsfaktor α ausbalanciert.

Fehler Nummer vier: Die Datenverteilungsdrift wird ignoriert. Das Schülermodell hat eine geringere Kapazität und schwächere Generalisierung. Wenn Trainingsdaten und Einsatzbedingungen auseinanderdriften, wird der Genauigkeitsverlust verstärkt. Vor und nach der Destillation muss die Datenverteilung verifiziert werden.

Die Präzision eines großen Modells in ein kleines Modell zu packen, ist im Kern eine berechenbare Abwägung zwischen Genauigkeit, Latenz und Leistungsaufnahme. Bei der Edge-KI-Bereitstellung nutzt Kelude Schwerindustrie die Wissensdestillation als zentrales Mittel, um die Leistungsfähigkeit schwerer Modelle auf Edge-Geräte zu verlagern. In Kombination mit vorgelagerten Schritten wie Datenbereinigung und halbüberwachtem Lernen werden Erkennung und Frühwarnung direkt am Kran durchgeführt, statt auf die Cloud zu warten. Die Voraussetzung bleibt jedoch immer dieselbe: Randbedingungen müssen zuerst präzise definiert werden, und der Genauigkeitsverlust wird ausschließlich durch die Abnahmeprüfung unter realen Bedingungen bewertet.

📖 Weiterführende Literatur:KI-Modelle an der Edge im Kraneinsatz: Der richtige Kompromiss zwischen Genauigkeit und Rechenleistung | Große Modelle in der Kranwartung: Konkrete Anwendungsfälle

Häufige Fragen