KI-Inspektion wird ungenauer: Modell-Drift bei Kranen verhindern
📋 Kernzusammenfassung
Eine überraschende Tatsache: KI-Inspektionen liefern bei der Inbetriebnahme präzise Ergebnisse, verschlechtern sich aber nach einigen Monaten zunehmend. Das liegt nicht an einem defekten Modell, sondern an sich ändernden Betriebsbedingungen und alternden Sensoren, die eine Datenverteilungsverschiebung verursachen – das Modell hält nicht Schritt. Dieses Phänomen nennt man Modelldrift. Dieser Artikel erläutert die vier Erscheinungsformen der Drift, wie man sie bestätigt, wo die Ursachen liegen, und stellt ein Präventionssystem aus Überwachung, Retraining und Rollback vor.
Bei der Abnahme des KI-Inspektionssystems wurde eine Erkennungsgenauigkeit von 97,3 % für Drahtbruch erreicht – alle waren zufrieden. Doch nach einem halben Jahr Betrieb stellte der erfahrene Meister fest, dass das System zunehmend Alarme verpasste und Fehlalarme auslöste. Dieselben Drahtseile, die früher zuverlässig erkannt wurden, blieben nun unentdeckt.
Die erste Reaktion vieler ist: „Das Modell ist defekt" oder „Der Lieferant hat uns getäuscht". In Wirklichkeit ist die häufigere Ursache Modelldrift – das Modell ist nicht schlechter geworden, sondern die Betriebsbedingungen vor Ort haben sich geändert, und das Modell ist nicht mehr angepasst.
Modelldrift ist ein unvermeidbares Thema nach der Inbetriebnahme eines KI-Systems. Im Folgenden wird erläutert, wie sie sich äußert und wie man sie verhindert.
Vier Anzeichen für Modelldrift: sinkende Genauigkeit, mehr Fehlalarme, mehr verpasste Alarme, Versagen unter neuen Bedingungen
Das erste Anzeichen ist eine sinkende Genauigkeit. Vergleicht man die Erkennungsergebnisse derselben Testdaten zwischen der Inbetriebnahmephase und nach mehreren Monaten Betrieb, zeigt sich ein deutlicher Rückgang der Genauigkeit.
Das zweite Anzeichen sind zunehmende Fehlalarme. Normale Proben werden immer häufiger als anomal eingestuft, das Wartungspersonal erhält ständig falsche Warnmeldungen und das Vertrauen in das System schwindet zunehmend.
Das dritte Anzeichen sind mehr verpasste Alarme. Echte Fehler werden nicht mehr erkannt – Drahtbrüche und Risse, die eine Frühwarnung auslösen sollten, werden übersehen. Dies ist die gefährlichste Erscheinungsform, da die sicherheitstechnischen Folgen am schwerwiegendsten sind.
Das vierte Anzeichen ist das Versagen unter neuen Betriebsbedingungen. Bei neuen Lastmaterialien, anderen Lichtverhältnissen oder geänderten Arbeitstaktzeiten versagt das Modell direkt. Diese vier Erscheinungsformen sind typische Signale für Modelldrift.
Diagnoseverfahren: Modelldrift oder Datenproblem sicher unterscheiden
Wenn die Erkennungsleistung nachlässt, sollte man nicht voreilig Schlüsse ziehen. Es muss geklärt werden, ob eine Modelldrift vorliegt oder ob Sensoren, Daten oder die Umgebung die Ursache sind.
Erster Schritt: Eingangsdaten prüfen. Zuerst muss bestätigt werden, dass Kameras und Sensoren nicht defekt, verschmutzt oder verstellt sind und die Eingangsdaten sauber sind. Bei fehlerhaften Eingangsdaten nützt auch das beste Modell nichts.
Zweiter Schritt: Vergleich mit der historischen Baseline. Die Prüfparameter aus der Inbetriebnahmephase dienen als Baseline und werden mit den aktuellen Werten verglichen. Entscheidend ist, ob Genauigkeit, Fehlalarmrate und Fehlerkennungsrate kontinuierlich sinken. Ein anhaltender Rückgang ist charakteristisch für Drift.
Dritter Schritt: Stichprobenartige Prüfung fehlerhafter Proben. Die zuletzt falsch klassifizierten Proben werden manuell nachgeprüft, um festzustellen, ob Fehler konzentriert unter einer bestimmten Betriebsbedingung oder zufällig auftreten. Eine Häufung bei einer neuen Betriebsbedingung deutet klar auf Drift hin. Kelude Schwerindustrie geht bei der Diagnose nach diesem Dreischritt vor: Daten, Baseline, Fehlerproben – erst Datenprobleme ausschließen, dann Drift feststellen. ISO 24621 „KI-Fehlerdiagnose für Krane" stellt Anforderungen an die kontinuierliche Wirksamkeit von Diagnosemodellen.
Ursachenanalyse: geänderte Betriebsbedingungen, Sensoralterung, Datenverteilungsverschiebung
Die Ursache für Modelldrift liegt darin, dass die Datenverteilung beim Training nicht mehr mit der Datenverteilung im Betrieb übereinstimmt. Drei Quellen sind dafür verantwortlich.
Erstens: geänderte Betriebsbedingungen. Wenn sich das Lastmaterial, die Lichtverhältnisse oder die Arbeitstaktzeit ändern, weichen die Bild- und Sensordaten vor Ort von der Trainingsverteilung ab. Das Modell kennt diese neuen Verteilungen nicht und kann nicht mehr zuverlässig klassifizieren.
Zweitens: Sensoralterung. Staub auf der Kamera, Verschleiß der Linse oder Sensordrift führen dazu, dass die erfassten Daten allmählich vom kalibrierten Zustand abweichen. Diese langsame Verschiebung ist am schwersten zu erkennen und akkumuliert am ehesten zu einer Drift.
Drittens: Verschiebung des Konzepts selbst. Beispielsweise ändert sich die Norm für „verschrottungsreifen Drahtbruch" je nach Drahtseiltyp und Nutzungsdauer. Das Modell hat die alte Norm gelernt und stimmt nicht mehr mit der neuen überein. Im Kern handelt es sich bei allen drei Quellen um eine Datenverteilungsverschiebung – nur Geschwindigkeit und Richtung der Verschiebung unterscheiden sich. Kelude Schwerindustrie integriert die periodische Kalibrierung von Sensoren in die Wartung, um Drift an der Quelle zu verlangsamen.
Präventionssystem gegen Drift: Überwachung, Retraining, Rollback
Modelldrift lässt sich nicht verhindern, aber kontrollieren – durch das Dreigespann Überwachung, Retraining und Rollback.
Überwachung ist die Grundvoraussetzung. Nach der Inbetriebnahme werden Online-Kennwerte wie Genauigkeit, Fehlalarmrate und Fehlerkennungsrate kontinuierlich beobachtet. Schwellwerte werden festgelegt; sobald sich die Kennwerte verschlechtern, wird alarmiert und Drift frühzeitig erkannt.
Retraining ist das Mittel. Nach Erkennung einer Drift wird das Modell mit den unter den neuen Betriebsbedingungen gesammelten Daten neu trainiert oder inkrementell aktualisiert, damit es den Veränderungen vor Ort folgt. Die Betriebsdaten aus GB/T 28264-2017 „Sicherheitsüberwachungs- und Managementsystem für Hebezeuge" unterstützen das Retraining durch ihre lückenlose Dokumentation. Durch kontinuierliche Dateneinspeisung und Modellaktualisierung wird Drift dauerhaft korrigiert.
Rollback ist die Absicherung. Falls ein neues Modell schlechter abschneidet als das vorherige, muss ein Ein-Klick-Rollback auf die letzte Version möglich sein, damit die Driftkorrektur nicht selbst zum Problem wird. Kelude Schwerindustrie macht Überwachung, Retraining und Rollback zur Standardausstattung von KI-Systemen, damit das Modell im Dauerbetrieb einsatzfähig bleibt.
Übersicht: Modelldrift-Diagnose und Maßnahmen
| Drifterscheinung | Diagnosemethode | Grundursache | Gegenmaßnahme | Präventionsmaßnahme |
|---|---|---|---|---|
| GenauigkeitSenken | VergleichBasislinie für die Inbetriebnahme | Datenverteilungsdrift | Modell nachtrainieren | In ProduktionKennwertÜberwachung |
| FehlalarmAnstieg | StatistikFehlalarmrate | SchwellwertNicht mehr anpassungsfähig | SchwerKalibrierungSchwellwert | Geschlossener Regelkreis für Alarm-Feedback |
| verpasster AlarmAnstieg | Stichprobenprüfung fehlerhafter Stichproben | NeuBetriebsbedingungenUnbekannte Stichproben | Ergänzung neuer DatenBetriebsbedingungenDaten | Kontinuierliche Datenrückspeisung |
| NeuBetriebsbedingungenVersagen | GemäßBetriebsbedingungenZerlegung | BetriebsbedingungenExtrapolation über die Grenzen hinaus | Rollback auf alte Version | Version kann zurückgerollt werden |
Schnellreferenz der Normenklauseln zum Modell-Drift
| Norm | Kernpunkte der Klausel | Beziehung zum Driftmanagement |
|---|---|---|
| ISO 24621 | KranKI-FehlerdiagnoseFramework | DiagnosemodellDauerhaft gültig |
| GB/T 28264 — Sicherheitsüberwachungs- und Managementsystem | SicherheitsüberwachungDokumentationsspurAnforderungen | BetriebsdatenUnterstützung des Nachtrainings |
| ISO 24445 | intelligenter Sensortechnische Bedingungen | SensorAlterungErfassung |
Häufige Fragen zu Model Drift
F: Woran unterscheide ich Model Drift von einem grundsätzlichen Modellfehler?
A: Entscheidend ist der zeitliche Verlauf der Kennwerte. Ein grundsätzlicher Modellfehler zeigt sich in der Regel bereits am ersten Tag nach der Inbetriebnahme. Bei Model Drift liefert das Modell anfangs gute Ergebnisse und verschlechtert sich erst mit der Zeit. Zur Beurteilung vergleichen Sie die Baseline-Kennwerte aus der Anfangsphase mit den aktuellen Werten. War die Leistung früher gut und nimmt jetzt ab, insbesondere bei bestimmten neuen Betriebsbedingungen, spricht das für Drift. Schließen Sie zuerst Sensor- und Datenprobleme aus, bevor Sie die Drift-Diagnose stellen.
F: Was ist der erste Schritt, wenn Model Drift festgestellt wird?
A: Prüfen Sie zuerst die Eingabedaten: Sind Sensoren und Kameras intakt, sauber und korrekt ausgerichtet? Schließen Sie Datenqualitätsprobleme aus. Vergleichen Sie dann die Kennwerte mit der Baseline, um einen anhaltenden Abwärtstrend zu bestätigen. Ist Drift bestätigt, bewerten Sie zuerst den Einflussbereich. Bei dringenden Fällen rollen Sie zunächst auf die letzte stabile Version zurück, um Schaden zu begrenzen, und trainieren das Modell anschließend mit Daten aus den neuen Betriebsbedingungen neu. Die Reihenfolge ist: Daten prüfen, Drift bestätigen, Rollback zur Schadensbegrenzung, Neustart durch Retraining.
F: Wie lässt sich Model Drift proaktiv verhindern?
A: Drei Maßnahmen sind entscheidend: Überwachen Sie nach der Inbetriebnahme kontinuierlich Online-Kennwerte wie Genauigkeit, Fehlalarm und verpassten Alarm, und definieren Sie Schwellwerte für eine frühzeitige Warnung. Speisen Sie kontinuierlich Felddaten zurück und trainieren Sie das Modell regelmäßig neu, damit es mit den sich ändernden Betriebsbedingungen Schritt hält. Halten Sie außerdem die Möglichkeit eines Rollbacks vor, um jederzeit auf eine frühere Version zurückwechseln zu können. Drift lässt sich nicht vollständig verhindern, aber durch frühzeitige Erkennung, regelmäßiges Retraining und Rollback-Optionen lässt sich der Einfluss auf ein Minimum begrenzen.
Zur kontinuierlichen Aktualisierung bei Model Drift finden Sie Ansätze zur Datenerfassung und zum Retraining im Artikel „Trainings- und Testplattform für KI-Visualgorithmus für Krane fertiggestellt – über 500.000 annotierte Industriefehler-Datensätze gesammelt“.
Ein KI-Modell ist mit der Inbetriebnahme nicht „fertig“. Betriebsbedingungen und Daten ändern sich – das Modell muss sich entsprechend anpassen. Kelude setzt auf die Kombination aus Überwachung, Retraining und Rollback, um die Erkennungsmodelle im Dauerbetrieb einsatzfähig zu halten.
