KI-Fehlerdiagnose im Kran: Halluzinationen vermeiden

Stellen Sie sich eine Nacht in einem Stahlwerk vor: Im Bereitschaftsraum der Brückenkran-Wartung meldet der KI-Assistent einen Alarm – „Belagverschleiß am Hauptbremsen-Hubwerk hat die Verschrottungsgrenze erreicht, sofortiger Stillstand und Austausch empfohlen“ – und verweist auf eine angebliche Norm, wonach die Restdicke des Reibbelags 40 % der Originalstärke nicht unterschreiten darf. Der Bereitschaftsdienst folgt der Empfehlung, stoppt die Anlage und demontiert die Bremse über Nacht – nur um festzustellen, dass der Belag noch 62 % Dicke aufweist, weit entfernt von der Verschrottungsgrenze. Die gesamte Produktionslinie stand sechs Stunden lang still.

Die erste Reaktion des Bereitschaftsdienstes: Verdacht auf defekten Sensor. Die Verlaufsdaten zu Vibration und Temperatur werden mehrfach geprüft – alles normal. Dann die Suche nach der zitierten „Norm“: In den einschlägigen Konstruktionsvorschriften und Sicherheitsüberwachungsnormen ist die vom KI-Assistenten genannte Klausel nicht auffindbar – sie existiert schlicht nicht. Doch die Angabe von Normnummer, Zahlenwerten und sogar „Anwendungsbereich“ wirkt täuschend echt. Erschwerend kommt hinzu: Die KI präsentiert ihre Aussage mit absoluter Bestimmtheit und in sich schlüssiger Struktur – für normales Wartungspersonal ist der Schwindel vor Ort kaum zu durchschauen.

Die Ursache liegt nicht im Sensor und nicht in der Datenbank, sondern in der Funktionsweise des Sprachmodells selbst: Es wählt bei der Texterzeugung jedes nächste Wort nach Wahrscheinlichkeiten aus – das Ziel ist eine „möglichst plausibel klingende“ Formulierung, keine „faktisch korrekte“ Verifikation. Fehlt eine Norm im Trainingsdatenbestand, sagt das Modell nicht „das weiß ich nicht“, sondern „ergänzt“ die fehlende Klausel mit dem wahrscheinlichsten Sprachmuster. Genau das ist die größte Gefahr im industriellen Umfeld: Eine KI, die so tut, als wisse sie Bescheid, ist weit riskanter als eine, die ihre Wissenslücken eingesteht.

Vom Fehlalarm zur Fehlentscheidung: Wie Halluzinationen eine gefährliche Wirkungskette auslösen

Das obige Szenario ist kein Einzelfall, sondern eine typische Ausprägung von Halluzinationen im industriellen Kontext. Die Gefahr liegt nicht primär in der „falschen Antwort“, sondern darin, dass die falsche Antwort überzeugend wirkt. Das menschliche Gehirn neigt tief verwurzelt dazu, Antworten mit konkreten Zahlen, Normnummern und Fachtermini als vertrauenswürdig einzustufen. Genau solche „Autoritätssignale“ erzeugt das Sprachmodell mit hoher Perfektion – selbst wenn der Inhalt frei erfunden ist.

Aus dieser Perspektive betrachtet, entfaltet sich der Schaden von Halluzinationen in einer dreistufigen Verstärkungskette.

Stufe 1 – Fehlalarm: Das Modell erzeugt eine fachlich wirkende, aber falsche Schlussfolgerung – sei es ein erfundener Standardgrenzwert oder eine falsch zugeordnete Fehlerursache.

Stufe 2 – Fehlurteil: Das Personal überspringt die Verifizierung, weil die Schlussfolgerung „plausibel klingt“, und übernimmt die Modellausgabe direkt als Beurteilungsgrundlage.

Stufe 3 – Fehlmaßnahme: Auf Basis des Fehlurteils werden Stillstand, Demontage und Teileaustausch veranlasst – unnötige Arbeitsstunden und Stillstandszeiten sind die Folge, schlimmer noch: Die eigentliche Gefahr bleibt unentdeckt und kann zu einem Unfall führen.

Kelude Schwerindustrie beobachtet in Feldstudien immer wieder dasselbe Muster: Das Vertrauen des Wartungspersonals in die KI wächst proportional zur Anzahl konkreter Zahlen in der KI-Ausgabe. Genau hier ist höchste Wachsamkeit geboten – denn Halluzinationen treten am häufigsten an genau diesen beiden Stellen auf: bei „konkreten Zahlenwerten“ und „Normenklauseln“.

Warum KI mit Überzeugung erfindet: Fehlende Faktenbindung in der Wahrscheinlichkeitsgenerierung

Um zu verstehen, warum Halluzinationen kaum zu verhindern sind, muss man den Erzeugungsmechanismus großer Sprachmodelle betrachten. Im Kern handelt es sich um ein Wahrscheinlichkeitsmodell: Auf Basis des bereits generierten Kontexts wird das jeweils wahrscheinlichste nächste Wort berechnet – Wort für Wort entsteht so der Text. Dieser Mechanismus ist hervorragend darin, flüssige, grammatikalisch korrekte und sprachlich natürliche Ausgaben zu erzeugen – aber es gibt keinerlei Instanz, die prüft, ob die Aussage in der Realität stimmt.

Anders ausgedrückt: Das Sprachmodell optimiert auf „sprachliche Plausibilität“, nicht auf „faktische Richtigkeit“. Wird es nach einer Normklausel gefragt, die nicht in seinen Trainingsdaten enthalten ist, liefert es nicht „nicht gefunden“, sondern setzt aus erlernten Sprachmustern eine Kombination aus Nummer, Fachbegriff und einem plausibel wirkenden Grenzwert zusammen. Je fachspezifischer und konkreter die Erfindung ausfällt, desto schwerer ist sie zu durchschauen.

Genau deshalb betont eine Norm wie ISO 24621:2022 zur KI-Fehlerdiagnose an Kränen die Rückverfolgbarkeit von Diagnoseergebnissen so nachdrücklich: Eine qualifizierte Fehlerdiagnose muss sich auf konkrete Sensordaten und eine nachvollziehbare Beurteilungsgrundlage zurückführen lassen – nicht auf eine nicht verifizierbare Behauptung. Genau diese Rückführungskette fehlt in der Standardausgabe großer Sprachmodelle – und genau das erklärt, warum der direkte Anschluss an Alarm- und Entscheidungsketten problematisch ist.

Die Ingenieure von Kelude Schwerindustrie bezeichnen dieses Phänomen als „Flüssigkeits-Halluzination“: Je flüssiger die Ausgabe, desto eher überdeckt sie fehlende Fakten. Die Industrie braucht jedoch das Gegenteil – lieber ein klares „unsicher, bitte prüfen“ als eine wohlklingende, aber falsche Schlussfolgerung.

Drei typische industrielle Halluzinationsformen: Erfundene Normen, Schritte und Daten im Vergleich

Bezogen auf die konkreten Einsatzszenarien der Kranwartung treten Halluzinationen vor allem in drei Formen auf, jeweils mit unterschiedlichem Schadenspfad.

Form 1 – Erfundene Normenklauseln. Dies ist die gefährlichste Variante. Die KI zitiert eine nicht existierende Normnummer oder versieht eine reale Norm mit falschen Grenzwerten. Folgt das Wartungspersonal dieser Vorgabe, entscheidet eine fiktive „Norm“ anstelle der tatsächlich gültigen Spezifikation.

Form 2 – Erfundene Reparaturschritte. Die von großen Sprachmodellen generierten Wartungsabläufe wirken oft „vollständig“, lassen jedoch mitunter sicherheitsrelevante Pflichtschritte wie Spannungsfreischaltung, Druckentlastung oder Energieisolierung aus. Fehler in Reihenfolge oder Vollständigkeit der Schritte gefährden unmittelbar die Sicherheit des Wartungspersonals.

Form 3 – Erfundene Messdaten. Die KI kann Vibrationsamplituden oder Temperaturwerte ausgeben, die nie von einem Sensor erfasst wurden, und daraus eine „Lagerschädigung“ oder „Zahnradverschleiß“ ableiten. Solche erfundenen Daten lassen die Zustandsbewertung auf tönernen Füßen stehen – die Austauschentscheidung verliert damit jede sachliche Grundlage.

Die folgende Tabelle stellt die Schadensbilder und die jeweiligen Kontrollpunkte der drei Halluzinationsformen gegenüber:

Von der Einzelfehlerkorrektur zur systemischen Absicherung: Ein präventiver Rahmen für vertrauenswürdige KI

Da Halluzinationen aus dem Generierungsmechanismus selbst resultieren, ist es unrealistisch, darauf zu hoffen, „das Modell so zu ändern, dass es keine Fehler mehr macht". Der richtige Ansatz für industrielle Bereitstellung besteht darin, die Verteidigungslinie von der „Korrektur im Nachhinein" auf eine „systemische Absicherung" vorzuverlagern, sodass KI-Halluzinationen gar nicht erst bis zur Entscheidungsebene vordringen können.

Die erste Verteidigungslinie besteht darin, dass KI-generierte Schlussfolgerungen zwingend an einer Tatsachenquelle verankert sein müssen. Jede Normenklausel, jeder Grenzwert und jede Messung, auf die in einer Alarmmeldung Bezug genommen wird, muss auf den ursprünglichen Ursprung in der Normdatenbank und den Sensoraufzeichnungen zurückgeführt werden können. Was nicht nachvollziehbar ist, wird nicht in den Bearbeitungsprozess übernommen. Diese Anforderung steht im Einklang mit dem Grundsatz des GB/T 28264 — Sicherheitsüberwachungs- und Managementsystem für Hebezeuge, der betont, dass „Sicherheitsüberwachungsparameter über echte Aufzeichnungen verfügen müssen" — KI-Schlussfolgerungen dürfen nicht losgelöst von echten Überwachungsdaten existieren.

Die zweite Verteidigungslinie besteht darin, der KI klare Fähigkeitsgrenzen zu setzen: Sie darf Hinweise geben, zusammenfassen und recherchieren, aber nicht eigenständig Entscheidungen wie Stillstand, Freigabe oder Teilewechsel treffen. Bei Anfragen außerhalb dieser Grenzen muss das Modell eindeutig ablehnen oder an die manuelle Bearbeitung zurückverweisen, anstatt „eine Antwort zu erzwingen".

Die dritte Verteidigungslinie ist die manuelle Überprüfung und die lückenlose Prüfprotokollierung. Kelude verfolgt in der praktischen Umsetzung einen klaren Grundsatz: Jede KI-Ausgabe, die den Gerätezustand bewertet, muss durch manuelle Bestätigung freigegeben werden. Dabei werden die ursprüngliche KI-Ausgabe, die zitierten Referenzen und das Ergebnis der Überprüfung gemeinsam dokumentiert. Selbst wenn eine Halluzination die ersten beiden Verteidigungslinien überwindet, wird sie durch die Überprüfung gestoppt und durch die Prüfprotokollierung rückverfolgbar gemacht.

Die Empfehlung von Kelude lautet: Anstatt anzustreben, dass „KI niemals Fehler macht", sollte man davon ausgehen, dass „KI jederzeit Fehler machen kann" und die drei Sicherheitsmechanismen — Überprüfung, Protokollierung und Grenzziehung — robust gestalten. Halluzinationen lassen sich nicht vollständig eliminieren, aber sie können von Entscheidungen ferngehalten werden.

📖 Weiterführende Literatur: Großmodelle in der Kranwartung: Praktische Anwendungen und Fähigkeitsgrenzen | Anlagenzustandsmanagement PHM: Ingenieurpraxis für die vorausschauende Wartung von Brückenkranen mit Big Data und ML

Häufige Fragen