KI-Halluzinationen in der Kranwartung vermeiden

Das Vertrauen erfahrener Kranwartungstechniker in KI-Modelle ist genau deren gefährlichste Eigenschaft. Denn je flüssiger und überzeugter ein Modell antwortet, desto wahrscheinlicher erfindet es eine Normenklausel, die es gar nicht gibt. Es zögert nicht, sagt nicht „ich bin mir nicht sicher“ – es liefert lediglich eine formal saubere, selbstbewusst formulierte Antwort, die einer Überprüfung nicht standhält.

Dieses Phänomen hat einen eigenen Namen: Halluzination. Es ist nicht einfach ein „gelegentlicher Fehler“ des Modells, sondern eine strukturelle Schwäche generativer Modelle: Das Modell tut von Anfang bis Ende nichts anderes, als das wahrscheinlichste nächste Wort vorherzusagen – es prüft nicht, ob eine Tatsache existiert. Wird es gefragt: „Wie behebt man ein ungewöhnliches Geräusch am Getriebe eines Krans?“, setzt es einen plausibel klingenden Wartungsprozess zusammen – ob aber jeder einzelne Schritt wirklich trägt, weiß das Modell selbst nicht.

Im Kranbetrieb liegt die Schadwirkung von Halluzinationen nicht in „peinlichen Fehlern“, sondern in „falschen Entscheidungen“. Eine nicht existierende Normenklausel landet im Wartungsplan, ein erfundener Wartungsprozess wird von einem Neueinsteiger befolgt, erfundene Erfassungsdaten fließen in eine Stillstandsentscheidung ein – jeder dieser Fälle kann zu einem Sicherheitsvorfall führen. Die Frage ist also nicht „ob man große Modelle einsetzt“, sondern „wie man sie innerhalb der Grenzen der Fakten hält“. Kelude ist in mehreren Wartungsprojekten genau in diese Falle getappt und hat die Halluzinationsprävention als ersten Verfahrensschritt in seine KI-Anwendungen integriert.

Typische Halluzinationsformen: erfundene Normenklauseln, konstruierte Wartungsschritte und erfundene Erfassungsdaten

Die erste typische Erscheinungsform ist das Erfinden nicht existenter Normenklauseln.

Wird das Modell nach der zugrunde liegenden Norm gefragt, kann es eine Nummer und einen Wortlaut liefern, die formal völlig korrekt aussehen, aber in der Realität nicht existieren. Es kennt das Format von Normnummern und generiert nach dem Muster „GB/T Nummer-Jahr“ eine neue – inklusive eines scheinbar fundierten Wortlauts. Wer nicht Wort für Wort in der Originalnorm nachschlägt, lässt sich leicht täuschen.

Die zweite typische Erscheinungsform ist das Konstruieren scheinbar plausibler Wartungsschritte.

Das Modell kann „Demontage, Erkennung, Austausch, Montage“ zu einer logisch schlüssigen Abfolge verbinden – aber die Schlüsselparameter dazwischen sind möglicherweise „frei erfunden“: etwa das Anziehdrehmoment einer Schraube oder der Einstellungswert eines Spiels. Diese Zahlen stammen aus keinem Handbuch, sondern aus statistischen Kombinationen ähnlicher Sätze im Trainingskorpus.

Die dritte typische Erscheinungsform sind erfundene Erfassungsdaten und Schlussfolgerungen.

Fragt man „Was sagen diese Vibrationsdaten aus?“, kann das Modell direkt eine Analyse mit Diagrammwerten generieren und behaupten: „Amplitude überschritten, Stillstand empfohlen.“ Diese Werte haben keinerlei Bezug zu den Originaldaten, wirken aber durch ihr sauberes Format vertrauenswürdig. Diese Form ist am gefährlichsten, weil sie direkt in falsche Wartungsentscheidungen führt.

Diagnoseverfahren zur Halluzinationserkennung: Quellenrückfrage, Kreuzabgleich und Plausibilitätsprüfung von Werten

Halluzinationen zu erkennen erfordert keine Esoterik, sondern einen Satz wiederholbarer Abgleichschritte. Kelude hat in seiner internen Wissensbasis eine Kreuzabgleich-Checkliste verankert, die das Personal vor Ort Schritt für Schritt abarbeitet. Drei Schritte stehen im Mittelpunkt.

Schritt eins ist die Quellenrückfrage.

Für jede Normnummer, jeden Parameter und jede Schlussfolgerung des Modells muss die Frage gestellt werden: „Wo ist die Quelle?“ Nur was sich auf einen konkreten Eintrag in der Wissensbasis zurückführen lässt, geht in die nächste Runde; was keine Quelle nennt oder vage bleibt, wird als verdächtig markiert.

Schritt zwei ist der Kreuzabgleich.

Die Modellantwort wird Punkt für Punkt mit Wartungshandbuch, Anlagenbestand und historischen Arbeitsaufträgen abgeglichen. Stimmen die Parameter? Stimmt der Typ? Passt der Bedienungsschritt zur tatsächlichen Situation? Jede Abweichung zeigt: Das Modell „denkt sich etwas aus“. Dieser Schritt fängt die überwiegende Mehrheit der Halluzinationen ab, bei denen Dinge verwechselt werden.

Schritt drei ist die Plausibilitätsprüfung der Werte.

Bei jedem vom Modell gelieferten Wert stellt sich die Frage: „Ist diese Zahl plausibel?“ Ein Drehmomentwert, der offensichtlich gegen jede Erfahrung verstößt, oder ein Lastwert außerhalb des Nennbereichs der Anlage – selbst wenn das Format noch so sauber ist – muss sofort verworfen werden. Die Plausibilitätsprüfung strebt keine Präzision an, sondern filtert zuerst die krassesten Fehler heraus.

Vergleichstabelle zur Halluzinationserkennung und -behandlung

Warum große Sprachmodelle halluzinieren: Wahrscheinlichkeitsgenerierung und fehlende Faktenbindung

Um Halluzinationen zu verhindern, muss man zunächst verstehen, warum sie entstehen. Die Ausgabe eines großen Sprachmodells ist im Kern eine Wahrscheinlichkeitsgenerierung – jedes erzeugte Zeichen wird aus der Verteilung des „wahrscheinlichsten nächsten Zeichens" abgetastet, die auf Basis aller vorherigen Zeichen berechnet wurde. Das Modell verfügt über keine unabhängige Faktenbasis zum Abgleich und versteht auch nicht die Semantik von „richtig" oder „falsch" – es versteht nur: „In diesem Kontext ist diese Fortsetzung am plausibelsten."

Das erklärt, warum Halluzinationen oft „grammatikalisch perfekt, logisch kohärent, aber inhaltlich falsch" sind: Kohärenz ist das Trainingsziel des Modells, Fakten sind es nicht. Wenn bestimmte Inhalte in den Trainingsdaten häufig genug vorkommen, lernt das Modell deren Format; wenn es jedoch aufgefordert wird, eine konkrete, eindeutige und verifizierbare Antwort zu generieren, bedeutet Formatkorrektheit nicht automatisch inhaltliche Korrektheit.

Der zweite Grund ist das Fehlen einer harten Faktenbindung.

Ein echtes Wartungshandbuch ordnet jedem Schritt reale Bauteile und Parameter zu; das Gedächtnis des Modells hingegen ist eine statistische Verdichtung der Trainingsdaten. Es kann Informationen aus verschiedenen Maschinen und Betriebszuständen „vermischen" und ein Hybrid erzeugen, das in der Realität nicht existiert. Diese „Vermischung" ist im Kern ein Retrieval-Fehler – nicht eine absichtliche Täuschung durch das Modell.

Der dritte Grund ist die zeitliche Begrenztheit des Wissens.

Nach Abschluss des Modelltrainings ist sein Wissen eingefroren. Normen werden überarbeitet, Verfahren aktualisiert – aber das Modell erfährt davon nicht automatisch. Wird es nach einer neuen Norm gefragt, greift es möglicherweise auf Erinnerungen an die alte Norm zurück oder setzt sogar Fragmente zu einer „neuen Norm" zusammen, die nie existiert hat.

Präventionssystem gegen Halluzinationen: retrieval-gestützte Generierung, Wissensbasis-Restriktionen und Grenzsetzung

Die erste Verteidigungslinie gegen Halluzinationen ist die retrieval-gestützte Generierung – allgemein als RAG bekannt.

Statt das Modell aus dem Gedächtnis „rekonstruieren" zu lassen, sollte es zunächst nachschlagen. Der Ansatz der retrieval-gestützten Generierung: Vor der Antwortgenerierung werden aus der Unternehmens-Wissensbasis relevante Einträge abgerufen – Normenoriginaltexte, Wartungshandbücher, historische Arbeitsaufträge – und diese werden zusammen mit der Frage an das Modell übergeben, mit der Anweisung, „ausschließlich auf Basis des bereitgestellten Materials zu antworten". Dadurch erhalten Antworten einen faktischen Ankerpunkt, und der Spielraum für Erfindungen des Modells wird drastisch reduziert.

Die praktische Erfahrung von Kelude Schwerindustrie zeigt: Die Qualität von RAG hängt von der Qualität der Wissensbasis ab. Die Normenklauseln und Parameter in der Wissensbasis müssen autoritativ, aktuell und rückverfolgbar sein. GB/T 28264 — Sicherheitsüberwachungs- und Managementsystem für Hebezeuge stellt normative Anforderungen an die Erfassung und Speicherung von Überwachungsdaten – eine wesentliche Grundlage für die Datenbasis der Wissensbasis. Vorschriften wie TSG 51-2023 — Sicherheitstechnische Sondervorschrift für Sonderausrüstung wiederum sind die autoritative Quelle für die Wartungs-Wissensbasis. Jede referenzierte Norm muss in der Wissensbasis als Originaltext auffindbar sein – andernfalls wird sie als Halluzination behandelt.

Die zweite Ebene ist die Wissensbasis-Restriktion.

Der Ansatz ist direkt: Das Modell darf ausschließlich Einträge referenzieren, die tatsächlich in der Wissensbasis existieren – „Improvisation" ist untersagt. Jede Normnummer und jeder Parameter in der Antwort muss auf einen konkreten Eintrag in der Wissensbasis zurückführbar sein. Diese Restriktion allein im Prompt zu verankern, reicht nicht – sie muss auf Systemebene hart verifiziert werden: Normnummern in der Modellausgabe werden automatisch abgeglichen; ist kein Eintrag vorhanden, wird die Ausgabe blockiert und markiert.

Die dritte Ebene ist die Grenzsetzung.

Dies ist der wichtigste Punkt: Das große Sprachmodell ist nicht an Sicherheitsentscheidungen beteiligt. Es darf Materialien zusammenfassen, Berichtsentwürfe erstellen und Klauseln erläutern – aber Entscheidungen wie „Maschine stoppen oder nicht", „Bauteil tauschen oder nicht" oder „Weiterbetrieb zulässig oder nicht" müssen von Menschen getroffen werden. Die Rolle der KI auf „Unterstützung" statt „Entscheidung" zu begrenzen, ist der wirksamste Weg, Halluzinationsrisiken institutionell abzufangen.

Die vierte Ebene ist die manuelle Überprüfung.

Alle Inhalte, die vom Modell generiert und für die praktische Bedienung verwendet werden sollen, müssen von qualifiziertem Personal überprüft werden. Der Fokus der Überprüfung liegt nicht darauf, „ob es sich flüssig liest", sondern darauf, „ob jede Normnummer auffindbar ist, ob jeder Parameter mit dem Handbuch übereinstimmt und ob jede Schlussfolgerung durch Rohdaten gestützt wird". Die Erfahrung von Kelude Schwerindustrie: Die Überprüfung als festen Prozess zu institutionalisieren ist zuverlässiger, als sich auf die Verantwortung Einzelner zu verlassen.

Schnellreferenz der Normenklauseln für eine halluzinationssichere Wissensbasis

📖 Weiterführende Literatur: Large Language Models in der Kraninstandhaltung: Praktische Anwendungen und Grenzen  |  Anlagenzustandsmanagement (PHM): Ingenieurpraxis für die vorausschauende Wartung von Brückenkranen mit Big Data und ML

Häufige Fragen