Как устранить галлюцинации ИИ в промышленной диагностике кранов

Представьте раннее утро: в диспетчерской мостового крана на металлургическом заводе AI-ассистент выдаёт аварийный сигнал — «Износ фрикционных накладок тормоза главного подъёма достиг предельного значения для списания, рекомендуется немедленная остановка и замена», — и прилагает «ссылочный стандарт», утверждая, что некий пункт предписывает остаточную толщину накладок не менее 40% от исходной. Дежурный останавливает кран и вскрывает тормоз, но обнаруживает, что толщина накладок составляет 62% — далеко до предела списания. Вся линия простаивает шесть часов впустую.

Первая реакция дежурного — подозрение на неисправность датчика. Он проверяет исторические кривые вибрации и температуры — данные в норме. Затем он ищет «ссылочный стандарт»: пересматривает технические условия на проектирование и стандарты контроля безопасности, но не находит ни одного пункта, на который ссылался AI. Модель процитировала несуществующее требование, при этом номер стандарта, цифры и даже «область применения» выглядели вполне правдоподобно. Хуже того — уверенный тон и логичная структура ответа не позволяют обычному персоналу распознать подделку на месте.

Корень проблемы — не в датчиках и не в базе данных, а в самом принципе работы языковой модели: при генерации текста она выбирает следующее слово по вероятности, стремясь к «правдоподобному» потоку речи, а не к «фактической» проверке истинности. Когда в обучающих данных нет текста нужного стандарта, модель не говорит «не знаю», а «достраивает» недостающий пункт по наиболее вероятной языковой модели. Именно это делает ситуацию по-настоящему опасной в промышленности: AI, который делает вид, что разбирается, страшнее AI, который честно признаёт своё незнание.

Уверенная ложь в аварийном сигнале: как галлюцинация превращается из ложной тревоги в ошибочное вмешательство

Приведённый пример — не исключение, а типичная проекция галлюцинаций языковых моделей на промышленную среду. Опасность здесь не в «неправильном ответе», а в «убедительности ошибки». Человеческий мозг устроен так, что ответы с конкретными цифрами, номерами стандартов и профессиональными терминами автоматически воспринимаются как достоверные. А языковые модели как раз отлично умеют насыщать вывод такими сигналами «авторитетности», даже если содержание выдумано.

С этой точки зрения вред от галлюцинаций — это цепочка усиления из трёх звеньев.

Первое звено — ложная тревога: модель генерирует внешне профессиональное, но ошибочное заключение — будь то выдуманное нормативное предельное значение или неверная атрибуция неисправности.

Второе звено — ошибочная оценка: персонал, видя «правдоподобный» вывод, пропускает этап проверки и принимает выходные данные модели за основание для оценки.

Третье звено — ошибочное вмешательство: на основе неверного решения выполняются остановка, разборка, замена — впустую тратятся время простоя и ресурсы, а настоящая неисправность остаётся незамеченной и может привести к аварии.

Специалисты Келуде Тяжёлая Промышленность в ходе полевых исследований постоянно наблюдают одну закономерность: степень доверия персонала к AI прямо пропорциональна количеству «конкретных цифр» в его выводе. Именно это должно настораживать больше всего — ведь галлюцинации легче всего фабрикуются именно в области «конкретных цифр» и «пунктов стандартов».

Почему AI уверенно сочиняет: двойной дефицит вероятностной генерации и проверки фактов

Чтобы понять, почему галлюцинации «неустранимы», нужно разобраться в механизме генерации. По своей сути это вероятностная модель: имея предыдущий контекст, она вычисляет наиболее вероятное следующее слово и генерирует текст пошагово. Этот механизм отлично создаёт плавный, связный и грамматически корректный текст, но ни на одном этапе не проверяет, соответствует ли утверждение реальности.

Иными словами, языковая модель обеспечивает «языковую правдоподобность», а не «фактическую достоверность». Когда её спрашивают о пункте стандарта, отсутствующем в обучающих данных, она не отвечает «данные не найдены», а собирает из усвоенных языковых шаблонов конструкцию «номер + термин + правдоподобное предельное значение». Чем профессиональнее и конкретнее выглядит результат, тем труднее его распознать.

Именно поэтому такие стандарты, как ISO 24621:2022 «Диагностика неисправностей кранов с помощью ИИ», особо подчёркивают требование «прослеживаемости» диагностических заключений: корректный вывод о неисправности должен быть сводим к конкретным данным датчиков и основанию для оценки, а не быть непроверяемым утверждением. В стандартном выводе языковой модели как раз отсутствует эта «цепочка обратного прослеживания» — что и объясняет, почему прямое подключение модели к системе принятия решений по аварийным сигналам приводит к проблемам.

Инженеры Келуде Тяжёлая Промышленность называют это явление «галлюцинацией плавности»: чем плавнее вывод, тем легче он маскирует отсутствие фактов. Промышленная среда требует прямо противоположного — лучше честное «неопределённо, требуется проверка», чем уверенный и гладкий, но ошибочный вывод.

Три самых распространённых типа промышленных галлюцинаций: выдуманные стандарты, выдуманные процедуры, выдуманные данные

В контексте обслуживания кранов галлюцинации проявляются в трёх основных формах, каждая из которых имеет свой механизм вреда.

Первый тип — выдуманные пункты стандартов. Это самый опасный случай. AI может сослаться на несуществующий номер стандарта или приписать реальному стандарту неверное предельное значение. Если персонал на этом основании останавливает кран или разрешает его эксплуатацию, то решение принимает вымышленный «стандарт» вместо реального.

Второй тип — выдуманный порядок ремонта. Сгенерированная моделью процедура техобслуживания часто выглядит «полной», но может упускать обязательные требования безопасности: отключение питания, сброс давления, энергетическую изоляцию. Ошибка в последовательности или полноте шагов напрямую угрожает безопасности персонала.

Третий тип — выдуманные данные измерений. AI может выдать амплитуду вибрации или показание температуры, которые никогда не фиксировались датчиками, и на этом основании заключить об «износе подшипника» или «износе шестерни». Такие вымышленные данные превращают оценку состояния в зыбкую почву, и решение о замене теряет всякое основание.

В таблице ниже сопоставлены механизмы вреда и меры контроля для всех трёх типов галлюцинаций:

Профилактический подход к внедрению надёжного ИИ: от точечных исправлений к системной защите

Поскольку галлюцинации обусловлены самим механизмом генерации, рассчитывать на то, что «модель можно сделать безошибочной», нереалистично. Правильный подход для промышленного внедрения — сместить акцент с «исправления после факта» на «системную защиту», чтобы у ИИ не было возможности передать галлюцинаторный результат на этап принятия решений.

Первый рубеж защиты — обязательная привязка выводов ИИ к фактическим источникам. Любой пункт стандарта, предельное значение или измерение, на которое ссылается система в сигнале тревоги, должно быть проверяемо по базе стандартов и журналам датчиков. Если источник не найден — информация не допускается к процессу обработки. Этот подход согласуется с требованием GB/T 28264 — система мониторинга и управления безопасностью грузоподъёмных машин, подчёркивающим необходимость реальной регистрации параметров контроля безопасности: выводы ИИ не могут существовать в отрыве от фактических данных мониторинга.

Второй рубеж защиты — определение границ возможностей ИИ: он может выполнять напоминания, обобщения и поиск, но не уполномочен принимать решения об остановке, допуске или замене компонентов. Запросы, выходящие за эти границы, модель должна чётко отклонять или передавать на ручную проверку, а не «отвечать любой ценой».

Третий рубеж защиты — ручная проверка и аудит с сохранением следов. Келуде Тяжёлая Промышленность в своей практике придерживается принципа: любой вывод ИИ, влияющий на оценку состояния оборудования, должен пройти подтверждение оператором, а исходный вывод ИИ, использованные источники и результат проверки — сохраняться в журнале. Таким образом, даже если галлюцинация преодолеет первые два рубежа, она будет остановлена на этапе проверки и отслежена при аудите.

Рекомендация Келуде Тяжёлая Промышленность: вместо стремления к «абсолютно безошибочному ИИ» следует исходить из того, что «ИИ может ошибиться в любой момент», и основательно проработать три барьера: ручную проверку, сохранение следов и ограничение границ. Галлюцинации невозможно устранить полностью, но их можно не допустить до этапа принятия решений.

📖 Похожие материалы: Большие модели в обслуживании кранов: практические сценарии и граница возможностей | Управление состоянием оборудования PHM: предиктивное техническое обслуживание мостовых кранов на основе больших данных и ML

Часто задаваемые вопросы