Как защитить кран от галлюцинаций ИИ в TSG 51-2023

Доверие опытных специалистов по обслуживанию кранов к большим языковым моделям — это как раз то, что делает их наиболее опасными. Чем более гладким и уверенным выглядит ответ модели, тем выше вероятность, что она с серьёзным видом выдумывает несуществующий пункт стандарта. Модель не колеблется, не говорит «я не уверена» — она выдаёт аккуратно оформленный, самоуверенный по тону ответ, который совершенно не выдерживает проверки.

Это явление имеет специальное название — «галлюцинация». Это не просто «случайная ошибка» модели, а структурный недостаток генеративных моделей: всё, что делает модель, — это предсказывает наиболее вероятное следующее слово, а не проверяет, существует ли факт в действительности. Когда её спрашивают: «Как устранить посторонний шум в редукторе крана?», она может составить правдоподобный процесс технического обслуживания, но действительно ли каждый шаг этого процесса обоснован — модель сама не знает.

Для эксплуатации и обслуживания кранов опасность галлюцинаций заключается не в «потере лица», а в «срыве работы». Несуществующий пункт стандарта, внесённый в ремонтный лист, выдуманная последовательность операций, которую новичок выполняет буквально, сфабрикованные данные мониторинга, на основе которых принимается решение об остановке оборудования — любое из этих событий может перерасти в аварию. Поэтому вопрос не в том, «использовать ли большие языковые модели», а в том, «как удержать их в границах фактов». Компания Келуде Тяжёлая Промышленность на собственном опыте столкнулась с этой проблемой в нескольких проектах по техническому обслуживанию и сделала защиту от галлюцинаций первым этапом внедрения ИИ.

Как выглядят галлюцинации: три типичных проявления — выдуманные пункты стандартов, сфабрикованные шаги ремонта и фиктивные данные мониторинга

Первое типичное проявление галлюцинации — выдумывание несуществующих пунктов стандартов.

Когда большую языковую модель спрашивают: «На какой пункт стандарта вы ссылаетесь?», она может выдать номер и формулировку, которые выглядят абсолютно правильно, но в действительности не существуют. Модель знает, как выглядит обозначение стандарта, и генерирует его по шаблону «ГОСТ номер-год», при этом содержание пункта также звучит вполне убедительно. Если ремонтник не сверится с первоисточником посимвольно, его легко ввести в заблуждение.

Второе типичное проявление — фабрикация внешне правдоподобных шагов ремонта.

Модель может выстроить логичную последовательность «разборка, обнаружение, замена, сборка», но ключевые параметры в ней могут быть «додуманы» — например, момент затяжки болта или значение регулировки зазора. Эти цифры взяты не из какого-либо руководства, а являются статистической комбинацией похожих предложений из обучающих данных.

Третье типичное проявление — выдуманные данные мониторинга и выводы.

Когда вы спрашиваете: «О чём говорят эти данные по вибрации?», модель может сразу сгенерировать анализ с графиками и числовыми значениями, утверждая: «Амплитуда превышена, рекомендуется остановка». Эти числа не имеют никакого отношения к исходным данным, но выглядят достоверно благодаря аккуратному форматированию. Такой тип галлюцинаций наиболее опасен, поскольку напрямую ведёт к ошибочным решениям по эксплуатации.

Процедура диагностики для выявления галлюцинаций: запрос источника, перекрёстная сверка и проверка правдоподобности значений

Выявление галлюцинаций не требует никакой эзотерики — достаточно повторяемой последовательности проверочных действий. Компания Келуде Тяжёлая Промышленность закрепила во внутренней базе знаний контрольный список для перекрёстной сверки, которым линейный персонал может пользоваться пошагово. В основе — три действия.

Первый шаг — запрос источника.

Для каждого номера стандарта, каждого параметра и каждого вывода, выданного моделью, необходимо задать вопрос: «Откуда это?». Только то, что можно связать с конкретной записью в базе знаний, допускается к следующему этапу; если источник не указан или указан расплывчато, ответ сразу помечается как подозрительный.

Второй шаг — перекрёстная сверка.

Ответ модели необходимо построчно сравнить с руководством по ремонту, учётными данными оборудования и историческими заявками. Сходятся ли параметры, соответствует ли модель оборудования, согласуются ли операционные шаги с реальной ситуацией — любое несоответствие указывает на то, что модель «додумывает». Этот шаг позволяет отсечь большинство галлюцинаций, связанных с подменой понятий.

Третий шаг — проверка правдоподобности значений.

Получив от модели числовое значение, сначала спросите себя: «Разумно ли это число?». Очевидно противоречащее здравому смыслу значение крутящего момента или нагрузка, превышающая номинальный диапазон оборудования, должны быть немедленно отвергнуты, даже если они оформлены по всем правилам. Проверка правдоподобности не требует высокой точности — её задача отсеять самые грубые ошибки.

Сравнительная таблица: выявление и обработка галлюцинаций

Почему большие языковые модели уверенно генерируют ложь: корень проблемы — вероятностная генерация и отсутствие фактических ограничений

Чтобы защититься от галлюцинаций, нужно сначала понять, почему они возникают. По своей сути вывод большой языковой модели — это вероятностная генерация: каждый следующий токен выбирается из распределения «наиболее вероятного следующего токена», вычисленного на основе всех предыдущих. У модели нет отдельной базы фактов для сверки, она не понимает семантику «истины» и «лжи» — она лишь усваивает, что «в данном контексте такое продолжение наиболее естественно».

Именно поэтому галлюцинации часто «грамматически безупречны, логически связны, но фактически ошибочны»: связность — это цель обучения модели, а факты — нет. Когда определённый тип контента достаточно часто встречается в обучающих данных, модель усваивает его формат; но когда требуется сгенерировать конкретный, единственный и проверяемый ответ, правильный формат вовсе не означает правильное содержание.

Вторая коренная причина — отсутствие жёстких ограничений на фактическую достоверность.

Настоящее руководство по ремонту: каждый шаг соответствует реально существующему компоненту и параметру. Память же модели — это статистическое сжатие обучающих данных: она может «смешать» информацию о разном оборудовании и разных режимах работы, порождая гибрид, которого не существует в реальности. Такая «путаница» — по сути, сбой поиска, а не осознанная ложь модели.

Третья коренная причина — устаревание знаний.

После завершения обучения знания модели замораживаются. Стандарты пересматриваются, процедуры обновляются, но модель не узнаёт об этом автоматически. Когда её спрашивают о новом стандарте, она может использовать устаревшие данные из памяти или даже собрать из фрагментов воспоминаний «новый стандарт», которого никогда не существовало.

Система профилактики галлюцинаций: генерация с расширением поиска, ограничения базы знаний и границы применения

Первый уровень защиты от галлюцинаций — генерация с расширением поиска, или RAG.

Вместо того чтобы позволить модели «вспоминать» наугад, лучше сначала отправить её на поиск. Подход RAG: перед генерацией ответа система извлекает из корпоративной базы знаний релевантные записи — оригинальные тексты стандартов, руководства по ремонту, исторические заявки — и передаёт их модели вместе с вопросом, требуя «отвечать строго на основе предоставленных материалов». В результате ответ получает фактические точки опоры, а пространство для вымысла модели резко сужается.

Практический опыт Келуде Тяжёлая Промышленность показывает: эффективность RAG напрямую зависит от качества базы знаний. Пункты стандартов и параметры в базе должны быть авторитетными, актуальными и прослеживаемыми до первоисточника. GB/T 28264 — система мониторинга и управления безопасностью грузоподъёмных машин устанавливает нормативные требования к сбору и хранению данных мониторинга — это ключевая основа для фундамента базы знаний. А такие процедуры, как регламент TSG 51-2023 — правила технического надзора за безопасностью грузоподъёмных машин, служат авторитетным источником для базы знаний по ремонту. Каждая ссылка на номер стандарта должна находиться в базе в виде оригинального текста; в противном случае ответ считается галлюцинацией.

Второй уровень — ограничение базы знаний.

Подход прямой: модели разрешено ссылаться только на реально существующие записи в базе знаний, «импровизация» запрещена. Каждый номер стандарта и каждый параметр в ответе должны иметь обратную ссылку на конкретную запись в базе. Этого ограничения недостаточно прописать в промпте — необходима жёсткая проверка на системном уровне: номера стандартов в выводе модели автоматически сверяются с базой, и при отсутствии совпадения ответ блокируется и помечается.

Третий уровень — границы применения.

Это самый важный пункт: большая языковая модель не участвует в решениях по безопасности. Она может обобщать материалы, готовить черновики отчётов, разъяснять пункты стандартов, но решения об остановке оборудования, замене компонентов или допуске к дальнейшей эксплуатации должен принимать человек. Ограничение роли ИИ рамками «помощника», а не «лица, принимающего решения», — самый эффективный способ институционально закрыть риск галлюцинаций.

Четвёртый уровень — ручная проверка.

Любой контент, сгенерированный моделью и предназначенный для практической эксплуатации, должен проходить проверку квалифицированным персоналом. Фокус проверки — не «читается ли гладко», а «можно ли найти каждый номер стандарта, соответствует ли каждый параметр руководству, подкреплён ли каждый вывод исходными данными». Опыт Келуде Тяжёлая Промышленность: встроить проверку в регламентированный процесс гораздо надёжнее, чем полагаться на добросовестность отдельных сотрудников.

Быстрая справка по пунктам стандартов для базы знаний против галлюцинаций

📖 Похожие материалы: Большие языковые модели в обслуживании кранов: практические сценарии и граница возможностей  |  Управление состоянием оборудования PHM: инженерная практика предиктивного технического обслуживания мостовых кранов на основе больших данных и ML

Часто задаваемые вопросы