Обнаружение аномалий крана без аннотации дефектов
📋 Основное резюме
Традиционная ИИ-инспекция требует большого количества аннотированных дефектов, но дефекты как раз редки и трудно поддаются разметке. Неконтролируемое обнаружение аномалий действует наоборот: оно изучает только нормальные данные и классифицирует отклонения от нормы как аномалии, позволяя выявлять неисправности без разметки дефектов. В этой статье разбираются четыре метода — автоэнкодер, изолирующий лес, one-class SVM и кластеризация, а также границы возможностей неконтролируемого обнаружения.
В ИИ-инспекции кранов есть одно непреодолимое препятствие: чтобы обучить модель, нужна аннотация дефектов, но именно дефекты — самые редкие и сложные для разметки данные. Обрыв проволоки каната, трещина сварного шва — на сбор аннотированной выборки уходят месяцы.
Существует ли способ обойти разметку и сразу перейти к раннему предупреждению? Да — неконтролируемое обнаружение аномалий. Оно не изучает, «как выглядит дефект», а только «как выглядит норма»: всё, что не соответствует норме, помечается как аномалия.
Этот подход переворачивает привычную схему «сначала разметка, потом обучение». Разберём, как он работает.
Логика неконтролируемого обнаружения аномалий: изучаем норму, отклонение — аномалия
Разница между обучением с учителем и без учителя — в том, что именно изучает модель. Контролируемое обучение требует большого количества аннотированных образцов дефектов: модель учится распознавать, «как выглядит дефект». Неконтролируемое обучение использует только образцы нормальной работы: модель усваивает, «как выглядит норма».
Логика неконтролируемого обнаружения проста: нормальные данные закономерны и сгруппированы, аномалии же отклоняются от этой закономерности. Модель выявляет паттерн нормальных данных, и если в процессе эксплуатации появляются данные, отклоняющиеся от этого паттерна, они классифицируются как аномалия.
Преимущество очевидно: нормальные образцы доступны повсеместно, а дефектные — редкость. Изучая только норму, мы обходим проблему разметки. Недостаток тоже ясен: метод сообщает лишь «здесь что-то не так», но не определяет, обрыв проволоки это или трещина. Компания Келуде позиционирует неконтролируемое обнаружение как первый фильтр — «сначала выявить аномалию, затем провести ручную проверку», а ISO 24621 «Диагностика неисправностей кранов с помощью ИИ» задаёт основу для системы раннего предупреждения.
Четыре метода без учителя: автоэнкодер, изолирующий лес, one-class SVM, кластеризация
Первый метод — автоэнкодер. Нейронная сеть сжимает нормальные данные, а затем восстанавливает их: норма восстанавливается точно, аномалия даёт большую ошибку реконструкции. По величине этой ошибки и определяется аномалия. Метод хорошо работает с изображениями и многомерными данными датчиков.
Второй метод — изолирующий лес. Используется свойство «аномалию легче изолировать»: данные случайным образом разделяются, аномалия выделяется за несколько шагов, тогда как для нормальной точки требуется много шагов. Метод быстрый, подходит для оперативного скрининга больших потоков данных с датчиков.
Третий метод — one-class SVM. Модель изучает только границу нормальных данных; всё, что оказывается за её пределами, считается аномалией. Подходит для данных среднего объёма с чётко выраженной структурой.
Четвёртый метод — кластеризация. Данные разбиваются на несколько кластеров; изолированные образцы, удалённые от всех центров кластеров, считаются аномалиями. Метод нагляден, легко интерпретируется и подходит для первичного анализа данных. У каждого из четырёх методов своя область применения — выбор зависит от характера данных.
Границы возможностей неконтролируемого обнаружения: выявить может, классифицировать — нет
Неконтролируемое обнаружение аномалий не панацея, и его границы возможностей нужно чётко понимать.
Первое: метод обнаруживает аномалию, но не классифицирует её тип. Он сообщает «эти данные отклоняются от нормы», а причина — обрыв проволоки, износ или дрейф датчика — требует ручной проверки или подключения контролируемой модели.
Второе: чувствительность к качеству нормальных данных. Если в «нормальную» обучающую выборку попали аномалии, модель воспримет их как норму, что приведёт к пропущенным тревогам. Обучающие данные должны быть гарантированно чистыми и действительно нормальными.
Третье: порог требует калибровки. Какая степень отклонения считается аномалией? Слишком свободный порог ведёт к пропущенным тревогам, слишком строгий — к ложным. Порог подбирается опытным путём с учётом реальных условий эксплуатации. Келуде использует неконтролируемое обнаружение для первичного отбора: подозрительные образцы извлекаются и передаются на ручную проверку — это экономит ресурсы на разметку и обеспечивает надёжность.
Как внедрить неконтролируемое обнаружение: сначала отбор, затем проверка и контролируемое дообучение
Оптимальное применение неконтролируемого обнаружения — не замена контролируемого обучения, а их совместная работа.
Шаг первый: первичный отбор без учителя. Модель изучает только нормальные данные и автоматически извлекает подозрительные образцы, отклоняющиеся от нормы. Этот уровень работает без разметки дефектов, а ISO 24619 «Спецификация интерфейса Интернета вещей для кранов» обеспечивает канал сбора нормальных данных.
Шаг второй: ручная проверка подозрительных образцов. Извлечённые образцы передаются инженерам: подтверждённые дефекты пополняют базу аннотаций, шум отсеивается.
Шаг третий: подключение контролируемой модели. Когда база аннотаций накапливает достаточный объём, на её основе обучается классификационная модель для точного определения типа дефекта. Келуде выстраивает процесс в три этапа — отбор, проверка, дообучение: неконтролируемый метод отвечает на вопрос «есть ли аномалия», контролируемый — «что это за дефект».
Сопоставление неконтролируемых методов и областей применения
| Метод | Принцип | Применимые данные | Начальные затраты | Область применения |
|---|---|---|---|---|
| автоэнкодер | Ошибка реконструкции | Высокоразмерные данные изображений | Средний | техническое зрениеПервичный скрининг аномалий |
| Изолирующий лес | Разделение изолированных точек | Огромный объемДатчикПрименимые данные | Низкий | ДатчикСкрининг данных |
| ОдноклассовыйSVM | Обучение границам нормы | Данные среднего объема | Средний | Сценарии с четким распределением |
| Кластерный анализ | Определение выбросов | Требования к интерпретируемости | Низкий | Предварительный анализ данных |
Быстрая справка по пунктам стандартов для неконтролируемого обнаружения
| Стандарт | Ключевые положения | С безконтрольнымОбнаружениеВзаимосвязь |
|---|---|---|
| ISO 24621 | крандиагностика неисправностей с помощью ИИСтруктура | Аномалияраннее предупреждениеСтруктура для |
| ISO 24619 | кранинтерфейс Интернета вещейСпецификация | Нормасбор данныхсистема доступа |
| GB/T 28264 — система мониторинга и управления безопасностью | контроль безопасностиФиксация следовтребования | Нормальный режимисточник данных |
Часто задаваемые вопросы о неконтролируемом обнаружении аномалий
В: В чём принципиальное различие между неконтролируемым обнаружением и обучением с учителем?
О: Различие в том, что именно изучает модель. Обучение с учителем требует аннотации дефектов: модель усваивает, «как выглядит дефект», и способна классифицировать конкретные дефекты, однако стоимость аннотации высока. Неконтролируемое обучение использует только нормальные данные: модель усваивает, «как выглядит норма», и помечает отклонения от неё как аномалии. Аннотации не требуются, но возможно лишь обнаружение аномалий без их классификации. В одном случае сначала выполняется аннотация, затем обучение; в другом — изучается только норма для выявления отклонений.
В: Когда неконтролируемое обнаружение наиболее целесообразно?
О: Оптимально в ситуациях с острой нехваткой аннотированных дефектов, но достаточным объёмом нормальных данных. На начальном этапе проекта, когда база аннотаций ещё не сформирована, неконтролируемый подход позволяет выполнить первичный отсев аномалий и выделить подозрительные образцы — это самый быстрый способ начать. По мере накопления аннотаций в ходе ручной проверки можно переходить к обучению с учителем для точной классификации. Ценность неконтролируемого подхода — в возможности «запуститься и начать предупреждать», а не в замене обучения с учителем.
В: Что делать при большом количестве ложных тревог в неконтролируемом обнаружении?
О: Сначала проверьте чистоту обучающих данных: попадание аномалий в нормальный набор искажает модель. Затем откалибруйте порог — насколько сильное отклонение считать аномалией. Слишком низкий порог даёт много ложных тревог, слишком высокий — пропущенные тревоги. Наконец, проведите ручную проверку образцов ложных тревог: шум исключается, истинные аномалии получают аннотацию. Неконтролируемый подход изначально допускает некоторый уровень ложных тревог, который снижается за счёт калибровки порога и ручной проверки.
Неконтролируемое обнаружение и предиктивное техническое обслуживание дополняют друг друга — с подходом к идентификации аномалий можно ознакомиться в статье «Управление техническим состоянием оборудования (PHM): инженерная практика предиктивного обслуживания мостовых кранов на основе больших данных и ML».
Ценность неконтролируемого обнаружения аномалий в том, что раннее предупреждение на основе ИИ не упирается в аннотацию. Келуде использует неконтролируемый подход для первичного отсева, ручную проверку и последующее наслоение обучения с учителем — это экономит ресурсы на аннотации и обеспечивает надёжность, позволяя системе обнаружения начать работу сразу и становиться точнее со временем.
