LSTM или Transformer для прогнозирования крана

Граничные условия входа и выхода прогнозирования временных рядов: длина последовательности, частота дискретизации и объем данных

Сразу к делу: прогнозирование временных рядов — это не просто подача исторических данных в модель. На вход подается многоканальная последовательность, упорядоченная по времени, на выходе — прогнозные значения на несколько шагов вперед или показатель состояния. От того, насколько корректно заданы граничные условия, напрямую зависит, изучит ли модель реальную закономерность деградации или же выучит шум дискретизации.

Что касается источника данных, сбор параметров грузоподъемных машин не проектируется с нуля. GB/T 28264 — система мониторинга и управления безопасностью грузоподъемных машин предъявляет единые требования к составу контролируемых параметров, их сбору и регистрации. Такие ключевые величины, как грузоподъемность, скорость передвижения, высота подъема, имеют четкие спецификации сбора. Компания Келуде Тяжёлая Промышленность при развертывании мониторинга состояния обычно берет эти спецификации за основу сбора данных, добавляя к ним высокочастотные сигналы вибрации и тока в качестве входных каналов для прогнозирования временных рядов.

Частота дискретизации — вторая граница. На примере вибрации редуктора: характерная частота зацепления шестерен обычно составляет сотни герц, поэтому частота дискретизации должна быть как минимум вдвое выше максимальной характерной частоты отказа. В противном случае возникает эффект наложения спектров, высокочастотные признаки отказа сворачиваются в низкочастотную область, и модель видит искаженный спектр. Длина последовательности определяет, какой горизонт исторического контекста видит модель: слишком короткая — не охватывает полный цикл вращения, слишком длинная — добавляет нерелевантный исторический «хвост», мешающий обучению.

Объем данных — третья граница. Обучающий набор должен покрывать различные комбинации режимов: разную грузоподъемность, разный коэффициент нагрузки, разную частоту вращения. Иначе модель теряет точность при смене режима работы. Режим работы крана в стандарте FEM 1.001 — норма проектирования кранов подразделяется на уровни от A1 до A8, и каждому уровню соответствует свой спектр нагрузок. Модель, обученная только на легком режиме A3, неизбежно даст неверный прогноз в тяжелом режиме A6. Этот фактор часто недооценивают, хотя именно он чаще всего становится причиной резкого падения точности после вывода модели в эксплуатацию.

Вывод формул LSTM-гейтинга и Transformer-само-внимания: что именно они вычисляют

Чтобы понять, что выбрать, нужно разобраться, что каждая из этих архитектур делает математически. Ядро LSTM — механизм гейтинга: три управляющих вентиля регулируют сохранение и забывание информации. Ядро Transformer — само-внимание: каждая позиция последовательности напрямую устанавливает связь со всеми остальными позициями.

Один временной шаг LSTM: скрытое состояние предыдущего момента конкатенируется с текущим входом, затем через обучаемую матрицу весов вычисляются три вентиля и кандидат в память:

Вентиль забывания: f_t = σ(W_f·[h_{t-1}, x_t] + b_f)

Входной вентиль: i_t = σ(W_i·[h_{t-1}, x_t] + b_i)

Кандидат в память: c~t = tanh(W_c·[h_{t-1}, x_t] + b_c)

Состояние ячейки: c_t = f_t ⊙ c_{t-1} + i_t ⊙ c~t

Выходной вентиль: o_t = σ(W_o·[h_{t-1}, x_t] + b_o)

Скрытое состояние: h_t = o_t ⊙ tanh(c_t)

Суть трех вентилей — набор сигмоидных выходов со значениями от 0 до 1, которые поэлементно умножаются на вектор состояния, обеспечивая взвешенное сохранение информации. Состояние ячейки c_t — это магистраль, проходящая через всю последовательность; гейтинг выполняет только линейное суммирование, поэтому градиент может стабильно распространяться по этому пути, что смягчает проблему затухания градиента при обучении на длинных последовательностях.

Transformer идет другим путем: само-внимание не полагается на последовательную передачу, а позволяет каждой позиции вычислить степень сходства со всеми остальными и агрегировать информацию с весами, пропорциональными этому сходству. Формула оценки внимания:

Оценка внимания: Attention(Q, K, V) = softmax(QK^T / √d_k) · V

Здесь Q, K, V — матрицы запросов, ключей и значений соответственно. Деление на √d_k предотвращает попадание softmax в зону насыщения из-за слишком больших значений скалярного произведения. Многоголовое внимание разбивает Q, K, V на несколько подпространств, вычисляемых параллельно, что позволяет модели одновременно учитывать зависимости разных масштабов. В инженерной практике Келуде Тяжёлая Промышленность реальная сложность — не сами формулы, а выбор гиперпараметров из таблицы ниже.

Расчётный пример проверки вибрационного ряда: всегда ли более длинный ряд означает более точную модель

Свяжем приведённые выше параметры на конкретном примере. Предположим, частота вращения входного вала редуктора крана составляет 1000 об/мин, ведущее колесо одноступенчатой зубчатой пары имеет 21 зуб, а частота дискретизации датчика вибрации равна 2560 Гц. Приведённый расчёт служит лишь для демонстрации количественных взаимосвязей между параметрами; фактические значения определяются режимом работы на объекте.

Сначала вычислим частоту вращения: разделим 1000 об/мин входного вала на 60, получим частоту вращения около 16,7 Гц. Затем рассчитаем частоту зацепления: умножим число зубьев (21) на частоту вращения — получим около 350 Гц. Частота Найквиста, соответствующая частоте дискретизации 2560 Гц, составляет 1280 Гц, что покрывает основную гармонику 350 Гц и её третью гармонику на 1050 Гц — такая конфигурация дискретизации является технически обоснованной.

Теперь рассмотрим длину ряда. Число точек дискретизации, приходящихся на один период частоты вращения, равно 2560, делённым на 16,7, — примерно 153 точки. При длине ряда 512 точек окно покрывает около 3,3 периода частоты вращения, что позволяет полностью наблюдать форму колебаний зубчатой пары за несколько оборотов. Если увеличить ряд до 4096 точек, покрытие составит около 26,7 периода — поле восприятия становится шире, однако вычислительная нагрузка самовнимания возрастает с квадрата 512 до квадрата 4096, т.е. примерно в 64 раза.

В этом и заключается математическая причина того, что более длинный ряд не всегда лучше: рост поля восприятия линеен, тогда как вычислительные затраты самовнимания растут квадратично. Компания Келуде Тяжёлая Промышленность при выборе конфигурации обычно ограничивает длину ряда минимально достаточной для покрытия нескольких полных циклов повреждения, после чего постепенно увеличивает её для сравнительных проверок.

Четыре типичные ошибки в прогнозировании временных рядов: утечка данных, длина последовательности, переобучение и смещение меток

Когда модель временных рядов теряет точность после внедрения, причина часто кроется не в новизне модели, а в ошибках на этапе подготовки данных. Ниже перечислены четыре типа ошибок в порядке убывания степени их опасности.

Ошибка первая: утечка данных. В обучающие признаки попадает информация из будущего, например, при нормализации используется среднее значение по всему набору данных или статистические показатели тестового набора применяются к обучающему. Модель отлично показывает себя на валидационном наборе, но сразу же дает сбои в работе. Данные временных рядов должны строго разделяться по времени: обучающий, валидационный и тестовый наборы не должны пересекаться.

Ошибка вторая: несоответствие длины последовательности и частоты дискретизации. Слишком низкая частота дискретизации приводит к наложению спектров высокочастотных признаков отказов, и модель обучается на искаженном спектре. Либо последовательность слишком коротка и не вмещает даже один полный период вращения. Сначала рассчитайте частоту вращения и частоту зацепления, а затем, исходя из них, определите частоту дискретизации и длину последовательности.

Ошибка третья: переобучение модели. У Transformer большое количество параметров, и при недостаточном объеме данных онвесьма легко переобучается: ошибка на обучающем наборе неуклонно снижается, а на валидационном — растет. В этом случае приоритетнее уменьшить модель и добавить регуляризацию, а не продолжать наращивать данные или увеличивать модель.

Ошибка четвертая: смещение меток. Показаниям датчика в момент времени t сопоставляется метка отказа в момент t+1, либо время срабатывания сигнализации принимается за время начала отказа. Смещение метки на один шаг дискретизации приводит к общему сдвигу цели прогнозирования. Компания Келуде Тяжёлая Промышленность при аннотировании данных временных рядов всегда проводит повторную проверку временного выравнивания меток — это самый недооцениваемый, но и самый критичный этап.

Возвращаясь к вопросу из заголовка: LSTM или Transformer? В таких сценариях, как мониторинг состояния крана, где объем данных ограничен, а последовательности недлинные, LSTM обычно является более надежной отправной точкой: у нее меньше параметров, стабильнее обучение и ниже стоимость развертывания на периферийных устройствах. Когда данных накопится достаточно и возникнет необходимость взахват глобальных долгосрочных зависимостей, стоит рассмотреть внедрение Transformer или его использование для многоканальной интеграции. Универсального ответа на вопрос выбора нет — есть лишь ответ, соответствующий конкретному режиму работы. Сначала определите граничные условия, затем рассчитайте сложность и, наконец, проверьте на небольшом эксперименте — это проверенный на практике порядок действий компании Келуде Тяжёлая Промышленность.

📖 Похожие материалы: Управление состоянием оборудования PHM: инженерная практика предиктивного обслуживания мостовых кранов на основе больших данных и ML | Что реально могут дать большие языковые модели в обслуживании кранов? Практичные сценарии и граница возможностей

Часто задаваемые вопросы