Система визуального распознавания груза мостового крана

В современных цехах металлургических, судостроительных и тяжелых машиностроительных предприятий мостовые краны обеспечивают перемещение и точную установку стальных рулонов, стальных листов, крупногабаритного оборудования и пресс-форм. Традиционная эксплуатация полностью зависит от визуального опыта крановщика и голосовой координации с напольным персоналом, что приводит к низкой точности позиционирования, ограниченной производительности и создает риски безопасности из-за слепых зон. С развитием Индустрии 4.0 и Интеллектуального Производства технологии визуального распознавания и позиционирования на основе глубокого обучения кардинально меняют подход к грузоподъемным операциям. В данной статье подробно рассматривается архитектура, этапы внедрения и ключевые алгоритмы системы визуального распознавания и точного позиционирования груза на базе YOLOv8, представляя собой полное техническое руководство по модернизации мостовых кранов.

Архитектура системы визуального позиционирования крана

Система визуального распознавания и точного позиционирования груза мостового крана построена по четырехуровневой архитектуре: уровень восприятия, уровень логического вывода, уровень преобразования и уровень управления. Уровни связаны между собой через высокоскоростную сеть Ethernet и промышленную шину, образуя замкнутую систему управления.

Уровень восприятия является точкой входа данных в систему. Промышленные камеры, установленные под мостом крана, в реальном времени захватывают изображения зоны перемещения груза. Используются камеры Hikvision или Basler с разрешением от 5 до 12 мегапикселей, оснащенные светодиодной подсветкой для компенсации изменений освещения и теней в цехе. Передача изображений осуществляется по гигабитному интерфейсу (протокол GigE Vision) на узел граничных вычислений, что обеспечивает стабильную передачу при высокой частоте кадров (до 60 fps). Оборудование уровня восприятия размещено в алюминиевых корпусах со степенью защиты IP67, устойчивых к запыленности, высоким температурам и электромагнитным помехам металлургических цехов.

Уровень обработки базируется на вычислительном модуле NVIDIA Jetson Orin NX, на котором выполняется модель детекции YOLOv8. Модуль обеспечивает производительность до 100 TOPS, позволяя обрабатывать изображения разрешением 1920×1080 за 15 мс, что удовлетворяет требованиям реального времени. Уровень обработки принимает видеопоток с уровня восприятия и формирует для каждого объекта координаты ограничивающей рамки в системе координат изображения, метку класса и оценку уверенности. Дополнительно выполняются алгоритмы предварительной обработки: эквализация гистограммы, адаптивная регулировка контраста и выделение области интереса (ROI) для повышения устойчивости модели к сложным условиям освещения.

Уровень преобразования реализует ключевые алгоритмы координатных преобразований. С использованием предварительно откалиброванной матрицы внутренних параметров камеры и матрицы перспективного преобразования пиксельные координаты с уровня обработки отображаются в мировые координаты на плоскости пола (в мм). Уровень преобразования также выполняет коррекцию смещения и поворота системы координат, устраняя проекционные искажения, вызванные углом и высотой установки камеры. Для вычислений применяются билинейная интерполяция и субпиксельная оптимизация, обеспечивающие точность, необходимую для промышленных операций.

Уровень управления передает вычисленные координаты груза и величину отклонения на ПЛК системы управления мостовым краном (Siemens S7-1200/1500) через шлюз промышленной сети PROFINET. Получив данные об отклонении, ПЛК формирует команды движения для моста крана, тележки и механизма подъёма на основе алгоритма замкнутого контура позиционирования, обеспечивая автоматическую установку и точную укладку груза. Уровень управления также обеспечивает обмен данными с MES и Системой Контроля Безопасности, передавая результаты позиционирования и состояние оборудования на цеховой уровень управления.

Преимущество четырехуровневой архитектуры заключается в четком разделении модулей и единых стандартных интерфейсах. Модернизация любого уровня (например, обновление версии модели или регулировка параметров камеры) не влияет на работу остальных уровней, что значительно упрощает обслуживание и развитие системы. Сквозная задержка обработки не превышает 100 мс, что удовлетворяет требованиям управления при низкоскоростном режиме работы крана (≤20 м/мин).

Ниже приведена таблица сравнения основных промышленных камер, поддерживаемых системой, для выбора модели:

Обнаружение и классификация грузов

Точное обнаружение и детальная классификация поднимаемых грузов — базовый этап всей системы позиционирования. В качестве основной модели детекции используется YOLOv8 (вариант Ultralytics YOLOv8s), дообученная на собственном наборе данных с применением трансферного обучения для распознавания четырёх основных типов грузов в реальном времени.

Определение классов детекции (Hook_Load): система объединяет все поднимаемые грузы в общий класс Hook_Load с разделением на четыре подкласса — Steel_Coil (стальной рулон), Steel_Plate (стальной лист), Equipment (оборудование), Mold (пресс-форма). Стальной рулон имеет цилиндрическую форму, на поверхности часто присутствуют следы коррозии и текстура обвязочной ленты. Стальной лист — плоская металлическая поверхность большой площади с сильным бликованием и острыми кромками. Оборудование — крупные механические компоненты (например, станины прокатных станов, корпуса редукторов) с нерегулярной, но характерной формой. Пресс-форма отличается наличием точных полостей и направляющих колонн. Четыре класса существенно различаются по габаритам, форме и текстуре поверхности, что требует от модели высокой различительной способности между классами.

Формирование набора данных и разметка: проектная группа собрала реальные изображения с производственных площадок нескольких металлургических и машиностроительных цехов, охватывающие различные условия освещения (ясная погода, облачность, ночная подсветка), а также разные положения груза (полная загрузка, порожний крюк, смещённый центр тяжести). Всего собрано более 12 000 исходных изображений, после контроля качества отобрано 8 500 валидных образцов. Разметка выполнялась в инструменте LabelImg в формате COCO с указанием класса объекта и ограничивающей рамки. Спецификация разметки требует, чтобы рамка плотно прилегала к фактическому контуру груза с допуском не более 5 пикселей по краям. Особое внимание при разметке уделялось сценам с сильным перекрытием (например, штабели рулонов) и мелким объектам (например, пресс-форма на большом расстоянии) для обеспечения обобщающей способности модели.

Стратегия аугментации данных: для повышения обобщающей способности и помехоустойчивости модели в конвейер обучения включён расширенный набор методов аугментации: (1) Mosaic-аугментация — случайное объединение четырёх обучающих изображений в одно, что вынуждает модель изучать признаки объектов на сложном фоне и даёт значительный эффект для мелких объектов и сцен с перекрытием; (2) MixUp-аугментация — смешивание двух изображений и их меток в случайной пропорции, что вводит дополнительные комбинации расположения объектов; (3) возмущение в HSV-цветовом пространстве — случайная регулировка тона (H), насыщенности (S) и яркости (V) в диапазонах ±30°, ±50% и ±50% соответственно для имитации различных условий освещения и цветовой температуры в цехе; (4) случайное масштабирование и кадрирование — имитация изменения поля зрения камеры на разной рабочей высоте; (5) гауссов шум и размытие движения — имитация шума датчика промышленной камеры и смазывания изображения при быстром перемещении груза. После применения аугментации эквивалентный объём обучающей выборки увеличен до примерно 60 000 изображений.

Обучение и развёртывание модели: обучение выполнено на основе предобученных весов YOLOv8s, размер входного изображения — 640×640, оптимизатор AdamW, начальная скорость обучения 0,001, планировщик скорости обучения — косинусный отжиг, общее число эпох — 300. Обучение проводилось на одном GPU NVIDIA RTX 4090 и заняло около 18 часов. Результаты оценки на валидационном наборе (1 000 независимых образцов): mAP@0.5 — 0,962, mAP@0.5:0.95 — 0,738. Скорость однокадровой инференции на Jetson Orin NX — 12–18 мс (после оптимизации TensorRT FP16). Ограничивающие рамки выводятся в формате (x_center, y_center, width, height), нормализованном к диапазону [0,1], и преобразуются в пиксельные координаты исходного изображения модулем постобработки для последующего слоя преобразования координат.

Калибровка камеры и преобразование координатинат

Точное преобразование пиксельных координат, полученных от модели детекции, в мировые координаты на плоскости земли — ключевой технологический этап системы визуального позиционирования. Система использует «двухэтапный метод калибровки»: сначала выполняется калибровка внутренних параметров камеры для коррекции дисторсии объектива, затем — калибровка внешних параметров для установления соответствия между пикселями и плоскостью земли. Финальное преобразование координат выполняется через матрицу перспективного преобразования с субпиксельной точностью.

Трёхэтапный процесс калибровки (проверка точности внутренних и внешних параметров) формирует полную цепочку преобразования координат от пиксельных координат до мировой системы координат плоскости земли. Средняя глобальная погрешность составляет 3,2 мм, что удовлетворяет требованию точности повторного позиционирования ±5 мм.

Важно отметить: при незначительном смещении камеры вследствие вибрации мостового крана во время работы параметры калибровки могут дрейфовать. Система предусматривает периодическую автоматическую калибровку: с использованием стационарных QR-маркеров на земляном покрытии, внешние параметры проверяются и корректируются автоматически при каждом запуске системы или после каждых 2 часов работы. Это обеспечивает стабильную точность преобразования координат в долгосрочной перспективе. Данное решение соответствует требованиям JB/T 1306-2018 «Электрический однобалочный кран» и стандарта ISO 4301 / FEM 1.001 «Нормы проектирования кранов» к сохранению точности системы позиционирования.

Стратегия визуального наведения при позиционировании

Визуальное наведение при позиционировании является конечной целью управления всей системой и охватывает полный цикл замкнутого управления — от распознавания груза до выполнения операции установки. Система объединяет визуальное восприятие, преобразование координат, расчёт отклонений и управление движением через ПЛК в единую стратегию управления, обеспечивающую автоматическое точное позиционирование груза мостового крана.

Процесс позиционирования состоит из пяти этапов. (1) Распознавание и захват груза — модель YOLOv8 в реальном времени определяет тип груза и формирует ограничивающую рамку; система фиксирует объект по центру рамки и результату классификации, формируя динамическую область интереса (ROI) вокруг объекта для сокращения объёма обрабатываемых данных. (2) Преобразование координат — пиксельные координаты центра рамки (u, v) преобразуются в мировые координаты плоскости земли (X_load, Y_load) через матрицу перспективного преобразования. При наличии под целью QR-маркера/идентификационной метки дополнительно считываются точные мировые координаты метки (X_mark, Y_mark). (3) Расчёт отклонения позиционирования — вычисляется отклонение между текущим положением груза и целевым положением (центр зоны размещения или координаты метки): ΔX = X_target − X_load, ΔY = Y_target − Y_load, а также угловое отклонение Δθ (для удлинённых изделий, требующих ориентированной установки). (4) Замкнутое управление через ПЛК — величина отклонения передаётся в ПЛК через шлюз PROFINET; встроенный ПИД-регулятор формирует команды скорости и направления для моста и тележки, управляя частотно-регулируемыми двигателями и последовательно сводя отклонение к нулю. (5) Выполнение установки/захвата — при одновременном выполнении условий ΔX ≤ ±5 мм, ΔY ≤ ±5 мм и Δθ ≤ ±1° система фиксирует завершение позиционирования и выдаёт сигнал разрешения опускания крюка или зажима в механизм подъёма для выполнения операции установки или захвата.

Вспомогательное позиционирование по QR-коду/идентификационной метке: в реальных условиях эксплуатации позиционирование исключительно по абсолютным координатам ограничивающей рамки груза приводит к случайным погрешностям из-за различий в габаритах груза, отклонений в положении подвеса и колебаний точности детектирования рамки. Поэтому в зонах размещения или захвата заранее устанавливаются QR-метки (схема AprilTag или QR-код). Длина стороны метки — 100–200 мм; её мировые координаты (X_QR, Y_0) определяются точным измерением и сохраняются в конфигурационном файле системы. В процессе визуального наведения система в первую очередь определяет точное положение метки, используя её координаты в качестве базового ориентира целевой позиции, что эффективно исключает влияние погрешности детектирования самого груза на точность позиционирования. Практика показывает: после внедрения вспомогательного QR-позиционирования точность повторного позиционирования системы повысилась с ±12 мм до ±5 мм.

Обработка сценариев с множеством объектов: при появлении в поле зрения нескольких грузов или нескольких меток система принимает решение на основе приоритетов — в первую очередь обрабатывается груз, ближайший к целевой точке, либо зона размещения, соответствующая текущему типу груза. При наличии нескольких меток зон размещения система использует привязку идентификатора производственного задания к идентификатору зоны размещения: данные наряда, поступающие из MES-системы, автоматически сопоставляются с целевой зоной, исключая ошибочное позиционирование.

Механизм обработки нештатных ситуаций: при обнаружении системой технического зрения потери груза (выход из поля зрения), снижении уверенности детектирования ниже порога (0,6) или перекрытии метки система автоматически переключается в безопасный режим — приостанавливает автоматическое позиционирование, сохраняет текущее состояние и выдаёт сигнал тревоги, ожидая вмешательства оператора. После устранения нештатной ситуации система автоматически повторно выполняет процедуру обнаружения и захвата груза, обеспечивая безопасность и надёжность процесса позиционирования.

Пусконаладка и проверка точности системы

Пусконаладка и проверка точности после развёртывания системы являются ключевым этапом подтверждения достижения проектных показателей визуальной системы позиционирования. Система предусматривает стандартизированный процесс наладки и строгие методы проверки точности в соответствии с национальными стандартами для грузоподъёмных машин (GB/T 28264-2017 «Грузоподъёмные машины. Система мониторинга и управления безопасностью», ISO 4301 / FEM 1.001 «Нормы проектирования кранов»).

Процесс наладки включает четыре последовательных этапа. (1) Калибровка одиночных точек — после установки камеры выполняется калибровка внутренних параметров, затем на земле размещаются калибровочные точки для определения внешних параметров; предварительно проверяется точность прямого и обратного преобразования координат. На этом этапе для определения пиксельного соответствия калибровочных точек используется лазерный крестовой проектор. (2) Статическая наладка позиционирования — стандартный тестовый образец (прямоугольный стальной блок известных размеров) размещается под крюком; система выполняет статическое обнаружение цели и преобразование координат; координаты ограничивающей рамки вручную сравниваются с фактически измеренными координатами. Параметры калибровки итеративно корректируются до достижения статической погрешности в пределах ±3 мм. (3) Динамическая наладка отслеживания — мостовой кран перемещается с различными скоростями и в различных направлениях; оценивается стабильность захвата груза модулем визуального отслеживания; фиксируется амплитуда дрожания ограничивающей рамки при динамическом отслеживании. Регулировкой параметров фильтра Калмана и стратегии обновления ROI дрожание при динамическом отслеживании ограничивается ±2 пикселями. (4) Комплексная наладка полного цикла — через MES-систему выдаётся реальное производственное задание; визуальная система ведёт мостовой кран по полному циклу позиционирования от места строповки до точки размещения; на всех этапах регистрируются данные об отклонениях.

Методика проверки точности: для проверки точности повторного позиционирования применяется «метод трехточечного циклического тестирования» — на земляном покрытии цеха выбираются три тестовые точки (слева, по центру, справа); для каждой точки выполняется 100 циклов позиционирования «туда-обратно» с регистрацией конечного отклонения позиции в каждом цикле. Для измерений используется высокоточный лазерный трекер (Leica AT960, точность ±0,02 мм), фиксирующий относительное смещение кромки груза и целевой метки. Испытания проводятся в двух режимах загрузки — без груза и с полной нагрузкой, а также в трёх режимах движения: только мост крана, только тележка и комбинированное движение. Статистические результаты 300 тестов (100 циклов × 3 точки) показывают: среднее отклонение по оси X — 1,8 мм (стандартное отклонение 1,2 мм); среднее отклонение по оси Y — 2,1 мм (стандартное отклонение 1,5 мм); итоговая точность повторного позиционирования — ±4,6 мм (3σ), что лучше проектного показателя ±5 мм.

Сравнительные испытания: для полной проверки характеристик системы в одном цехе параллельно проводились испытания ручного наведения и автоматического наведения с использованием системы технического зрения. Пять опытных машинистов мостовых кранов выполнили по 20 операций позиционирования стального рулона каждый; фиксировалось время наведения и итоговая точность. Результаты сравнения: среднее время ручного наведения — 42 с, средняя точность — ±24 мм; среднее время автоматического наведения с системой технического зрения — 18 с, средняя точность — ±4,2 мм. Время сократилось на 57%, точность повысилась в 5,7 раза. Кроме того, система технического зрения исключает такие человеческие факторы, как усталость оператора, разница в опыте и ограничение обзора, благодаря чему стабильность результатов наведения значительно выше, чем при ручном управлении (среднеквадратичное отклонение составляет лишь 1/8 от ручного).

Проверка долговременной устойчивости: после шести месяцев непрерывной эксплуатации на объекте заказчика точность повторного позиционирования не показала значимого снижения. Ежемесячные контрольные замеры точности показали, что максимальный дрейф точности составил +0,8 мм, что находится в пределах проектного диапазона ±5 мм. Квартальная калибровочная проверка выявила, что изменение внутренних параметров камеры не превышает 1%, а внешние параметры сместились примерно на 2,5 мм из-за накопленной вибрации механизмов; после автоматической компенсации калибровки точность вернулась к исходному уровню. Приведённые результаты подтверждают способность системы к долговременной стабильной работе в промышленных условиях и соответствие требованиям документа Специальное письмо отдела контроля качества〔2019〕857№ о постоянном соблюдении норм безопасности при модернизации грузоподъёмных машин.

Часто задаваемые вопросы о модернизации кранов