Visión IA para Puente Grúa: 5 Aplicaciones Clave de Seguridad
Visión artificial y detección para puentes grúa: 5 aplicaciones clave, de la seguridad al mapeo SLAM. La tecnología de visión artificial y detección para puentes grúa está transformando las operaciones en talleres de industria pesada: desde la protección de seguridad y el posicionamiento de cargas hasta la detección del estado del equipo y el mapeo del entorno, el deep learning ya cubre cada eslabón crítico de la automatización de puentes grúa. Kelude ha desplegado cinco aplicaciones principales basadas en la plataforma de computación en el borde NVIDIA Jetson Orin NX y el framework YOLOv8.
La tecnología de visión artificial y detección para puentes grúa está redefiniendo los procesos de trabajo en talleres de industria pesada: desde la protección de seguridad y el posicionamiento de cargas suspendidas hasta la detección de salud del equipo y el mapeo del entorno, el deep learning ya cubre cada fase crítica de la automatización de puentes grúa. Kelude ha desarrollado un sistema integral de visión artificial que abarca todos los escenarios operativos del puente grúa, basado en la plataforma de computación en el borde NVIDIA Jetson Orin NX y el framework de detección de objetos YOLOv8. Este artículo, como guía principal de la serie «Sistema de visión artificial y detección para puentes grúa», ofrece una visión panorámica de la arquitectura técnica, los planes de despliegue y las recomendaciones de selección para los cinco escenarios de aplicación, proporcionando una hoja de ruta técnica completa para la actualización inteligente de puentes grúa.
| N.º | Escenario de aplicación | Algoritmo principal | Precisión Indicador | Plataforma de hardware | Relacionado Norma |
|---|---|---|---|---|---|
| 1 | AISeguridad visual Detección | YOLOv8sPersonal Detección | m AP≥95% | Jetson Orin NX | GB/T 28264 — Sistema de Monitoreo y Gestión de Seguridad-2017 |
| 2 | Visión de la carga Posicionamiento | YOLOv8s + Transformación de coordenadas | ±5mm | Jetson Orin NX | JB/T 1306-2008 |
| 3 | Cable de Acero AIDetección | YOLOv8s+Efficient Net-B4 | m AP≥93% | Jetson Orin NX | GB/T 5972-2016 |
| 4 | Cordón de Soldadura AIDetección | YOLOv8s-weld | m AP≥94% | Jetson AGX Orin | GB/T 3323-2005 |
| 5 | Visión de la carga SLAMMapeo Posicionamiento | ORB-SLAM3/VINS-Mono | ±10cm | Jetson Orin/AGX | norma ISO 4301 / FEM 1.001 |
1. Evolución de la tecnología de visión artificial IA para puentes grúa
En sectores industriales clave como la metalurgia, la construcción naval, la maquinaria pesada y la fabricación de equipos para nuevas energías, el puente grúa constituye el núcleo logístico del taller y determina directamente la eficiencia productiva y el nivel de seguridad. La operación tradicional del puente grúa depende del juicio visual del operador, la comunicación verbal del personal de señalización en tierra y las inspecciones manuales periódicas con la máquina detenida. Este modelo se enfrenta a retos fundamentales en un entorno industrial marcado por el aumento de la capacidad de producción, el incremento de los costes laborales y una normativa de seguridad cada vez más estricta.
La madurez de la visión artificial industrial, en particular de los marcos de detección de objetos basados en aprendizaje profundo, ofrece una ruta tecnológica de bajo coste y alto retorno para laInteligencia artificial de los puentes grúa. A diferencia de las soluciones de sensores tradicionales como el bus de código Gray, la medición láser de distancia o los encoders, el sistema de visión artificial IA utiliza la cámara industrial como sensor principal y no requiere el tendido de infraestructura en la pista, permitiendo implementar funciones como la monitorización de seguridad del personal, la localización de la carga suspendida, la detección de defectos en equipos y el mapeo del entorno. Basado en una plataforma de hardware de computación en el borde unificada (serie NVIDIA Jetson) y un marco de algoritmos común (serie YOLOv8), el sistema de visión artificial IA para puentes grúa puede desplegarse de forma modular y gradual según el principio de "una solución específica por grúa", comenzando por los escenarios de protección de seguridad más críticos y ampliándose progresivamente hasta conformar un sistema integral de puente grúa inteligente.
El sistema tecnológico de visión artificial IA y detección para puentes grúa, desarrollado internamente por Kelude, abarca cinco escenarios de aplicación principales: monitorización de seguridad, localización de la carga suspendida, inspección de cables de acero, inspección de soldaduras y localización y mapeo mediante SLAM visual. Estos cinco escenarios configuran, desde las dimensiones de persona (protección de seguridad), objeto (manipulación de cargas), máquina (salud del equipo), estructura (inspección de estructuras metálicas) y posición (percepción del entorno), el mapa completo de capacidades de la visión artificial IA aplicada a puentes grúa. A continuación se analiza cada uno de ellos en detalle.
2. Monitorización de seguridad por visión IA: detección de intrusión de personal y anticolisión en la zona de elevación
La seguridad del personal durante las operaciones de elevación es la máxima prioridad en la gestión de seguridad del taller. Conforme a los requisitos de la norma GB/T 28264-2017 — Sistema de Monitoreo y Gestión de Seguridad para aparatos de elevación, el puente grúa debe disponer de capacidad de detección activa y respuesta ante estados de peligro en la zona de elevación. Las soluciones de seguridad tradicionales — vallado perimetral, cerradura de seguridad de puerta y supervisión humana — dependen del aislamiento pasivo y de la atención del personal, presentando importantes puntos ciegos de protección en entornos de elevación dinámicos y complejos.
El sistema de monitoreo de seguridad visual por IA para puentes grúa de Kelude despliega una cámara industrial IA en cada lado de la viga principal y otra en la parte inferior del carro, proporcionando una cobertura redundante triple de la zona de elevación. Las cámaras capturan imágenes en tiempo real a 1080P y 30fps, transmitidas mediante Gigabit Ethernet al módulo de computación en el borde Jetson Orin NX (potencia de cálculo de 100 TOPS). El modelo de detección de objetos YOLOv8s, ejecutado en la plataforma Jetson, realiza la detección de personas (person) en cada fotograma, con una latencia de inferencia por fotograma inferior a 15 ms y un tiempo de respuesta de extremo a extremo inferior a 100 ms.
La lógica de seguridad central del sistema se articula en una estrategia de alarma de tres niveles: la zona de advertencia amarilla (5~8 m) activa una alarma acústica y visual y una desaceleración; la zona de alerta naranja (3~5 m) provoca una desaceleración de emergencia y una orden de evacuación por voz; y la zona de peligro roja (<3 m) activa una parada de emergencia STO (Safe Torque Off). En condiciones de iluminación normal (500 Lux), el mAP de detección de personas es ≥95%; en condiciones de baja iluminación (50 Lux con iluminación infrarroja), el mAP es ≥90%. El despliegue redundante de las tres cámaras garantiza que cada persona en tierra esté cubierta simultáneamente por al menos dos cámaras, eliminando el riesgo de detección fallida por oclusión desde un único ángulo. En operaciones de múltiples grúas en la misma vía, se adopta un esquema de iluminación estroboscópica por división de tiempo y frecuencia, con una tasa de falsas activaciones inferior a 0,1 veces/hora para tres grúas en la misma vía. Para más detalles, consulte "Monitorización de seguridad por visión IA en puentes grúa: detección de intrusión de personal y prácticas de ingeniería anticolisión en la zona de elevación".
3. Sistema de reconocimiento visual y posicionamiento de precisión de la carga suspendida
La operación de posicionamiento de la carga suspendida —colocar con precisión bobinas de acero, chapas de acero, equipos de gran tamaño o moldes en la posición designada— es un cuello de botella crítico para la eficiencia productiva del taller. La operación tradicional depende de la estimación visual del operador coordinada con el señalista en tierra, y la precisión del posicionamiento está limitada por la habilidad del operador y las condiciones de visibilidad, requiriendo a menudo múltiples ciclos de ajuste para un solo posicionamiento. Con la promoción del proceso de colada continua y laminación "un calentamiento, un producto" en la industria siderúrgica y la creciente demanda de ensamblaje de precisión en la fabricación de equipos para nuevas energías, el posicionamiento manual tradicional ya no satisface el ritmo de producción moderno.
El sistema de reconocimiento visual y posicionamiento de precisión de la carga suspendida adopta una arquitectura de cuatro capas (capa de percepción — capa de inferencia — capa de transformación — capa de control), construyendo un bucle cerrado completo desde la captura de imagen hasta el posicionamiento automático. La capa de percepción utiliza cámaras industriales Hikvision o Basler (5~20 MP, interfaz GigE Vision), complementadas con iluminación estroboscópica LED para compensar las variaciones de iluminación del taller. En la capa de inferencia, el modelo YOLOv8s detecta en tiempo real cuatro tipos de cargas: bobina de acero (Steel_Coil), chapa de acero (Steel_Plate), equipo (Equipment) y molde (Mold), con un mAP@0.5 de 0.962 y una inferencia por fotograma de 12~18 ms (optimización TensorRT FP16).
El núcleo del posicionamiento reside en la capa de transformación de coordenadas: mediante la matriz de parámetros intrínsecos de la cámara y la matriz de transformación de perspectiva previamente calibradas, las coordenadas de píxeles generadas por YOLOv8 se convierten en coordenadas del sistema de coordenadas del mundo en el plano del suelo (en mm). La transformación emplea interpolación bilineal y optimización a nivel de subpíxel, logrando una precisión de posicionamiento de ±5 mm. La capa de control envía la desviación al PLC Siemens S7-1200/1500 a través de una pasarela PROFINET, generando las instrucciones de movimiento para el carro puente, el carro y el mecanismo de elevaciónsmo de elevación. La latencia de procesamiento de extremo a extremo del sistema se mantiene por debajo de 100 ms, satisfaciendo los requisitos de control en tiempo real para escenarios de operación a baja velocidad (≤20 m/min). Para más detalles, consulte "Sistema de reconocimiento visual y posicionamiento de precisión de la carga suspendida: prácticas de ingeniería en detección de cargas con YOLOv8 y posicionamiento guiado por visión".
4. Sistema de inspección en línea por visión IA del cable de acero del puente grúa
El cable de acero es el componente de soporte de carga más crítico del puente grúa, y su estado de salud afecta directamente a la seguridad de los equipos y del personal. Conforme a los requisitos de las normas GB/T 5972-2016 — Cable de acero para grúas: mantenimiento, inspección, reparación y desguace, y TSG Q7015-2016 — Reglamento de inspección periódica de aparatos de elevación, el cable de acero debe someterse a inspecciones periódicas para detectar defectos como roturas de alambres, desgaste, corrosión y deformación. La inspección visual manual tradicional (VT) depende de la experiencia del inspector y presenta problemas fundamentales como múltiples puntos ciegos de detección, falta de uniformidad en los criterios e imposibilidad de alerta en tiempo real.
El sistema de inspección en línea por visión IA del cable de acero del puente grúa adopta un esquema de despliegue coordinado de múltiples cámaras: una cámara en vista cenital cubre la zona del extremo fijo del tramo superior del cable; una cámara lateral monitoriza el tramo libre del cable en la sección media; y una cámara en vista inferior se orienta hacia el extremo inferior del cable y la zona de la polea del gancho. La capa de percepción utiliza sensores CMOS de obturador global (hasta 200 fps), con iluminación estroboscópica LED de ancho de pulso ajustable a nivel de microsegundos. La capa de inferencia ejecuta un modelo YOLOv8s mejorado (con incorporación de convolución deformable DCNv4 y atención de coordenadas Coordinate Attention) para la detección en tiempo real de tres clases principales de defectos: roturas de alambres, desgaste y corrosión, con un mAP global ≥0.93.
En la capa de análisis, el sistema emplea una red troncal EfficientNet-B4 para realizar una segunda clasificación fina de 11 subtipos de defectos (roturas de alambre localizadas, roturas de alambre concentradas, desgaste uniforme, desgaste localizado, picaduras por corrosión, corrosión uniforme, deformación ondulada, deformación en tonel, reducción del diámetro del cable, lubricación deficiente y adherencia de contaminantes superficiales), con una precisión de clasificación ≥95%. Los defectos se clasifican en cuatro grados (Grado 0 a 3) según su severidad, activándose una alerta automática cuando se alcanza un nivel moderado o superior. La capa de alertas se integra con el mantenimiento predictivo PHM y el sistema computarizado de gestión de mantenimiento CMMS, con un tiempo de respuesta medio de no más de 30 segundos desde la detección hasta la generación de la orden de trabajo. La estrategia de fusión multiespectral (RGB+NIR) mejora la tasa de recuperación de defectos de corrosión en un 12,7%. Consulte el artículo «Sistema de inspección visual por IA del cable de acero del puente grúa: práctica de ingeniería para la identificación de roturas de alambre, desgaste y corrosión mediante aprendizaje profundo».
Inspección visual por IA de soldaduras en carriles y vigas principales
Las soldaduras a tope del carril del puente grúa y las soldaduras de filete de la viga principal son los puntos débiles de la estructura metálica de la máquina. Las soldaduras sometidas a cargas alternas, impactos de cargas pesadas y agresiones ambientales pueden provocar fallos estructurales catastróficos si presentan grietas o falta de fusión no detectadas. La inspección visual por IA de defectos de soldadura presenta desafíos técnicos significativos: el ancho de las grietas es de solo 0,05~0,3 mm, lo que constituye un problema típico de detección de objetos pequeños; además, la superficie de la soldadura presenta fuertes interferencias de fondo como escoria, salpicaduras y cascarilla de óxido.
El sistema de inspección visual por IA de soldaduras en carriles y vigas principales adopta una arquitectura de despliegue de tres modalidades: vehículo autónomo de inspección AGV (para la inspección automatizada de grandes superficies de soldadura en carriles), detector portátil (para espacios reducidos y soldaduras de filete en testeros) y estación de trabajo fija (para el puesto de ensamblaje y soldadura de la viga principal). Las tres modalidades comparten una misma pila de software. La capa de percepción está equipada con dos cámaras industriales (objetivo gran angular de obturador global y objetivo macro), iluminación anular estructurada y un escáner láser de contorno (para obtener el perfil tridimensional de la soldadura).
La capa de inferencia implementa el modelo YOLOv8s-weld, basado en YOLOv8s con poda y optimización, e incorpora una cabeza de detección de objetos pequeños específicamente diseñada para las características de los defectos de soldadura. Alcanza una inferencia de un solo fotograma de ≤15 ms (≥60 FPS) en Jetson AGX Orin. El sistema cubre la identificación en tiempo real de cinco tipos de defectos: grietas (tres subtipos: longitudinales, transversales y de cráter), falta de fusión, porosidad, inclusión de escoria y mordedura, con una mAP global ≥0,94. La capa de evaluación se integra automáticamente con la norma de clasificación de calidad de la norma ISO 17642 (equivalente a GB/T 3323-2020) para la radiografía de uniones soldadas por fusión de metales, emitiendo una clasificación de calidad de grado I a IV y recomendaciones de retrabajo. Los tipos de soldadura cubiertos incluyen soldadura a tope con bisel en V para carriles QU70/80/100, soldadura de filete de doble cara en la viga principal y soldadura mixta en el testero, que son las tres estructuras de soldadura típicas del puente grúa. Consulte el artículo «Sistema de inspección visual por IA de soldaduras en carriles y vigas principales: práctica de ingeniería para la identificación de grietas, falta de fusión y porosidad mediante aprendizaje profundo».
Sistema de mapeo y localización SLAM visual para puentes grúa
Uno de los principales cuellos de botella en la operación totalmente automática del puente grúa es lograr una localización global fiable y de alta precisión en el interior de la nave industrial, donde no hay señal GPS. Las soluciones tradicionales presentan limitaciones: el sensor de distancia láser se ve afectado por la obstrucción del polvo, el bus de código Gray tiene un alto coste de instalación y mantenimiento, y el encoder sufre deriva acumulativa por deslizamiento de las ruedas. Además, estas soluciones solo proporcionan información de posición en una o dos dimensiones, sin capacidad de percibir la actitud espacial de seis grados de libertad del puente grúa.
El sistema de mapeo y localización SLAM visual para puentes grúa integra los dos marcos de código abierto ORB-SLAM3 y VINS-Mono, utilizando cámaras monoculares/estéreo y una IMU de seis ejes como sensores. En entornos de nave desconocidos, el sistema realiza simultáneamente la estimación de la pose de seis grados de libertad del puente grúa y la construcción de mapas dispersos/densos. La extracción de características se adapta al puente grúa (nFeatures se incrementa de 1200 a 2000, iniThFAST se reduce de 20 a 12) y se introduce la extracción de segmentos de línea LSD como capa auxiliar de coincidencia, mejorando la tasa de coincidencia de características del 35% al 52%.
El diseño de preintegración de la IMU y el acoplamiento estrecho visual-inercial reduce la tasa de pérdida de seguimiento en condiciones de vibración de aproximadamente el 8% en modo puramente visual al 0,5%. Para abordar el problema de la expansión del mapa en naves de gran luz (100~300 m), el sistema emplea tres medidas de optimización: poda del grafo de covisibilidad (activada cada 50 fotogramas, eliminando un 5~10% de redundancia), gestión activa de submapas locales (división en celdas de cuadrícula de 50 m × 30 m) y detección de bucles incrementales (bolsa de palabras DBoW2 + optimización de grafo de poses, completada en 500 ms para una escala de 3000 fotogramas), logrando una precisión de posicionamiento de ±10 cm. El esquema de optimización no lineal de ventana deslizante de VINS-Mono ofrece una ventaja de tiempo real en escenarios de despliegue perimetral con recursos computacionales limitados. Este sistema puede desplegarse de forma independiente como redundancia de localización global del puente grúa, o integrarse profundamente con la medición láser de distancia y el encoder para constituir una arquitectura de localización multisensor. Consulte el artículo «Sistema de mapeo y localización SLAM visual para puentes grúa».
Comparativa técnica y guía de selección de los cinco sistemas
Los cinco sistemas presentan diferentes enfoques en cuanto a pila tecnológica, indicadores de rendimiento y coste de hardware. La selección debe realizarse en función de las condiciones de trabajo del puente grúa, el entorno del taller y los requisitos de gestión. La siguiente tabla ofrece una comparativa horizontal desde la perspectiva de los parámetros clave:
| Dimensión de Comparación | Seguridad visual Detección | Carga suspendida Posicionamiento | Inspección de Cables | Inspección de Soldadura | Visión de la carga SLAM |
|---|---|---|---|---|---|
| Detección Objeto | person(Personal) | Hook_Load(Carga suspendida) | Rotura de alambre/Desgaste/Corrosión | Grieta/Porosidad/Falta de penetración de soldadura | Puntos característicos del entorno/IMU |
| Latencia de inferencia | ≤15ms | 12~18ms | ≤25ms | ≤15ms | 33~50ms |
| Precisión/Indicador | m AP≥95% | ±5mm | m AP≥93% | m AP≥94% | ±10cm |
| Número de cámaras | 2~4Plataforma de hardware | 1~2Plataforma de hardware | 3~6Plataforma de hardware | 2Plataforma de hardware+Lásercontorno Instrumento | 1~2Plataforma de hardware+IMU |
| Despliegue recomendado | Todospuente grúa(Recomendado principal) | Escenario de posicionamiento preciso | Altonivel de seguridadpuente grúa | Periódico Inspección/Nueva fabricación Inspección | Totalmente automáticopuente grúa/redundancia Posicionamiento |
Prioridad de selección recomendada: Para la reforma inteligente de un puente grúa individual, se recomienda una implementación por fases siguiendo la ruta progresiva de «seguridad, salud, posicionamiento y mapeo». El sistema de detección de intrusión de personal es la configuración básica de todo puente grúa y constituye el elemento de despliegue obligatorio de menor prioridad. La inspección de cables y de soldadura puede configurarse de forma selectiva según la vida útil y las condiciones de trabajo del puente grúa: en grúas antiguas se prioriza la inspección del cable de acero, mientras que en grúas nuevas se prioriza la inspección de soldadura en fábrica. El sistema de posicionamiento de carga se centra en los cuellos de botella del ritmo de producción y resulta adecuado para grúas con requisitos de posicionamiento automático. El SLAM visual está orientado a escenarios de funcionamiento totalmente automático y logística inteligente. Los cinco sistemas comparten la plataforma de computación en el borde Jetson Orin NX/AGX y el ecosistema de algoritmos YOLOv8, pudiendo integrarse en un mismo puente grúa mediante la asignación de intervalos de tiempo de GPU y la carga dinámica de modelos para lograr la reutilización de recursos.
Fusión multisensor y perspectivas de integración de sistemas
Los datos de los sensores de los cinco sistemas se fusionan en profundidad en la plataforma unificada de computación en el borde, formando un bucle cerrado de percepción-decisión-control que cubre todos los escenarios del puente grúa. Tomando como ejemplo la interacción entre la detección de seguridad y el posicionamiento de carga: cuando el sistema de detección de intrusión detecta la presencia de personal en la zona de alerta naranja, el sistema de posicionamiento de carga registra simultáneamente las coordenadas actuales de la carga, proporcionando datos espacio-temporales completos para el posterior rastreo de incidentes de seguridad. Los defectos graves de Grado 3 detectados por el sistema de inspección de cables activan automáticamente tareas de inspección prioritaria en el sistema de inspección de soldadura: el AGV de inspección de soldadura, al recibir la instrucción, planifica de forma autónoma su ruta hasta el tramo del carril del puente grúa cercano a la ubicación del defecto, realizando una inspección específica de los cordones de soldadura del carril y de la soldadura de filete de la viga principal en la zona correspondiente.
Desde una perspectiva más amplia, estos cinco sistemas de visión por IA, junto con el sistema de control central (PLC) del puente grúa, la plataforma de gestión predictiva de salud (PHM), el sistema de ejecución de fabricación (MES) y el sistema de planificación de recursos empresariales (ERP), conforman una arquitectura completa de Internet de las Cosas (IoT) industrial. Los datos en tiempo real captados por la capa de percepción, tras ser procesados mediante IA en el borde, se transmiten en forma de resultados estructurados a las plataformas de gestión a nivel de taller y de grupo, proporcionando la base de datos para la gestión del ciclo de vida completo de los equipos, la optimización de la programación de la producción y la auditoría de cumplimiento normativo y seguridad. Con el continuo aumento de la potencia de cómputo de IA en el borde (la próxima generación de la plataforma Jetson Orin se espera que ofrezca entre 200 y 500 TOPS) y la evolución de los modelos multimodales de gran tamaño, los sistemas de visión por IA para puentes grúa evolucionarán desde la detección aislada hacia la comprensión cognitiva: no solo detectarán la intrusión de personal, sino que también comprenderán las instrucciones gestuales y la intención de trabajo del personal en tierra.
