Sistema IA para Puente Grúa con Pesaje Inteligente
Reconocimiento visual por IA para puentes grúa que permite la detección en tiempo real de cargas suspendidas mediante el modelo de aprendizaje profundo YOLOv8s y el algoritmo de seguimiento de múltiples objetos ByteTrack, con una precisión de detección ≥95% (mAP@0.5). El modelo de pesaje dinámico basado en LSTM logra un error de pesaje dinámico ≤2% FS, complementado con una cámara industrial estabilizada (1920×1080@30fps) y un módulo de cómputo de IA integrado (TOPS≥4), conformando un sistema de visión por IA completo. La solución de visión por IA de Kelude Industrias Pesadas se ha implementado en más de 30 equipos en sectores como fundición, acero y almacenamiento.
El sistema de reconocimiento visual por IA para puentes grúa se compone de tres partes: cámara industrial estabilizada, módulo de cómputo de IA integrado y software de análisis visual. La cámara se instala bajo la estructura del carro del puente grúa para capturar en ángulo cenital el área de la carga suspendida. Los datos de imagen se transmiten por Ethernet al módulo de cómputo de IA, donde el modelo YOLOv8s realiza la detección de la carga y la clasificación de objetos en el dispositivo de borde. El sistema integra además la función de pesaje mediante báscula electrónica: a través del modelo de aprendizaje profundo LSTM, se compensan en tiempo real la deformación de la carga y la oscilación del cable de acero visibles en el video, permitiendo el pesaje dinámico durante el izaje y transporte. El siguiente diagrama de arquitectura ilustra el flujo de datos completo, desde la adquisición de imágenes hasta la salida de los resultados de detección. El diseño del sistema debe cumplir con la norma ISO 4301 / FEM 1.001 (equivalente a ISO 4301 / FEM 1.001) sobre especificación de diseño de grúa: carga, estructura, mecanismo, eléctrico y seguridad, así como con la norma JJG 555-2016.
Arquitectura del sistema de visión
La arquitectura del sistema de visión por IA se divide en tres capas: capa de adquisición de imágenes, capa de inferencia en el borde y capa de salida de resultados. Capa de adquisición de imágenes: la cámara industrial estabilizada se instala bajo la estructura del carro, capturando imágenes de alta definición con resolución de 1920×1080 píxeles a 30 fps. Se complementa con una luz de relleno infrarroja de 850 nm para garantizar una imagen nítida en condiciones de baja iluminancia. La cámara cuenta con un Grado de Protección (IP) IP67. Capa de inferencia en el borde: el módulo de IA integrado utiliza un chip NVIDIA Jetson o Rockchip RK3588, con una capacidad de cómputo ≥4 TOPS (INT8). Ejecuta el modelo YOLOv8s para inferir en cada fotograma, alcanzando una velocidad de inferencia ≥25 fps para satisfacer los requisitos de tiempo real. Capa de salida de resultados: los resultados de detección se transmiten al sistema de control PLC del puente grúa mediante RS485 o Ethernet, incluyendo la categoría de la carga, las coordenadas de posición y el valor de pesaje dinámico.
La comunicación entre el sistema de visión y el PLC del puente grúa utiliza el protocolo Modbus TCP. La trama de datos de los resultados de detección incluye ID de carga, coordenadas, dimensiones, peso, confianza y suma de verificación, con una longitud total de 16 bytes por trama y un ciclo de comunicación de 100 ms. La solución de visión por IA de Kelude Industrias Pesadas se integra de forma complementaria con el sistema de posicionamiento del puente grúa basado en SLAM visual: el SLAM se encarga del mapeo del entorno y la planificación de trayectoria, mientras que la visión por IA se centra en la detección de la carga y el pesaje.
Solución técnica para la detección de cargas
La detección de cargas utiliza el modelo YOLOv8s como detector base. El conjunto de datos de entrenamiento abarca 12 categorías comunes de cargas (chapa de acero, bobinas, perfiles de acero, piezas fundidas, cajas, tuberías, materiales a granel, contenedores, moldes, equipos, spreader en vacío y estados anómalos), con ≥2000 muestras de entrenamiento por categoría, sumando más de 25 000 imágenes etiquetadas. Las estrategias de aumento de datos incluyen rotación multiángulo (±15°), variación de iluminación, simulación de oclusiones y desenfoque por movimiento. El tamaño de entrada del modelo es de 640×640 píxeles, con un umbral NMS de 0,45 y un umbral de confianza de 0,5, logrando una precisión de detección final mAP@0.5 ≥95%.
El seguimiento de múltiples objetos emplea el algoritmo ByteTrack, que combina la predicción del filtro de Kalman con la asignación mediante el algoritmo húngaro para vincular los IDs de las cargas entre fotogramas consecutivos. La ventaja clave de ByteTrack reside en su procesamiento secundario de los cuadros delimitadores con baja confianza, lo que reduce significativamente los cambios de ID causados por oclusiones y cambios de perspectiva. En una prueba real con un puente grúa de 10 t, la tasa de cambio de ID fue inferior a 1 por cada 1000 fotogramas, y la precisión de seguimiento de múltiples objetos (MOTA) alcanzó ≥93%. Los resultados del seguimiento proporcionan la trayectoria de movimiento de la carga y estadísticas del ciclo de trabajo, ofreciendo una base de datos para el análisis de eficiencia de producción.
Comentario del responsable técnico de Kelude Industrias Pesadas:
“El mayor desafío práctico en la detección de cargas por visión IA no es la precisión del modelo, sino la imprevisibilidad de las condiciones de iluminación en el campo. En nuestros proyectos de implementación en talleres de fundición y acerías, nos enfrentamos a un problema típico: el reflejo en la superficie de las piezas fundidas y la luz intensa cerca del horno provocaban una sobreexposición en la imagen, reduciendo la confianza de detección de YOLOv8s del 95% al 40%. Nuestra solución se basó en tres frentes: primero, adoptamos una cámara con sensor de obturador global y WDR por hardware (rango dinámico amplio >120 dB); segundo, incorporamos aumento de datos con muestras sobreexpuestas durante el entrenamiento de modelos; y tercero, implementamos un algoritmo de exposición adaptativa en el módulo de cómputo de IA, que ajusta dinámicamente el tiempo de exposición y la ganancia según el brillo medio del fotograma anterior. Con esta solución, recuperamos la confianza de detección por encima del 90% en entornos de luz intensa.”
Solución de pesaje inteligente con báscula electrónica
El pesaje dinámico se basa en un modelo de aprendizaje profundo LSTM que compensa en tiempo real la oscilación del cable de acero bajo la carga, la rotación de la carga y la vibración de la cámara observadas en el video. Mientras que una báscula electrónica tradicional requiere que la carga esté completamente estática (suspendida ≥3 s) para obtener una lectura estable, la báscula de visión por IA aprende las características de la serie temporal del balanceo de la carga mediante el modelo LSTM, permitiendo generar un valor de peso estable durante el izaje y transporte. Las características de entrada del modelo LSTM incluyen la tasa de cambio del área del cuadro delimitador de la carga, la aceleración del desplazamiento del centro de la carga, el ángulo de oscilación del cable de acero y la velocidad de oscilación; la salida es el valor de peso compensado.
El conjunto de datos de entrenamiento del modelo LSTM proviene de los datos de calibración de la plataforma de pruebas de Kelude Industrias Pesadas: durante el izaje de pesos de prueba de masa conocida, se sincronizaron la captura de características de video y los valores reales de la celda de carga, obteniendo aproximadamente 8000 secuencias de entrenamiento. En las pruebas reales, el error de pesaje dinámico fue ≤2% FS, y el tiempo para un solo pesaje fue inferior a 1 s (en comparación con los 5~8 s de detención requeridos por los métodos tradicionales). Con una frecuencia de operación de 25 ciclos/h, el tiempo de pesaje ahorrado por día es de aproximadamente 3~5 minutos.
Parámetros clave del sistema de visión por IA
| Parámetroítem | inspección visual | Pesaje dinámico | tradicionalBáscula electrónica | descripción |
|---|---|---|---|---|
| algoritmo central | YOLOv8s+ByteTrack | LSTMmodelo temporal | Resistenciatipo extensométricoSensor | AIsolución sin contacto |
| Precisión | mAP≥95% | ≤2%FS | ≤0.5%FS | tradicionalPrecisiónmayor pero requiere estático |
| Tiempo de respuesta | 40ms(inferencia) | <1s(dinámico) | 3~8s(requiere flotación) | AIPesaje dinámicorápido4~8veces |
| costo de hardware | 2~4diez mil yuanes | incluido ensistema de visiónen | 0.5~2diez mil yuanes | AIla solución requiere más capacidad de cómputoMódulo |
| Ámbito de aplicación | material a granel/piezas fundidas/chapas | Servicio continuopesaje | pesaje de precisión | ambos son complementarios |
Datos clave del sistema
| precisión de detección ≥95% YOLOv8s mAP@0.5 | error de pesaje ≤2%FS LSTMcompensación dinámica | velocidad de inferencia 25fps Jetsondispositivo de borde |
| requisito de cómputo 4TOPS INT8inferencia cuantizada | muestras de entrenamiento 25000unidades 12etiquetado de tipos de carga | IDtasa de conmutación <1veces/miles de fotogramas ByteTrackmúltipleseguimiento de objetos |
Preguntas Frecuentes (FAQ)
P: ¿Cuál es la inversión necesaria para un sistema de reconocimiento visual por IA para puentes grúa?
R: El coste del hardware del sistema de visión por IA oscila entre 2.000 y 4.000 € por unidad, e incluye la cámara industrial con estabilización (aprox. 300–600 €), el módulo de computación de IA integrado (aprox. 1.000–2.500 €) y los accesorios de montaje. La licencia de software se factura anualmente, con un coste de aproximadamente 500–1.000 € por unidad y año. En comparación con la báscula electrónica tradicional (500–2.000 €), la solución de visión por IA ofrece simultáneamente detección de carga y pesaje dinámico, lo que supone una mejor relación calidad-precio. Kelude Industrias Pesadas ofrece la instalación y puesta en marcha en sitio de forma gratuita para el primer cliente que implemente el sistema.
P: ¿Qué es más preciso, el pesaje por visión IA o la báscula electrónica tradicional?
R: La báscula electrónica tradicional ofrece una mayor precisión estática (≤0,5% FS), pero requiere que la carga permanezca suspendida de 3 a 8 segundos, lo que afecta a la eficiencia operativa. La báscula de visión por IA tiene una precisión dinámica ligeramente inferior (≤2% FS), pero no requiere detención, ahorrando de 3 a 5 segundos por ciclo. Con una frecuencia de 25 ciclos/hora, el tiempo total de pesaje ahorrado a lo largo del día es de 3 a 5 minutos. La recomendación de Kelude Industrias Pesadas es mantener la báscula electrónica tradicional en aplicaciones que requieran alta precisión de medición (nivel de transacción comercial), y priorizar la báscula de visión por IA para la estadística de producción y la gestión de materiales.
P: ¿Puede el reconocimiento visual por IA funcionar en entornos severos?
R: Sí. La solución de visión por IA de Kelude Industrias Pesadas está específicamente optimizada para entornos severos como talleres de fundición (altas temperaturas y polvo), acerías (luz intensa y vapor) y puertos (niebla salina y humedad). La cámara incorpora un sensor de obturador global con grado de protección IP67 (rango dinámico amplio >120 dB), y el módulo de computación de IA cuenta con un diseño de disipación de calor de grado industrial (temperatura de funcionamiento de -20 a 70 °C). Los datos de despliegue en talleres de fundición muestran que, tras la optimización de exposición mediante hardware WDR, la confianza de detección en condiciones de luz intensa se mantiene por encima del 90%.
P: ¿Cómo se integra el sistema de visión por IA con el sistema de control existente del puente grúa?
R: El sistema de visión por IA se comunica con el PLC del puente grúa mediante el protocolo Modbus TCP, transmitiendo los resultados de detección en un formato de trama de datos estándar de 16 bytes. La integración de hardware solo requiere un cable Ethernet para conectar el módulo de computación de IA al switch de red del PLC. Para la integración de software, es necesario programar un cliente Modbus en el PLC para analizar las tramas de datos. Kelude Industrias Pesadas proporciona bibliotecas de integración estándar para los PLC Siemens S7-1200/S7-1500 y Mitsubishi FX5U/L, y la puesta en marcha e integración se completa en aproximadamente 2 días laborables.
