Diagnóstico de fallos por IA en grúas: visión y lenguaje
📋 Resumen clave
La inspección visual tradicional solo reconoce defectos específicos; los modelos de lenguaje visual (VLM) combinan imagen y texto para describir fallos en lenguaje natural, lo que representa el siguiente paso en el mantenimiento de grúas. Sin embargo, aún deben superar tres barreras: alucinaciones, latencia y fiabilidad, por lo que su adopción industrial está en una fase temprana. Este artículo analiza las diferencias de capacidad, las limitaciones y la ruta de implementación entre los VLM y la visión tradicional, para aclarar cuánto falta para que "ver y reportar fallos" sea una realidad operativa.
La visión IA actual en grúas se limita a "reconocer defectos": rotura de alambre en cable, grieta de soldadura, desviación de la carga. Una vez entrenado el modelo, detecta y genera una alerta. Pero no puede explicar "por qué es un fallo, qué tan grave es o cómo abordarlo".
El siguiente paso es "comprender la escena y hablar en lenguaje humano": los modelos de lenguaje visual pueden procesar imágenes y texto, y describir el fallo de forma natural. Es una tendencia clara, pero aún quedan varios obstáculos para su adopción industrial.
A continuación, se detallan las diferencias, limitaciones y rutas de implementación entre los VLM y la visión tradicional, para evaluar cuánto falta para que "ver y reportar fallos" sea una realidad.
VLM frente a visión tradicional: del reconocimiento de defectos a la comprensión del contexto
La capacidad de la inspección visual tradicional es el "reconocimiento". Tras el entrenamiento del modelo, puede identificar categorías específicas de defectos y emitir resultados como "hay rotura de alambre aquí". Su límite es claro: solo reconoce defectos para los que fue entrenado y solo genera etiquetas predefinidas.
La capacidad de los modelos de lenguaje visual es la "comprensión". Integran imagen y texto para describir el contenido de una imagen, responder preguntas sobre ella y emitir juicios según el contexto. Ante un cable de acero, pueden decir: "Se observa posible rotura de alambre cerca del tercer cordón, con corrosión superficial; se recomienda reinspección".
Esta diferencia esencial supone un salto del "clasificador" al "asistente que ve y explica". La visión tradicional se encarga del posicionamiento preciso y la clasificación; el VLM, de la comprensión semántica y la expresión en lenguaje natural. No se sustituyen, se complementan. En Kelude consideramos que los VLM se implementarán primero en tareas no críticas como "explicación y consulta", y la ISO 24621 sobre diagnóstico de fallos por IA en grúas exige dejar constancia de la base del diagnóstico.
Tres limitaciones del VLM: alucinaciones, latencia y fiabilidad
Para que los VLM lleguen a la industria, deben superar tres barreras que no se pueden ignorar.
La primera, las alucinaciones. Los VLM pueden describir con total seguridad defectos inexistentes o citar cláusulas de norma inventadas, algo inaceptable en el ámbito industrial. Hoy por hoy, no pueden responsabilizarse de la precisión de sus resultados.
La segunda, la latencia. La generación de texto de un VLM es secuencial y lenta, por lo que no cumple los requisitos de detección en tiempo real. Es adecuado para análisis posterior y consultas, no para monitoreo de seguridad en milisegundos.
La tercera, la fiabilidad. La salida de un VLM es inestable: ante la misma imagen, puede ofrecer descripciones distintas en dos ejecuciones. Esa incertidumbre es un riesgo en entornos industriales donde se exige responsabilidad. Mientras estas tres barreras no se resuelvan, el VLM quedará relegado a un rol auxiliar. En Kelude las consideramos la línea roja de aceptación para la industrialización de los VLM.
Cómo implementar el VLM: empezar por la explicación y consulta no crítica
La vía correcta para implementar el VLM no es sustituir la visión tradicional, sino cubrir el vacío que esta deja.
Primero, que la visión tradicional siga encargándose de la detección. Tareas precisas como reconocimiento de defectos, posicionamiento y clasificación deben seguir en manos de modelos de detección maduros; es la base de la fiabilidad.
Segundo, que el VLM asuma la explicación y la consulta. Cuando la visión tradicional genera una alerta, el VLM combina la imagen con conocimientos de mantenimiento para explicar en lenguaje natural el significado de la alerta, su causa posible y las recomendaciones de actuación, dirigidas al personal.
Tercero, que la salida del VLM se considere una referencia. Sus explicaciones y sugerencias sirven de apoyo al personal de mantenimiento, pero la decisión final y la actuación corresponden al operario. El VLM no participa en el control en tiempo real ni en la toma de decisiones directa; la GB/T 28264-2017, Sistema de Monitoreo y Gestión de Seguridad para aparatos de elevación, exige dejar constancia de los datos de alerta. En Kelude posicionamos el VLM como un asistente de mantenimiento que primero resuelve "ver y explicar con claridad", sin intervenir en "control y decisión".
Comparativa entre VLM y visión tradicional
| Dimensión de Comparación | Tradicionalvisión | visiónModelo de Lenguaje | límite de capacidad | Madurez |
|---|---|---|---|---|
| Tarea | reconocimiento de defectosPosicionamientoClasificación | Pregunta-respuesta semántica multimodal | Posicionamiento preciso vs Comprensión semántica | Madurez tradicional |
| Salida | Coordenadas de etiquetas de clase | Descripción en lenguaje natural | estructuración vs Semantización | Madurez tradicional |
| Alucinación | Sin | Riesgo de fabricación | fiabilidadDiferencia | VLMFase temprana |
| Tiempo real | Nivel de milisegundos | Generación lenta | Tiempo real vs A posteriori | VLMFase temprana |
Referencia rápida de cláusulas normativas para la instalación de VLM
| Norma | Puntos clave de la cláusula | yVLMRelación con |
|---|---|---|
| ISO 24621 | grúadiagnóstico de fallos por IAMarco | DiagnósticoRestricción basada en trazabilidad |
| GB/T 28264 — Sistema de Monitoreo y Gestión de Seguridad | monitoreo de seguridadTrazabilidadrequisitos | Datos de alarmatrazable |
| reglamento TSG 51 — Reglamento técnico de seguridad de equipos especiales-2023 | enclavamiento de seguridadSupervisiónrequisitos | VLMNo intervenirdecisión de seguridad |
Preguntas frecuentes sobre los modelos de visión y lenguaje
P: ¿Qué diferencia hay entre un modelo de visión y lenguaje y la inspección visual tradicional?
R: La visión tradicional es un clasificador: tras el entrenamiento, solo reconoce defectos específicos y devuelve etiquetas predefinidas. Un VLM comprende imagen y texto de forma conjunta: describe lo que ve, responde preguntas y razona según el contexto, explicando la avería en lenguaje natural. La diferencia está en el nivel de capacidad: uno solo «reconoce», el otro «entiende y explica». El VLM aporta la comprensión semántica y la expresión en lenguaje natural que la visión tradicional no puede ofrecer.
P: ¿Merece la pena invertir ahora en un modelo de visión y lenguaje?
R: Depende del escenario. Para detección en tiempo real y monitoreo de seguridad, la visión tradicional sigue siendo la opción dominante: la latencia y las alucinaciones del VLM no superan los requisitos. Pero para tareas de interpretación no en tiempo real —como interpretación de alarmas, consultas sobre averías o recuperación de información— el VLM ya se puede probar en proyectos piloto. El enfoque pragmático es: usar visión tradicional para la detección y el VLM para la interpretación y las consultas, ampliando su uso a medida que madure. No conviene delegar la detección en el VLM desde el principio.
P: ¿Cómo saber si mi escenario necesita un modelo de visión y lenguaje?
R: Depende de si necesitas «entender y explicar». Si solo se trata de detectar defectos y lograr un posicionamiento preciso, la visión tradicional es suficiente: no hace falta un VLM. El VLM aporta valor cuando necesitas traducir una alarma a un lenguaje comprensible, ayudar al personal de campo a entenderla rápidamente o responder consultas en lenguaje natural. El criterio de evaluación es: ¿tu escenario carece de «capacidad de detección» o de «capacidad de interpretación»? Solo si falta la interpretación, tiene sentido recurrir al VLM.
P: ¿Cuánto falta para que el diagnóstico de averías a partir de imágenes esté realmente operativo?
R: Quedan varios obstáculos. Las alucinaciones no están resueltas: el VLM puede describir un defecto de forma incorrecta y no puede responsabilizarse del resultado de la detección. La latencia tampoco está resuelta: no permite operar en tiempo real. Y la salida es inestable: la misma imagen puede dar respuestas distintas en momentos diferentes. Mientras estos problemas persistan, el VLM solo puede servir como apoyo a la interpretación. El criterio pragmático es: la detección sigue recayendo en la visión tradicional, y el VLM se implanta primero en tareas no en tiempo real como la interpretación de alarmas y las consultas. El verdadero «diagnóstico por imagen» tendrá que esperar a que la fiabilidad esté garantizada.
Para una visión global de las aplicaciones de la visión IA, se puede consultar la distribución de capacidades visuales en «Visión IA y sistemas de detección en puentes grúa: 5 escenarios de aplicación clave, del monitoreo de seguridad a la cartografía SLAM».
El modelo de visión y lenguaje es la próxima estación en el mantenimiento de grúas, pero llegar a la estación no significa que se pueda subir ya al tren. En Kelude Industrias Pesadas, el VLM se destina primero a la interpretación de alarmas y a las consultas; la detección sigue apoyándose en la visión tradicional. Habrá que esperar a que las alucinaciones, la latencia y la fiabilidad estén resueltas antes de plantearle un papel más relevante.
