Diagnóstico de fallos por IA en grúas: prevención de deriva
📋 Resumen clave
Un dato que contradice la intuición: el sistema de inspección con IA funciona muy bien al inicio, pero con el paso de los meses su precisión se degrada. El problema no es que el modelo se haya dañado, sino que los cambios en las condiciones de operación y el envejecimiento de los sensores provocan una desviación en la distribución de los datos que el modelo no logra seguir: es lo que se conoce como deriva del modelo. Este artículo desglosa las cuatro manifestaciones de la deriva, cómo confirmar que se trata de deriva y dónde está la causa raíz, y propone un sistema de prevención basado en tres pilares: monitoreo, reentrenamiento y reversión.
Cuando el sistema de inspección con IA se puso en marcha y pasó la prueba de aceptación, la precisión de reconocimiento de rotura de alambre alcanzó el 97,3%. Todo eran buenas noticias. Pero después de seis meses en funcionamiento, los técnicos veteranos empezaron a notar que el sistema comenzaba a emitir alarmas omitidas y falsas alarmas: con el mismo cable de acero, lo que antes se detectaba, ahora ya no se detecta.
La primera reacción de muchos es pensar que "el modelo se ha estropeado" o que "el proveedor nos ha engañado". En realidad, la causa más frecuente es la deriva del modelo: no es que el modelo haya empeorado, sino que las condiciones de operación en campo han cambiado y el modelo no se ha adaptado.
La deriva del modelo es un problema inevitable tras la puesta en marcha de cualquier sistema de IA. A continuación, explicamos en detalle cómo se manifiesta y cómo prevenirla.
Cuatro manifestaciones de la deriva del modelo: descenso de precisión, aumento de falsas alarmas, aumento de alarmas omitidas y fallo ante nuevas condiciones
La primera manifestación es el descenso de precisión. Si se comparan los resultados de las mismas pruebas de detección entre la fase inicial de puesta en marcha y varios meses después, la precisión cae de forma evidente.
La segunda manifestación es el aumento de falsas alarmas. Cada vez más muestras normales se clasifican erróneamente como anómalas, el personal de mantenimiento recibe alertas falsas con frecuencia y la confianza en el sistema se agota poco a poco.
La tercera manifestación es el aumento de alarmas omitidas. Los defectos reales ya no se detectan: las roturas de alambre y grietas que deberían activar una alerta temprana pasan desapercibidas. Esta es la manifestación más peligrosa, porque sus consecuencias en materia de seguridad son las más graves.
La cuarta manifestación es el fallo ante nuevas condiciones de operación. Si se cambia el material de la carga, varían las condiciones de iluminación o se modifica el tiempo de ciclo, el modelo falla directamente en el nuevo escenario. Estas cuatro manifestaciones son señales típicas de deriva del modelo.
Procedimiento de diagnóstico: cómo confirmar que es deriva del modelo y no un problema de datos
Ante una degradación en la detección, no hay que sacar conclusiones precipitadas. Hay que determinar si el problema es deriva del modelo o si la causa está en los sensores, los datos o el entorno.
Primer paso: revisar los datos de entrada. Hay que confirmar que la cámara y los sensores no estén dañados, sucios o desalineados, y que los datos de entrada sean correctos. Si los datos de entrada son defectuosos, el mejor modelo del mundo no sirve de nada.
Segundo paso: comparar con la línea base histórica. Se toman los indicadores de prueba de la fase inicial como línea base y se comparan con los actuales para ver si la precisión, la tasa de falsas alarmas y la tasa de falsos negativos están en declive continuo. Un declive sostenido es la característica distintiva de la deriva.
Tercer paso: inspección de muestras erróneas. Se extraen las muestras mal clasificadas recientemente y se revisan manualmente para determinar si los errores se concentran en un mismo tipo de condición de operación o si son aleatorios. Si se concentran en un nuevo tipo de condición, se puede confirmar la deriva. En el diagnóstico de Kelude se sigue este procedimiento de tres pasos —datos, línea base y muestras erróneas— para descartar primero los problemas de datos y luego confirmar la deriva. La norma ISO 24621 «Diagnóstico de fallas por IA en grúas» establece requisitos para la validez continua del modelo de diagnóstico.
Análisis de causa raíz: cambios en las condiciones de operación, envejecimiento de sensores y desviación en la distribución de datos
La causa raíz de la deriva del modelo es que la distribución de los datos durante el entrenamiento ya no coincide con la distribución de los datos en operación. Hay tres fuentes concretas.
La primera: cambios en las condiciones de operación. Si cambia el material de la carga, varían las condiciones de iluminación o se modifica el tiempo de ciclo, la distribución de las imágenes y los datos de los sensores se aleja de la que el modelo vio durante el entrenamiento. El modelo no ha visto estas nuevas distribuciones y, por tanto, no puede clasificar con precisión.
La segunda: envejecimiento de los sensores. La acumulación de polvo en la cámara, el desgaste de la lente o la deriva del sensor hacen que los datos recopilados se desvíen gradualmente del estado de calibración. Esta desviación lenta es la más difícil de detectar y la que más fácilmente se acumula hasta convertirse en deriva.
La tercera: la deriva del propio concepto. Por ejemplo, el criterio para considerar que una rotura de alambre requiere el desecho del cable puede variar según el modelo de cable de acero y su vida útil. El modelo aprendió el criterio antiguo y ya no coincide con el nuevo. En esencia, estas tres fuentes son todas desviaciones en la distribución de datos, pero difieren en velocidad y dirección. Kelude integra la calibración periódica de los sensores envejecidos en el plan de mantenimiento para frenar la deriva desde su origen.
Sistema de prevención de deriva: monitoreo, reentrenamiento y reversión
La deriva del modelo no se puede evitar por completo, pero sí se puede gestionar. La clave está en el trío: monitoreo, reentrenamiento y reversión.
El monitoreo es el requisito previo. Tras la puesta en marcha, hay que vigilar de forma continua los indicadores en línea como la precisión, la tasa de falsas alarmas y la tasa de falsos negativos, establecer umbrales y activar alertas en cuanto los indicadores se degraden. Así se detecta la deriva a tiempo.
El reentrenamiento es el medio. Una vez detectada la deriva, se reentrena o se actualiza incrementalmente el modelo con los datos acumulados en las nuevas condiciones de operación para que el modelo siga el ritmo de los cambios en campo. El registro de datos operativos que exige la norma GB/T 28264-2017 «Sistema de Monitoreo y Gestión de Seguridad para aparatos de elevación» respalda el reentrenamiento. Con una realimentación continua de datos y una actualización constante del modelo, la deriva se corrige de forma sostenida.
La reversión es la red de seguridad. Si un modelo recién desplegado resulta peor que el anterior, debe ser posible revertir a la versión anterior con un solo clic para evitar que la corrección de la deriva se convierta en un problema nuevo. Kelude ha incorporado el monitoreo, el reentrenamiento y la reversión como elementos estándar de sus sistemas de IA, garantizando que el modelo siga siendo útil durante su operación continua.
Comparación entre diagnóstico y tratamiento de la deriva del modelo
| Manifestación de deriva | método de diagnóstico | Causa raíz | Acción de tratamiento | Medida preventiva |
|---|---|---|---|---|
| PrecisiónDescenso | comparaciónLínea base de despliegue | Desviación de distribución de datos | Reentrenamiento del modelo | En producciónIndicadorMonitoreo |
| falsa alarmaAscendente | Estadísticatasa de falsas alarmas | umbralPérdida de adaptación | PesadoCalibraciónumbral | Bucle cerrado de retroalimentación de alarmas |
| alarma omitidaAscendente | Muestreo de errores | Nuevocondiciones de operaciónMuestras no vistas | Complemento de datos nuevoscondiciones de operaciónDatos | Retroalimentación continua de datos |
| Nuevocondiciones de operaciónFallo | Segúncondiciones de operaciónDesglose | condiciones de operaciónExtrapolación de límites | Reversión a versión anterior | Versión reversible |
Referencia rápida de cláusulas normativas sobre deriva del modelo
| Norma | Puntos clave de la cláusula | Relación con la gestión de deriva |
|---|---|---|
| ISO 24621 | grúadiagnóstico de fallos por IAMarco | modelo de diagnósticoVigencia continua |
| GB/T 28264 — Sistema de Monitoreo y Gestión de Seguridad | monitoreo de seguridadTrazabilidadrequisitos | datos operativosSoporte para reentrenamiento |
| ISO 24445 | sensor inteligenteespecificación técnica | SensorEnvejecimientoDetección |
Preguntas frecuentes sobre la deriva del modelo
P: ¿Cómo distinguir entre la deriva del modelo y un problema del propio modelo?
R: Hay que fijarse en la pauta temporal del deterioro de los indicadores. Si el problema es del modelo en sí, el rendimiento suele ser deficiente desde el primer día de su puesta en marcha. En cambio, con la deriva del modelo, el rendimiento inicial es bueno y va empeorando gradualmente con el tiempo. El método de diagnóstico consiste en comparar los indicadores de referencia iniciales con los actuales: si el rendimiento fue bueno y ahora ha empeorado, y el deterioro se concentra en un tipo nuevo de condiciones de operación, lo más probable es que se trate de deriva. Primero se descartan problemas de sensores y de datos, y solo entonces se concluye que hay deriva.
P: Ante una deriva del modelo, ¿qué se debe hacer en primer lugar?
R: Primero, revisar los datos de entrada para confirmar que los sensores y las cámaras no estén dañados, sucios o desalineados, descartando así problemas de calidad de datos. Después, comparar con los indicadores de referencia para confirmar si el deterioro es continuado. Una vez confirmada la deriva, se evalúa el alcance del impacto; si es urgente, se revierte a la versión anterior para limitar los daños y, a continuación, se reentrena el modelo con los datos de las nuevas condiciones de operación. El orden es: descartar problemas de datos, confirmar la deriva, revertir para contener el daño y reentrenar para recuperar el rendimiento.
P: ¿Cómo se puede prevenir la deriva del modelo con antelación?
R: Tres medidas: monitorizar de forma continua los indicadores en producción —precisión, falsas alarmas y alarmas omitidas— y establecer umbrales para una alerta temprana; realimentar el sistema con datos de campo de forma constante y reentrenar periódicamente el modelo para que se adapte a los cambios en las condiciones de operación; y mantener la capacidad de revertir a versiones anteriores para poder retroceder en cualquier momento tras el despliegue de un modelo nuevo. La deriva no se puede evitar por completo, pero con una monitorización que la detecte a tiempo, un reentrenamiento que la corrija y una reversión como respaldo, se puede minimizar su impacto.
Para la actualización continua frente a la deriva del modelo, se puede consultar el enfoque de acumulación de datos y reentrenamiento descrito en «Plataforma de entrenamiento y prueba del algoritmo de visión IA para grúas: más de 500 000 imágenes anotadas de defectos industriales».
Un modelo de IA no se despliega una sola vez y funciona para siempre: las condiciones de operación cambian, los datos cambian y el modelo debe adaptarse. Kelude utiliza el trío de monitorización, reentrenamiento y reversión para mantener el modelo de detección operativo y fiable durante su funcionamiento continuo.
