Deteção de Defeitos em Pontes Rolantes com Transfer Learning
Solução Técnica de Detecção de Defeitos em Pontes Rolantes com Aprendizagem por Transferência
Utilizando o ResNet-18 pré-treinado no ImageNet como modelo base, a aprendizagem é transferida para a classificação de defeitos superficiais em componentes de pontes rolantes (5 classes de defeitos + 1 classe normal). Em quatro níveis de amostragem (50/100/300/500), são comparadas três estratégias: aumento de dados (CutMix + transformações geométricas, melhoria de precisão de +4% a +7%), congelamento do extrator de características (treinando apenas a camada FC, T1=89,5% @300 amostras) e ajuste fino completo do modelo (todas as camadas participantes, T1=93,2% @500 amostras). Fluxo de trabalho de engenharia recomendado: aumento de dados → congelamento da FC para uma linha de base rápida → ajuste fino completo para otimização final. Plataforma de experimentos: PyTorch 2.1.0 + NVIDIA A10, de acordo com a norma ISO 4301.
Um dos principais desafios na detecção de defeitos por visão industrial é a escassez de dados anotados — os defeitos em componentes de pontes rolantes (cabo de aço, rodas, trilhos, gancho, freio) apresentam morfologias diversas (trincas, desgaste, picagens, deformação, fratura), e a coleta de centenas de amostras anotadas para cada tipo de defeito pode levar semanas. A aprendizagem com poucos exemplos (Few-Shot Learning) e a aprendizagem por transferência (Transfer Learning) aproveitam modelos visuais pré-treinados em grandes conjuntos de dados genéricos (como o ImageNet, com 14 milhões de imagens) para tarefas onde os dados do domínio alvo, como a detecção de defeitos industriais, são escassos. Este artigo aplica estas técnicas à deteção de defeitos superficiais em cinco tipos comuns de componentes de pontes rolantes (fios partidos no cabo de aço, desgaste na superfície de rolamento das rodas, trincas nos trilhos, deformação do gancho, fissuras na lona de freio), comparando sistematicamente a eficácia de diferentes estratégias de transferência com volumes de amostragem entre 50 e 500.
Configuração Experimental e Conjunto de Dados
Conjunto de dados: imagens de defeitos superficiais de componentes de pontes rolantes (anotação interna da Kelude, adquiridas em 2024, com câmera industrial Basler acA2440-75um + iluminação em anel LED). Total de 1.875 imagens, 6 classes (normal + 5 defeitos), divididas em 4 níveis de amostragem para os experimentos (50/100/300/500 imagens por classe, o restante para validação/teste). Pré-processamento uniforme: redimensionamento para 224×224, normalização com média [0.485,0.456,0.406] e desvio padrão [0.229,0.224,0.225] (padrão ImageNet). Modelo base: ResNet-18 (pré-treinado no ImageNet, 11,7 milhões de parâmetros). Métricas de avaliação: Precisão Top-1 (métrica principal), pontuação F1.
Métodos de Aumento de Dados
O aumento de dados é a estratégia mais básica e eficaz em cenários de poucos exemplos. Este experimento utiliza uma combinação de três tipos de métodos de aumento: ① Transformações geométricas — rotação aleatória (±15°), inversão horizontal (probabilidade 0,5), translação aleatória (±10%), zoom aleatório (0,8~1,2x), recorte aleatório (0,08~1,0); ② Transformações fotométricas — ajuste de brilho (±20%), ajuste de contraste (±15%), ajuste de saturação (±15%), variação de matiz (±0,1), ruído gaussiano (σ=0,01); ③ Aumento avançado — Apagamento Aleatório (Random Erasing, p=0,5, max_area=0,2), CutMix (mistura com recorte aleatório de outra imagem, α=1,0). O fator de aumento é controlado entre 5x e 20x.
Comparação de Estratégias de Transferência
| Estratégia de Transferência | 50Amostras | 100Amostras | 300Amostras | 500Amostras | Tempo de Treinamento | Risco de Sobreajuste |
|---|---|---|---|---|---|---|
| Congelamento FC+Aumento de Dados | 68.5% | 77.2% | 89.5% | 91.3% | ＜5min | Baixo |
| Ajuste Fino Completo+Aumento de Dados | 70.1% | 80.8% | 91.7% | 93.2% | ~35min | Médio |
| Congelamento FC(Sem Aumento de Dados) | 62.3% | 71.5% | 85.2% | 88.6% | ＜3min | Baixo |
| Ajuste Fino Completo(Sem Aumento de Dados) | 64.8% | 74.6% | 87.1% | 90.3% | ~30min | Médio-Alto |
O treino a partir do zero (sem pesos pré-treinados) atinge apenas 41,8% de T1 com 50 amostras, muito abaixo de qualquer estratégia de transferência de aprendizagem. O aumento de dados é mais eficaz em cenários de baixo volume de amostras (50/100), com ganhos de +5~6%, diminuindo à medida que o volume aumenta (+4,3% com 300 amostras, +2,9% com 500 amostras). Quando os dados anotados atingem ≥300 imagens, a estratégia de camada totalmente congelada (freeze FC) já alcança T1≈90%, satisfazendo a maioria dos requisitos de implantação industrial. No cenário de 500 amostras, o ajuste fino completo atinge T1=93,2%, próximo do limite da aprendizagem supervisionada.
Fluxo de trabalho recomendado para aplicações industriais
Com base nos resultados experimentais, o fluxo de trabalho recomendado é o seguinte: Etapa 1 (estabelecimento da baseline) — utilizar a estratégia de camada totalmente congelada (freeze FC) com aumento de dados básico (rotação, inversão, brilho e ruído), usando 100 a 300 imagens anotadas para criar rapidamente um modelo de referência (T1≈90%). Etapa 2 (otimização do aumento) — incorporar progressivamente estratégias avançadas como CutMix, monitorizando se a precisão no conjunto de validação continua a melhorar. Etapa 3 (ajuste fino completo) — quando a precisão da baseline estabilizar, descongelar todas as camadas para ajuste fino do modelo completo (taxa de aprendizagem reduzida 10× para 0,0001), normalmente ganhando mais 1~2%. Etapa 4 (implantação) — exportar para o formato ONNX, quantizar com TensorRT INT8 e implantar no Jetson Orin NX (latência de inferência de aproximadamente 1,2 ms/imagem). Todo o processo pode ser concluído em 1 a 2 dias.
Perguntas frequentes sobre deteção de defeitos
P: Porque não usar modelos maiores como ResNet-50/101 na transferência de aprendizagem para deteção de defeitos em pontes rolantes?
R: O ResNet-18 é frequentemente a melhor escolha em cenários industriais, por três razões: ① a deteção de defeitos em pontes rolantes é uma tarefa de classificação de granularidade fina — camadas excessivamente profundas produzem características demasiado abstratas, prejudicando a extração de texturas locais; ② os conjuntos de dados industriais de defeitos são muito menores do que os de imagens naturais, e os 11,7 milhões de parâmetros do ResNet-18 são suficientes; ③ a latência de inferência do ResNet-18 é apenas cerca de 60% da do ResNet-50 (1,2 ms vs 2,0 ms no Jetson Orin NX). Modelos maiores só apresentam vantagens significativas com ≥5.000 imagens por classe.
P: Entre CutMix e MixUp, qual é mais adequado para deteção de defeitos industriais?
R: O CutMix é mais adequado. O MixUp realiza uma mistura linear ao nível do pixel (sobreposição de imagens), o que gera "imagens fantasma" não naturais em contextos industriais (defeitos sobrepostos semitransparentes), reduzindo a sensibilidade do modelo aos contornos dos defeitos. O CutMix, por sua vez, combina regiões (recorta uma área retangular de uma imagem e cola noutra), preservando a integridade de cada defeito individual. Nesta experiência, o CutMix superou o MixUp em cerca de 2,3% de F1 (cenário com 300 amostras).
P: É necessário treinar modelos separados para os diferentes componentes da ponte rolante (cabo de aço, rodas, trilho, gancho)?
R: Recomenda-se treinar modelos de classificação separados por tipo de componente (6 classes: 5 defeitos + 1 normal), em vez de um modelo unificado para múltiplos componentes e defeitos. A razão é que a textura de fundo, as condições de iluminação e a morfologia dos defeitos variam significativamente entre componentes, exigindo mais dados e maior capacidade do modelo num cenário unificado. Os modelos de 6 classes (50 a 300 imagens por classe) podem ser treinados em 30 minutos com a estratégia de camada totalmente congelada (freeze FC), e na implantação os 6 modelos ONNX são geridos como microsserviços em contentores.
P: Quanto espaço de armazenamento é necessário para implantar modelos de transferência de aprendizagem em dispositivos edge Jetson?
R: O ResNet-18 em FP32 ocupa cerca de 45 MB, reduzindo para aproximadamente 12 MB após quantização TensorRT INT8. Os 6 modelos de componentes (6×12 MB = 72 MB) + motor de inferência (cerca de 200 MB) + ficheiros de configuração totalizam menos de 300 MB. A versão Jetson Orin NX de 16 GB pode facilmente alojar mais de 20 modelos. A latência de inferência por modelo é de aproximadamente 1,2 ms (INT8, batch=1), e a inferência em cascata dos 6 modelos é inferior a 8 ms.
