Sistema de Visão IA para Ponte Rolante com Pesagem Inteligente
Reconhecimento Visual por IA para Pontes Rolantes — O sistema utiliza o modelo de deep learning YOLOv8s e o algoritmo de rastreamento multi-objeto ByteTrack para deteção em tempo real da carga suspensa, com precisão de deteção ≥95% (mAP@0.5). O modelo de pesagem dinâmica LSTM garante um erro de pesagem dinâmica ≤2% FS, complementado por uma câmera industrial estabilizada (1920×1080@30fps) e um módulo de computação de IA embarcado (TOPS≥4), formando um sistema de visão artificial completo. A Solução Técnica de visão por IA da Kelude Indústrias Pesadas já foi implementada em mais de 30 unidades nos setores de fundição, siderurgia e armazenagem.
O sistema de reconhecimento visual por IA para pontes rolantes é composto por três partes: câmera industrial estabilizada, módulo de computação de IA embarcado e software de análise visual. A câmera é instalada na parte inferior da Estrutura do carrinho da ponte rolante, capturando a área de carga de uma perspetiva superior. Os dados de imagem são transmitidos via Ethernet para o módulo de computação de IA, onde o modelo YOLOv8s executa a deteção e classificação da carga na borda. O sistema também integra a funcionalidade de pesagem eletrônica: através do modelo de deep learning LSTM, compensa em tempo real a deformação da carga e a oscilação do Cabo de Aço visíveis no vídeo, realizando a Pesagem dinâmica durante a operação de elevação. O diagrama de arquitetura abaixo ilustra o fluxo completo de dados, desde a aquisição de imagem até a saída dos resultados de deteção. O projeto do sistema deve seguir a norma ISO 4301 / FEM 1.001 (referência original: ISO 4301 / FEM 1.001) e as normas relevantes JJG 555-2016.
Arquitetura do Sistema de Reconhecimento Visual
A arquitetura do sistema de visão por IA é dividida em três camadas: camada de aquisição de imagem, camada de inferência na borda e camada de saída de resultados. Camada de aquisição de imagem: A câmera industrial estabilizada é montada sob a Estrutura do carrinho, capturando imagens de alta definição com resolução de 1920×1080 @30fps. Uma luz de preenchimento infravermelha de 850nm garante imagens nítidas em condições de baixa luminosidade. A câmera possui Grau de Proteção (IP) IP67. Camada de inferência na borda: O módulo de IA embarcado utiliza chips NVIDIA Jetson ou Rockchip RK3588, oferecendo capacidade de computação ≥4 TOPS (INT8). Ele executa o modelo YOLOv8s para inferência em cada quadro, com velocidade de inferência ≥25fps para atender aos requisitos de tempo real. Camada de saída de resultados: Os resultados da deteção são transmitidos via RS485 ou Ethernet para o Sistema de controle PLC da ponte rolante, incluindo a categoria da carga, coordenadas de posição e o valor da Pesagem dinâmica.
A comunicação entre o sistema de visão e o PLC da ponte rolante utiliza o protocolo Modbus TCP. O formato do quadro de dados dos resultados de deteção inclui ID da carga, coordenadas, dimensões, peso, confiança e soma de verificação, com um comprimento total de 16 bytes por quadro e um período de comunicação de 100ms. A Solução Técnica de visão por IA da Kelude Indústrias Pesadas complementa-se com a solução de sistema de posicionamento da ponte rolante baseada em visão SLAM: o SLAM é responsável pelo mapeamento do ambiente e Planejamento de Trajetória, enquanto a visão por IA trata da deteção da carga e da pesagem.
Solução de Deteção de Carga
A deteção de carga utiliza o modelo YOLOv8s como detetor base. O conjunto de dados de treino abrange 12 categorias comuns de carga (Chapa de Aço, bobinas, perfis de aço, peças fundidas, caixas, tubos, materiais a granel, contentores, moldes, equipamentos, Elevação vazia, estado anómalo), com ≥2000 amostras de treino por categoria, totalizando mais de 25.000 imagens anotadas. As estratégias de aumento de dados incluem Rotação multi-ângulo (±15°), variação de iluminação, simulação de oclusão e desfoque de movimento. O tamanho de entrada do modelo é 640×640 pixels, com limite NMS de 0,45 e limite de confiança de 0,5, resultando numa precisão de deteção final de mAP@0.5≥95%.
O rastreamento multi-objeto utiliza o algoritmo ByteTrack, baseado na previsão do filtro de Kalman e na correspondência do algoritmo húngaro, para garantir a associação consistente do ID da carga entre quadros consecutivos. A principal vantagem do ByteTrack reside no seu processamento secundário de caixas de deteção de baixa confiança, reduzindo significativamente as trocas de ID causadas por oclusão e mudanças de perspetiva. Em testes de campo com uma ponte rolante de 10t, a taxa de troca de ID foi inferior a 1 por 1000 quadros, e a precisão do rastreamento multi-objeto (MOTA) foi ≥93%. Os resultados do rastreamento fornecem a trajetória do movimento da carga e estatísticas do ciclo de trabalho, servindo como base para a análise de eficiência da produção.
Comentário do responsável técnico da Kelude Indústrias Pesadas:
“O maior desafio prático na deteção de carga por visão IA não é a precisão do modelo, mas a imprevisibilidade das condições de iluminação no local. Em projetos de implementação em oficinas de Fundição e Siderúrgica, a Kelude encontrou um problema típico: o reflexo na superfície das peças fundidas e a luz intensa perto do forno causavam sobreexposição na câmera, fazendo a confiança de deteção do YOLOv8s cair de 95% para 40%. A nossa solução foi tripla: primeiro, a câmera utiliza um Sensor de obturador global com WDR de hardware (faixa dinâmica ampla >120dB); segundo, adicionámos aumento de dados com amostras sobreexpostas no treino do modelo; terceiro, implementámos um algoritmo de exposição adaptativa no módulo de computação de IA, que ajusta dinamicamente o tempo de exposição e o ganho com base no brilho médio do quadro anterior. Esta abordagem restaurou a confiança de deteção para mais de 90% em ambientes de luz intensa em projetos reais.”
Solução de Pesagem Inteligente com Balança Eletrônica
A Pesagem dinâmica baseia-se num modelo de deep learning LSTM que compensa em tempo real a oscilação do Cabo de Aço sob a carga, a Rotação da carga e a vibração da câmera visíveis no vídeo. Enquanto as Balanças eletrônicas tradicionais exigem que a carga fique completamente parada (pairando ≥3s) para obter uma leitura estável, a balança de visão IA utiliza o modelo LSTM para aprender as características das séries temporais do movimento da carga, permitindo a saída de um valor de peso estável durante a operação de elevação. As características de entrada do modelo LSTM incluem a taxa de variação da área da caixa delimitadora da carga, a aceleração do deslocamento do centro da carga, o Ângulo e a velocidade de oscilação do Cabo de Aço, produzindo como saída o valor de peso compensado.
O conjunto de dados de treino do modelo LSTM provém dos dados de Calibração da plataforma de testes da Kelude Indústrias Pesadas: durante o içamento de Peso de teste de peso conhecido, as características de vídeo e os valores reais da Célula de Carga são sincronizados e recolhidos, resultando em cerca de 8000 sequências de treino. Em testes práticos, o erro de Pesagem dinâmica é ≤2% FS, e o tempo para uma única pesagem é inferior a 1s (em comparação com os 5~8s necessários no método tradicional). A uma frequência de operação de 25 ciclos/h, isto representa uma poupança diária de cerca de 3 a 5 minutos no tempo de pesagem.
Parâmetros Chave do Sistema de Visão IA
| Parâmetro | Especificação / Valor |
|---|---|
| Modelo de deteção | YOLOv8s |
| Algoritmo de rastreamento | Byte Track |
| Precisão de deteção | m AP@0.5 ≥ 95% |
| Precisão de pesagem dinâmica | Erro ≤ 2% FS |
| Resolução da câmera | 1920×1080 @30fps |
| Capacidade de computação IA | ≥ 4 TOPS (INT8) |
| Grau de Proteção (IP) da câmera | IP67 |
| Protocolo de comunicação | Modbus TCP / RS485 / Ethernet |
| Tempo de pesagem | < 1s |
| Taxa de troca de ID (rastreamento) | < 1 por 1000 quadros |
| Precisão de rastreamento (MOTA) | ≥ 93% |
| Item de parâmetro | Visão Detecção | Pesagem dinâmica | Balança eletrônica tradicional | Descrição |
|---|---|---|---|---|
| Algoritmo principal | YOLOv8s+Byte Track | LSTMModelo temporal | Sensor extensométrico de resistência | AISolução sem contato |
| Precisão | m AP≥95% | ≤2%FS | ≤0.5%FS | Tradicional Precisão Maior precisão, porém requer parada |
| Tempo de resposta | 40ms(Inferência) | <1s(Dinâmico) | 3~8s(Requer suspensão) | AIPesagem dinâmica Rápido4~8vezes |
| Custo de hardware | 2~40 mil CNY | Incluído emsistema de visãoem | 0.5~20 mil CNY | AISolução com capacidade computacional adicional Módulo |
| Cenário de Aplicação | Materiais a granel/Peças fundidas/Chapas | Pesagem em operação contínua | Pesagem de precisão | Os dois podem ser usados de forma complementar |
Dados centrais do sistema
| precisão de detecção ≥95% YOLOv8s m AP@0.5 | Erro de pesagem ≤2%FS LSTMCompensação dinâmica | Inferênciavelocidade 25fps Jetson Borda (edge) |
| Demanda computacional 4TOPS INT8Inferência quantizada | Amostras de treinamento 25000unidades 12Anotação de categorias de cargas | IDTaxa de alternância <1vezes/mil quadros Byte Track Rastreamento multi-alvo |
Perguntas Frequentes (FAQ)
P: Qual é o investimento necessário para o sistema de reconhecimento visual por IA para pontes rolantes?
R: O custo de hardware do sistema de reconhecimento visual por IA é de aproximadamente 2.600 a 5.100 EUR por conjunto, incluindo a câmera industrial com estabilização (cerca de 380 a 770 EUR), o módulo de computação de IA embarcado (cerca de 1.300 a 3.200 EUR) e os acessórios de montagem. A licença de software é cobrada anualmente, entre 640 e 1.300 EUR por equipamento/ano. Em comparação com a balança eletrônica tradicional (640 a 2.600 EUR), a solução de IA permite simultaneamente a deteção de cargas suspensas e a pesagem dinâmica, oferecendo uma melhor relação custo-benefício. A Kelude Indústrias Pesadas oferece instalação e comissionamento no local gratuitos para o primeiro cliente a implementar o sistema.
P: Qual é mais preciso: a balança de IA ou a balança eletrónica tradicional?
R: A balança eletrónica tradicional tem maior precisão estática (≤0,5% FS), mas exige que a carga fique suspensa por 3 a 8 segundos, o que afeta a eficiência operacional. A balança de IA tem precisão dinâmica ligeiramente inferior (≤2% FS), mas não requer paragens, poupando 3 a 5 segundos por ciclo. Com uma frequência de 25 ciclos/hora, a poupança acumulada de tempo de pesagem ao longo do dia é de 3 a 5 minutos. A Kelude Indústrias Pesadas recomenda: para aplicações que exigem alta precisão de medição (nível de transação comercial), manter a balança eletrónica tradicional; para cenários de estatística de produção e gestão de materiais, dar prioridade à balança de IA.
P: O sistema de reconhecimento visual por IA funciona em ambientes adversos?
R: Sim. A solução de visão por IA da Kelude Indústrias Pesadas foi especificamente otimizada para ambientes adversos, como oficinas de fundição (altas temperaturas e poeiras), siderúrgicas (luz intensa e vapor) e portos (névoa salina e humidade). A câmera possui grau de proteção IP67 e sensor com obturador global (gama dinâmica ampla >120 dB), e o módulo de computação de IA utiliza design de dissipação de calor de grau industrial (temperatura de funcionamento de -20 a 70 °C). Em projetos reais, os dados de implementação em oficinas de fundição mostram que, após a otimização de exposição por hardware WDR, a confiança de deteção em ambientes de luz intensa permanece acima de 90%.
P: Como integrar o sistema de visão por IA com o sistema de controle existente da ponte rolante?
R: O sistema de visão por IA comunica com o PLC da ponte rolante através do protocolo Modbus TCP, transmitindo os resultados de deteção num formato de trama de dados padrão de 16 bytes. A integração de hardware requer apenas um cabo Ethernet para ligar o módulo de computação de IA ao switch de rede do PLC; a integração de software requer a programação de um cliente Modbus no PLC para analisar as tramas de dados. A Kelude Indústrias Pesadas fornece bibliotecas de integração padrão para PLCs Siemens S7-1200/S7-1500 e Mitsubishi FX5U/L, sendo a instalação e comissionamento concluída em aproximadamente 2 dias úteis.
