Posicionamento Preciso para Ponte Rolante com Visão YOLOv8

Em oficinas modernas de metalurgia, construção naval e fabricação de equipamentos pesados, a ponte rolante é responsável pelo içamento, transporte e posicionamento de bobinas de aço, chapas de aço, grandes equipamentos e matrizes. A operação tradicional depende da experiência visual do operador e da comunicação verbal com o sinaleiro no chão de fábrica, resultando em baixa precisão de posicionamento, gargalos de eficiência evidentes e riscos de segurança decorrentes de pontos cegos de visão. Com o avanço da Indústria 4.0 e da Manufatura Inteligente, as tecnologias de reconhecimento visual e posicionamento baseadas em aprendizado profundo estão a revolucionar as operações de içamento com pontes rolantes. Este artigo descreve de forma sistemática a arquitetura de engenharia, o percurso de implementação e os algoritmos centrais de um sistema de reconhecimento visual e posicionamento preciso de cargas baseado em YOLOv8, fornecendo uma referência técnica completa para a atualização inteligente de pontes rolantes.

Arquitetura geral do sistema de posicionamento por visão

O sistema de reconhecimento visual e posicionamento preciso de cargas para ponte rolante adota uma arquitetura de quatro camadas: camada de deteção, camada de inferência, camada de transformação e camada de controle, interligadas por Ethernet industrial e barramento de campo, formando um circuito de Controle de Malha Fechada.

Camada de deteção é o ponto de entrada de dados do sistema. Câmeras industriais de nível industrial, instaladas sob a viga principal da ponte, capturam imagens em tempo real da área de carga. As câmeras são dos modelos Hikvision ou Basler, com resolução tipicamente entre 5 e 12 megapixels, equipadas com luz de preenchimento LED estroboscópica para superar variações de iluminação e interferência de sombras na oficina. Os dados de imagem são transmitidos através de interface GigE Vision para o nó de computação de borda, garantindo transmissão estável a alta taxa de quadros (até 60 fps). O hardware da camada de deteção é instalado em carcaça de liga de alumínio com Grau de Proteção (IP) IP67, adequado para ambientes com poeira intensa, altas temperaturas e interferência eletromagnética em oficinas metalúrgicas.

Camada de inferência utiliza o NVIDIA Jetson Orin NX como plataforma de computação central, executando o modelo de deteção de objetos YOLOv8. Este módulo oferece até 100 TOPS de potência de IA, concluindo a inferência de imagens com resolução de 1920×1080 em 15 ms, atendendo aos requisitos de tempo real. A camada de inferência recebe o fluxo de imagens brutas da camada de deteção e gera as coordenadas das caixas de deteção, etiquetas de classificação e pontuações de confiança de cada objeto de carga no sistema de coordenadas da imagem. Além disso, executa algoritmos de pré-processamento de imagem, incluindo equalização de histograma, ajuste adaptativo de contraste e recorte de região de interesse (ROI), para melhorar a robustez da deteção em condições de iluminação complexas.

Camada de transformação executa o algoritmo central de transformação de coordenadas. Utilizando a matriz de parâmetros intrínsecos da câmera e a matriz de transformação de perspetiva previamente calibradas, mapeia as coordenadas de pixel da camada de inferência para coordenadas no sistema de coordenadas do mundo no plano do solo (em mm). Esta camada também é responsável pela correção de translação e rotação do sistema de coordenadas, eliminando distorções de projeção causadas pelo ângulo e altura de instalação da câmera. O cálculo de transformação de coordenadas utiliza interpolação bilinear e otimização de precisão subpixel, garantindo que a precisão da transformação atenda aos requisitos de posicionamento industrial.

Camada de controle envia as coordenadas de posição da carga e os desvios de alinhamento calculados ao sistema de controle da ponte rolante (CLP Siemens S7-1200/1500) através de gateway de Ethernet industrial PROFINET. Após receber os dados de desvio, o CLP gera comandos de movimento para a ponte, o carro e o mecanismo de elevação com base no algoritmo de Controle de Malha Fechada de posição predefinido, permitindo alinhamento automático e posicionamento preciso. A camada de controle também gere a interação de dados com o sistema MES e o Sistema de Monitoramento de Segurança, realizando upload em tempo real dos resultados de posicionamento e do estado do equipamento para a plataforma de gestão ao nível da oficina.

A vantagem da arquitetura de quatro camadas reside no desacoplamento claro dos módulos e na padronização uniforme das interfaces. A atualização ou substituição de qualquer camada (como atualização de versão do modelo ou ajuste de parâmetros da câmera) não afeta o funcionamento normal das restantes camadas, reduzindo significativamente a complexidade de manutenção e iteração do sistema. A latência de processamento ponta a ponta do sistema é mantida abaixo de 100 ms, atendendo aos requisitos de controle em tempo real para operação da ponte rolante a baixa velocidade (≤20 m/min).

A tabela seguinte apresenta a comparação entre os principais modelos de câmeras industriais compatíveis com o sistema, para referência de seleção:

2. Deteção e Classificação de Cargas Suspensas

A deteção precisa e a classificação detalhada da carga suspensa constituem a etapa preliminar fundamental de todo o sistema de posicionamento por visão. O sistema adota o YOLOv8 (variante Ultralytics YOLOv8s) como modelo de deteção principal, submetido a treinamento por transferência de aprendizagem num conjunto de dados próprio de cargas suspensas, permitindo a identificação em tempo real de quatro tipos principais de cargas.

Definição das Classes de Deteção (Hook_Load): O sistema agrupa todas as cargas suspensas na categoria principal Hook_Load, subdividida em quatro subclasses — Steel_Coil (bobina de aço), Steel_Plate (chapa de aço), Equipment (equipamento) e Mold (matriz). As bobinas de aço apresentam forma predominantemente cilíndrica, frequentemente com corrosão superficial e textura de cintas de amarração; as chapas de aço são placas metálicas planas de grande área, com forte reflexo e arestas afiadas; equipamentos referem-se a grandes componentes mecânicos (como estruturas de laminadores ou carcaças de redutores), de forma irregular mas com características distintivas; as matrizes possuem contornos de cavidade precisos e pinos-guia. As quatro classes diferem significativamente em dimensão, forma e textura superficial, exigindo do modelo uma elevada capacidade de discriminação entre classes.

Construção e Anotação do Conjunto de Dados: A equipa do projeto recolheu dados de imagem reais de várias oficinas metalúrgicas e de maquinário pesado, abrangendo diversas condições de iluminação — céu limpo, nublado e iluminação noturna complementar — bem como diferentes posturas da carga: carga plena, em vazio e carga assimétrica. Foram recolhidas mais de 12.000 imagens brutas, das quais 8.500 amostras válidas foram retidas após triagem de qualidade. Utilizando a ferramenta LabelImg, as classes de objetos e as caixas de deteção foram anotadas individualmente no formato COCO. A especificação de anotação exige que a caixa de deteção se ajuste firmemente ao contorno real da carga, com margem residual não superior a 5 pixels. Durante a anotação, foi dada especial atenção a cenários de oclusão severa (como pilhas de bobinas) e de pequenos objetos (como matrizes a grande distância), garantindo a capacidade de generalização do modelo de deteção.

Estratégia de Aumento de Dados: Para melhorar o desempenho de generalização e a robustez do modelo, o pipeline de treinamento integra uma estratégia abrangente de aumento de dados: (1) Aumento Mosaic — quatro imagens de treinamento são combinadas aleatoriamente numa única, forçando o modelo a aprender representações de características em fundos complexos, com efeitos notáveis em objetos pequenos e cenários de oclusão; (2) Aumento MixUp — duas imagens e as suas etiquetas são misturadas numa proporção aleatória, introduzindo mais combinações de objetos; (3) Perturbação no espaço de cor HSV — matiz (H), saturação (S) e valor (V) são ajustados aleatoriamente dentro de ±30°, ±50% e ±50%, respetivamente, simulando variações de iluminação e temperatura de cor na oficina; (4) Escala e recorte aleatórios — simulando variações no campo de visão a diferentes alturas de trabalho da câmara; (5) Ruído gaussiano e desfoque de movimento — simulando o ruído do sensor da câmara industrial e o arrasto de imagem durante o movimento rápido da carga. Após o aumento, o número equivalente de amostras de treinamento expande para aproximadamente 60.000 imagens.

Treinamento e Implementação do Modelo: O treinamento baseia-se nos pesos pré-treinados do YOLOv8s, com tamanho de imagem de entrada de 640×640, otimizador AdamW, taxa de aprendizagem inicial de 0,001, agendamento de taxa de aprendizagem por recozimento de cosseno e um total de 300 épocas. O treinamento foi concluído numa única GPU NVIDIA RTX 4090, com duração aproximada de 18 horas. A avaliação no conjunto de validação (1.000 amostras independentes) resultou em: mAP@0.5 de 0,962, mAP@0.5:0.95 de 0,738 e velocidade de inferência por frame de 12~18 ms no Jetson Orin NX (após otimização TensorRT FP16). As caixas de deteção são emitidas no formato (x_center, y_center, width, height), normalizadas para o intervalo [0,1], e convertidas para coordenadas de pixel da imagem original pelo módulo de pós-processamento para utilização na camada de transformação de coordenadas.

3. Calibração da Câmara e Transformação de Coordenadas

Converter com precisão as coordenadas de pixel fornecidas pelo modelo de deteção em coordenadas do mundo real no plano do chão é a tecnologia central para alcançar o posicionamento por guia por visão. O sistema adota um "método de calibração em duas etapas" — primeiro, a calibração dos parâmetros intrínsecos da câmara para corrigir a distorção da lente; em seguida, a calibração dos parâmetros extrínsecos para estabelecer a relação de mapeamento entre os pixels e o plano do chão. Finalmente, a transformação de coordenadas é concluída com precisão de subpixel através da matriz de transformação de perspetiva.

O processo de calibração em três etapas (validação da precisão dos parâmetros intrínsecos e extrínsecos) estabelece uma cadeia de mapeamento completa entre as coordenadas de pixel e as coordenadas do mundo real no plano do solo, com um erro médio global de 3,2mm, cumprindo o requisito de precisão de repetição de posicionamento de ±5mm.

É importante salientar que, quando a câmara sofre um ligeiro desvio na posição de instalação devido à vibração da ponte rolante em funcionamento, os parâmetros de calibração podem sofrer deriva. O sistema inclui um plano de calibração automática periódica — utilizando referências de calibração por Código QR fixadas no plano do solo, a verificação e o ajuste fino dos parâmetros extrínsecos são executados automaticamente a cada arranque do sistema ou após cada 2 horas de operação, garantindo a estabilidade e fiabilidade da precisão da transformação de coordenadas ao longo do tempo. Esta solução cumpre os requisitos de manutenção de precisão do sistema de posicionamento definidos na norma JB/T 1306-2018 para Pontes Monoviga Elétricas e na norma ISO 4301 / FEM 1.001 para especificação de projeto de ponte rolante.

Estratégia de alinhamento por guia por visão

O alinhamento por guia por visão constitui o objetivo final de controlo de todo o sistema, abrangendo o processo completo de controlo de malha fechada, desde a identificação da carga até à execução do posicionamento. O sistema integra a perceção visual, o mapeamento de coordenadas, o cálculo de desvios e o controlo de movimento CLP numa estratégia de controlo unificada, permitindo o alinhamento automático e preciso da carga suspensa na ponte rolante.

Processo de alinhamento: O processo global divide-se em cinco fases. (1) Identificação e bloqueio da carga — o modelo YOLOv8 deteta em tempo real o tipo de carga suspensa e emite a caixa de deteção; o sistema bloqueia o alvo com base no centro da caixa e na classificação, gerando simultaneamente uma região ROI de rastreamento dinâmico em torno do alvo, reduzindo o volume de dados de imagem a processar. (2) Mapeamento de coordenadas — as coordenadas de pixel (u, v) do centro da caixa de deteção são convertidas em coordenadas do mundo real (X_load, Y_load) no plano do solo através de uma matriz de transformação de perspetiva. Se existir um código QR ou marcador de identificação auxiliar sob o alvo, as coordenadas exatas do marcador (X_mark, Y_mark) são também lidas. (3) Cálculo do desvio de alinhamento — calcula-se o desvio entre a posição atual da carga e a posição alvo (centro da zona de colocação ou posição do marcador): ΔX = X_target - X_load, ΔY = Y_target - Y_load, bem como o desvio angular Δθ (para peças alongadas que requerem orientação específica). (4) Controlo de malha fechada via CLP — o desvio é enviado ao CLP através do gateway PROFINET; o controlador PID integrado no CLP recebe o desvio como entrada e emite comandos de velocidade e direção para os movimentos da ponte e do carro, acionando os motores de frequência variável até reduzir o desvio a zero. (5) Execução da colocação/aperto — quando os desvios entre a posição da carga e a posição alvo satisfazem simultaneamente ΔX≤±5mm, ΔY≤±5mm e Δθ≤±1°, o sistema considera o alinhamento concluído e emite o sinal de autorização para descida do gancho ou aperto ao mecanismo de elevação, concluindo a ação de colocação ou aperto.

Posicionamento auxiliar por Código QR/marcador: Na prática de engenharia, depender exclusivamente das coordenadas absolutas da caixa de deteção da carga para o posicionamento pode introduzir erros aleatórios devido a diferenças de volume da carga, desvios de suspensão e flutuações na precisão da caixa de deteção. Para tal, o sistema pré-instala marcadores de posicionamento por Código QR (esquema AprilTag ou QR) na zona de colocação ou no ponto de aperto. Os marcadores, com 100~200mm de lado, têm as suas coordenadas mundiais (X_QR, Y_0) determinadas por medição de precisão e armazenadas no ficheiro de configuração do sistema. No fluxo de guia por visão, o sistema deteta prioritariamente a posição exata do marcador, utilizando as suas coordenadas como referência para a posição alvo, eliminando eficazmente o impacto dos erros de deteção da própria carga na precisão do posicionamento. A prática demonstra que, com o posicionamento auxiliar por Código QR, a precisão de repetição de posicionamento do sistema melhora de ±12mm para valores dentro de ±5mm.

Tratamento de cenários com múltiplos alvos: Quando surgem múltiplas cargas ou múltiplos marcadores no campo de visão, o sistema decide com base em regras de prioridade — processa prioritariamente a carga mais próxima do ponto alvo, ou a zona de colocação que corresponde à categoria da carga atual. Para cenários com múltiplos marcadores de zonas de colocação, o sistema introduz uma lógica de associação entre o ID da tarefa de trabalho e o ID da zona de colocação, fazendo corresponder automaticamente a zona de colocação correta através das informações da ordem de trabalho emitidas pelo sistema MES, evitando alinhamentos incorretos.

Mecanismo de tratamento de anomalias: Quando o sistema de visão deteta perda da carga (o alvo sai do campo de visão), confiança abaixo do limiar (0,6) ou oclusão do marcador, o sistema comuta automaticamente para o modo de segurança — interrompe o alinhamento automático, mantém o estado atual e emite um alarme, aguardando intervenção e confirmação do operador. Após a recuperação da anomalia, o sistema reinicia automaticamente o processo de deteção e bloqueio da carga, assegurando a segurança e fiabilidade do processo de alinhamento.

Comissionamento do sistema e validação da precisão

O comissionamento e a validação da precisão após a implementação do sistema são etapas críticas para garantir que o sistema de posicionamento por visão atinge os indicadores de projeto. Este sistema define um processo de comissionamento padronizado e métodos de ensaio de precisão rigorosos, em conformidade com as normas nacionais relevantes para equipamentos de elevação (GB/T 28264-2017 — Sistema de Monitoramento e Gestão de Segurança para Equipamentos de Elevação; ISO 4301 / FEM 1.001 — Especificação de Projeto de Ponte Rolante).

Processo de comissionamento: O comissionamento é realizado em quatro fases progressivas. (1) Calibração de ponto único — após a instalação da câmara, procede-se primeiro à calibração dos parâmetros intrínsecos e, em seguida, à calibração dos parâmetros extrínsecos com pontos de calibração dispostos no solo, verificando preliminarmente a precisão do cálculo da transformação de coordenadas nos sentidos direto e inverso. Nesta fase, um projetor de laser em cruz auxilia na determinação das posições de pixel correspondentes aos pontos de calibração. (2) Comissionamento de alinhamento estático — uma peça de teste padrão (bloco de aço retangular de dimensões conhecidas) é colocada sob o gancho; o sistema executa a deteção estática do alvo e a transformação de coordenadas, registando manualmente as coordenadas da caixa de deteção para comparação com as coordenadas medidas. Os parâmetros de calibração são ajustados repetidamente até que o erro estático seja inferior a ±3mm. (3) Comissionamento de rastreamento dinâmico — a ponte rolante é operada a diferentes velocidades e direções para observar se o módulo de rastreamento visual mantém o bloqueio estável da carga, registando a amplitude de oscilação da caixa de deteção durante o rastreamento dinâmico. Através do ajuste dos parâmetros do filtro de Kalman e da estratégia de atualização da ROI, a oscilação do rastreamento dinâmico é controlada dentro de ±2 pixels. (4) Comissionamento integrado de todo o processo — uma tarefa de trabalho real é emitida pelo sistema MES, e o sistema de visão guia a ponte rolante para concluir automaticamente o processo completo de alinhamento, desde o ponto de içamento até ao ponto de colocação, registando os dados de desvio em todas as fases.

Método de ensaio de precisão: A validação da precisão de repetição de posicionamento utiliza o "método de ensaio de ida e volta em três pontos" — são selecionados três pontos de ensaio em posições diferentes (esquerda, centro, direita) no plano do solo da oficina, realizando 100 operações de alinhamento de ida e volta em cada ponto, registando o desvio da posição final em cada operação. O equipamento de ensaio utiliza um tracker a laser de alta precisão (Leica AT960, precisão ±0,02mm) para medir o deslocamento relativo entre a borda da carga e o marcador alvo. As condições de ensaio incluem os estados em vazio e carga plena, bem como três modos de movimento: movimento apenas da ponte, movimento apenas do carro e movimento composto. Os resultados estatísticos dos 300 ensaios (100 vezes × 3 pontos) mostram: desvio médio de 1,8mm na direção X, desvio padrão de 1,2mm; desvio médio de 2,1mm na direção Y, desvio padrão de 1,5mm; a precisão de repetição de posicionamento combinada é de ±4,6mm (3σ), superior ao indicador de projeto de ±5mm.

Verificação comparativa: Para validar plenamente o desempenho do sistema, foi realizado em simultâneo, na mesma oficina, um ensaio comparativo entre o posicionamento manual e o posicionamento automático por sistema de visão. Foram selecionados 5 operadores experientes de ponte rolante, cada um responsável por 20 ciclos de posicionamento de bobinas de aço, tendo sido registados o tempo de cada ciclo e a precisão final. Os dados comparativos são os seguintes: o posicionamento manual registou um tempo médio de 42 segundos e uma precisão média de ±24 mm; o posicionamento automático por visão registou um tempo médio de 18 segundos e uma precisão média de ±4,2 mm. Tal representa uma redução de 57% no tempo de ciclo e uma melhoria de 5,7 vezes na precisão. Além disso, o sistema de visão elimina fatores humanos como a fadiga do operador, as diferenças de experiência e a obstrução do campo de visão, garantindo uma consistência de posicionamento significativamente superior à operação manual (desvio-padrão de apenas 1/8 do registado na operação manual).

Verificação da estabilidade a longo prazo: Após 6 meses de operação contínua nas instalações do cliente, a precisão de repetição de posicionamento não apresentou atenuação significativa. As medições mensais de precisão revelaram um desvio máximo de +0,8 mm, dentro do intervalo de projeto de ±5 mm. A calibração trimestral e a verificação subsequente indicaram uma variação inferior a 1% nos parâmetros intrínsecos da câmara, enquanto os parâmetros extrínsecos registaram um desvio acumulado de aproximadamente 2,5 mm devido à vibração mecânica, tendo sido recuperados para os níveis iniciais de precisão após compensação por calibração automática. Estes resultados confirmam que o sistema é capaz de operar de forma estável a longo prazo em ambiente industrial, cumprindo os requisitos de conformidade contínua para a reforma de segurança de equipamentos de elevação estabelecidos no documento Ofício especial de inspeção de qualidade〔2019〕857Nº.

Perguntas Frequentes