Monitorização de Segurança Visual com IA para Pontes Rolantes
Monitorização de segurança visual por IA em pontes rolantes: deteção de intrusão de pessoas e prevenção de colisões na área de elevação. O sistema de monitorização de segurança visual por IA em pontes rolantes constitui a última linha de defesa ativa na proteção inteligente do equipamento — através de câmaras industriais de IA instaladas na cabeceira e na viga principal, capta em tempo real imagens da área de elevação, deteta a intrusão de pessoas sob e ao redor da carga suspensa com base no modelo de deep learning YOLOv8 e, ao identificar a entrada de pessoas na área perigosa, aciona automaticamente um aviso de desaceleração ou uma paragem de segurança STO, elevando o isolamento físico entre pessoas e cargas de uma barreira passiva para uma proteção inteligente ativa.
O sistema de monitorização de segurança visual por IA em pontes rolantes é a última linha de defesa ativa na proteção inteligente do equipamento — através de câmaras industriais de IA instaladas na cabeceira e na viga principal, capta em tempo real imagens da área de elevação, deteta a intrusão de pessoas sob e ao redor da carga suspensa com base no modelo de deep learning YOLOv8 e, ao identificar a entrada de pessoas na área perigosa, aciona automaticamente um aviso de desaceleração ou uma paragem de segurança STO, elevando o isolamento físico entre pessoas e cargas de uma barreira passiva para uma proteção inteligente ativa. A Kelude Indústrias Pesadas, com base na plataforma de computação de borda NVIDIA Jetson Orin NX e num modelo de deteção visual desenvolvido internamente, construiu um sistema completo de monitorização de segurança por IA que abrange deteção, alarme escalonado e interbloqueio anticolisão. Este artigo descreve integralmente esta prática de engenharia, desde a arquitetura do sistema e o treino do modelo até à implementação no local.
Arquitetura do sistema de monitorização de segurança visual
O sistema de monitorização de segurança visual por IA para pontes rolantes é composto por quatro camadas: camada de perceção, camada de inferência, camada de controlo e camada de alarme. A camada de perceção inclui 2 a 4 câmaras industriais de IA (instaladas nos dois lados da cabeceira da ponte rolante e na parte inferior do carro), que captam imagens em tempo real da área de elevação a 1080P e 30fps, transmitidas à camada de inferência através de Ethernet Gigabit. A camada de inferência está implementada no módulo de computação de borda NVIDIA Jetson Orin NX (capacidade de processamento de 100 TOPS), executando o modelo de deteção de objetos YOLOv8s, que realiza a deteção e identificação em tempo real de pessoas, cargas e obstáculos em cada frame, com uma latência de inferência inferior a 15ms por frame. A camada de controlo liga-se ao PLC da ponte rolante através de interfaces GPIO e PROFINET — quando é detetada intrusão de pessoas, envia um sinal de desaceleração ou paragem ao PLC, que executa a desaceleração SLS ou a paragem STO. A camada de alarme inclui o alarme sonoro e visual na sala de operações (campainha + luz giratória), alertas pop-up no ecrã IHM e notificações de alarme em tempo real na plataforma remota de operação e manutenção. A latência total de ponta a ponta do sistema (desde a entrada de uma pessoa na área perigosa até à execução da ação de segurança pelo PLC) é inferior a 100ms, cumprindo os requisitos de tempo de resposta para proteção ativa de segurança da norma GB/T 28264-2017 — Sistema de Monitoramento e Gestão de Segurança para equipamentos de elevação.
A área de deteção é dividida em três zonas de segurança. A Área Perigosa (Danger Zone) é uma área circular com raio de 3m centrada na carga suspensa — a entrada de pessoas nesta área aciona imediatamente a paragem STO, com o freio da ponte rolante a fechar em 200ms. A Zona de Aviso (Warning Zone) é uma área anelar entre 3 e 6m de raio em torno da área perigosa — a entrada de pessoas nesta área aciona o alarme sonoro e visual e a desaceleração da ponte rolante (redução para 20% da velocidade nominal), mantendo-se o sinal de desaceleração até a pessoa sair da zona de aviso. A Zona de Monitorização (Monitor Zone) é uma área anelar entre 6 e 10m de raio em torno da zona de aviso — a entrada de pessoas nesta área apenas regista o evento no log, sem intervenção de controlo, sendo utilizada para estatísticas de frequência e padrões de atividade de pessoas na área de elevação. Os parâmetros de raio das três zonas de segurança podem ser ajustados no local através do painel IHM, de acordo com a tonelagem da ponte rolante e as dimensões da carga.
Seleção de câmaras e instalação no local
A seleção das câmaras industriais de IA e a sua posição de instalação influenciam diretamente o desempenho da deteção. A Kelude Indústrias Pesadas inclui duas câmaras padrão no sistema de monitorização de segurança visual por IA para pontes rolantes: para instalação na cabeceira, é utilizada a Hikvision DS-2CD2T87WD-L (8 MP, sensor de 1/1,2 polegadas, iluminação mínima de 0,001 Lux, alcance de iluminação infravermelha de 50m); para instalação sob o carro, é utilizada a Imaging Source DMK 33GX290 (1,9 MP com obturador global, sensor de 1/3 polegadas, 120fps, adequada para detetar cargas e pessoas em movimento rápido). A lente da câmara da cabeceira tem uma distância focal de 6mm (ângulo de visão horizontal de aproximadamente 52 graus) e é instalada no centro da superfície inferior da cabeceira, apontando verticalmente para baixo, cobrindo toda a área de elevação sob a ponte rolante. A lente da câmara sob o carro tem uma distância focal de 3,6mm (ângulo de visão horizontal de aproximadamente 87 graus) e é instalada na superfície inferior da plataforma do carro, captando a área de proximidade diretamente sob o equipamento de elevação.
| Posição de montagem | CâmeraModelo | Parâmetro | Área de cobertura | Função |
|---|---|---|---|---|
| Cabeceira(Esquerda) | DS-2CD2T87WD-L | 8 MP/0.001Lux/6mm | Zona de içamento esquerda+Corredor | detecção de intrusão de pessoas |
| Cabeceira(Direita) | DS-2CD2T87WD-L | 8000 mil/0.001Lux/6mm | Zona de içamento direita+Corredor | detecção de intrusão de pessoas |
| CarroAbaixo | DMK 33GX290 | 1,9 MP/Obturador global/3.6mm | ElevaçãoProximidade inferior | Oscilação da carga/Detecção de obstáculos |
| Viga PrincipalAcima | DS-2CD2T87WD-L | 8000 mil/0.001Lux/12mm | TotalOficinaLonga distância | Consciência situacional global(Opcional) |
O suporte de fixação da câmara utiliza um suporte universal de aço inoxidável (carga de suporte de 15 kg, capaz de suportar a carga de impacto durante o arranque e a paragem da ponte rolante). A câmara é ligada ao módulo de computação de borda Jetson Orin NX, instalado no quadro de comando, através de um cabo de rede blindado CAT6A. O cabo é fixado ao longo da face interna da viga principal da ponte rolante com braçadeiras, mantendo uma distância mínima de 300 mm em relação ao cabo de alimentação do inversor de frequência. A alimentação da câmara é fornecida via PoE+ (norma 802.3at, potência de 25 W por porta), sendo o módulo Jetson responsável pelo fornecimento de energia à câmara através da porta PoE+ do switch de rede, dispensando assim uma cablagem de alimentação elétrica dedicada.
Treino e Implementação do Modelo de Deteção YOLOv8
O YOLOv8 é o algoritmo central do sistema de inspeção visual por IA para pontes rolantes. Para o cenário de monitorização de segurança, a Kelude Indústrias Pesadas selecionou a versão YOLOv8s (Small, 11,2M de parâmetros, COCO mAP 44,9%). Após otimização com TensorRT FP16 no NVIDIA Jetson Orin NX, a velocidade de inferência atinge 60 fps (resolução de entrada 640x640), satisfazendo os requisitos de deteção em tempo real para fluxos de vídeo de 30 fps. O conjunto de dados de treino é composto por três fontes: imagens anotadas recolhidas no campo de ensaios da própria Kelude (cerca de 15 000 imagens, cobrindo diferentes condições de iluminação, clima e tipos de carga suspensa), imagens sintéticas para cenários de cauda longa (cerca de 5 000 imagens, simulando situações de borda como quedas de trabalhadores, aglomerações e oclusões parciais) e imagens adicionais recolhidas em fábricas (cerca de 3 000 imagens, abrangendo diversos contextos de edifícios industriais e layouts de linha de produção).
Configuração do treino do modelo. O treino é baseado no framework Ultralytics YOLOv8, com resolução de imagem de entrada de 640x640, tamanho de lote de 32 e 300 épocas de treino. As técnicas de aumento de dados incluem Mosaic (probabilidade 0,8, combinação de 4 imagens), MixUp (probabilidade 0,2, mistura de duas imagens), aumento HSV (H±25°/S±30%/V±30%) e rotação aleatória (±10 graus). A plataforma de treino utiliza uma única NVIDIA RTX 4090 (24 GB de memória), com um tempo de treino de aproximadamente 10 minutos por época, totalizando cerca de 50 horas para as 300 épocas. Após o treino, o modelo é exportado como um motor TensorRT FP16 (ficheiro engine, aproximadamente 22 MB) e implementado no Jetson Orin NX para execução.
Classificação dos alvos de deteção. O modelo YOLOv8s produz três classes de deteção. Cada caixa de deteção inclui o ID da classe, a pontuação de confiança (limiar ≥0,5 para retenção) e as coordenadas normalizadas da caixa (cx, cy, w, h). As coordenadas da caixa são mapeadas para o sistema de coordenadas do mundo real no plano do chão através de uma matriz de transformação de perspetiva, com um erro de posicionamento inferior a 10 cm. Os detalhes das três classes são os seguintes:
4. Algoritmo de detecção de intrusão de pessoas e lógica de zona de segurança
A sequência de execução da lógica de detecção de intrusão de pessoas é a seguinte. Etapa 1 — Detecção de alvos: o módulo Jetson executa o modelo YOLOv8s e gera todas as bounding boxes de pessoas no frame atual. Etapa 2 — Mapeamento de coordenadas: o ponto central da base de cada bounding box é mapeado para o sistema de coordenadas do plano do chão através de uma matriz de transformação de perspectiva, obtendo-se a posição física da pessoa no chão da oficina (x, y, em metros). Etapa 3 — Cálculo de distância: calcula-se a distância euclidiana entre a posição da pessoa e a posição da carga suspensa (posição absoluta do Carrinho do Ponte + posição absoluta do Carro lidas do PLC da ponte rolante + offset das dimensões da carga). Etapa 4 — Avaliação da zona de segurança: com base na distância dist, aplicam-se as regras de três níveis de zona de segurança — dist ≤ 3m corresponde à zona de Perigo, acionando STO; 3m < dist ≤ 6m corresponde à zona de Aviso, acionando alarme com Desaceleração; 6m < dist ≤ 10m corresponde à zona de Monitorização, registando apenas no log; dist > 10m não requer qualquer ação. Etapa 5 — Saída de resultados: o Jetson emite sinais de alarme de três níveis através de GPIO — GPIO1 (Perigo) ligado à entrada DI de segurança do PLC, GPIO2 (Aviso) ligado à entrada DI padrão do PLC, GPIO3 (Monitorização) ligado ao gateway IO-Link para registo de eventos.
Lógica de ajuste dinâmico do raio da zona de segurança. As dimensões reais da carga suspensa e a trajetória de elevação influenciam o raio de segurança da zona de perigo. Para cargas com dimensão inferior a 1m, o raio da zona de perigo mantém o valor padrão de 3m; para cargas entre 1m e 3m, o raio aumenta automaticamente com base no comprimento da diagonal da carga (R_perigo = 3,0m + L_diag/2); para cargas superiores a 3m, o raio da zona de perigo é fixado em 5m (evitando que uma zona de segurança excessivamente ampla acione STO com frequência, comprometendo a produtividade). O valor atual do raio da zona de segurança é exibido em tempo real na página de monitorização de segurança da IHM, podendo o operador efetuar ajustes manuais finos (passos de 0,5m). Todas as alterações de Parâmetros da zona de segurança são registadas no log de eventos do PLC, com período de retenção não inferior a 90 dias.
Deteção multi-alvo e tratamento de estabilização. Quando são detetados múltiplos alvos num único frame, o sistema atribui um Track ID único a cada alvo, utilizando o algoritmo leve DeepSORT para correspondência de alvos entre frames e rastreamento de trajetórias. Quando um determinado Track ID de pessoa aparece continuamente na mesma posição por mais de 5 frames, o sistema só então confirma a entrada dessa pessoa na zona de segurança e aciona o alarme, evitando falsos positivos causados por erros de deteção em frames isolados. Durante a permanência da pessoa na zona de segurança, o alarme é mantido de forma contínua; após a saída da zona, o alarme é automaticamente desativado (com debounce de 2 segundos). Os eventos de alarme contínuo são registados automaticamente na base de dados local SQLite, com formato de registo incluindo timestamp, Track ID, coordenadas da pessoa, grau da zona de segurança acionada e estado de funcionamento da ponte rolante (velocidade/posição/direção).
5. Controlo de anticolisão integrado e acionamento de STO
A integração entre o sistema de inspeção por visão por IA e o sistema de controle de segurança da ponte rolante é realizada através de interface dupla GPIO + PROFINET. A interface GPIO é utilizada para Frenagem rápida em cenários de emergência — o GPIO1 (Perigo) do Jetson é ligado diretamente ao canal de entrada do módulo F-DI de segurança do PLC; quando o GPIO1 é elevado a 24V, o PLC aciona o STO no próximo ciclo de segurança (20ms). A interface PROFINET é utilizada para Desaceleração graduada em cenários não emergenciais — o Jetson, no papel de dispositivo IO PROFINET (ficheiro GSDML importado no TIA Portal para configuração), escreve periodicamente pedidos de Desaceleração no PLC (incluindo grau de Desaceleração 0~3 e percentagem de velocidade alvo), e o PLC responde ao pedido de Desaceleração no ciclo IO padrão (10ms).
| nível de segurança | Condição de acionamento | ControleFrenagemOperação | Tempo de resposta | Modo de recuperação |
|---|---|---|---|---|
| Level 3 Perigo | Entrada de pessoal≤3mZona de perigo | STOParada de emergência | <100ms | ManualResetConfirmação |
| Level 2 Advertência | Entrada de pessoal3~6mZona de advertência | Reduzir velocidade para20%+Alarme Sonoro e Visual | <200ms | Retomada automática após saída de pessoal |
| Level 1 Detecção | Entrada de pessoal6~10mDetecçãoZona de içamento esquerda | Somente registro de log | — | Automático |
Procedimento de recuperação após ativação do STO. Quando o STO de Nível 3 é acionado, a ponte rolante para imediatamente. O sistema Jetson monitoriza continuamente o estado da zona de perigo — após confirmar que não há pessoas na zona, envia o sinal "perigo eliminado" ao PLC via PROFINET. Ao receber o sinal, o PLC apresenta um diálogo de confirmação de reset de segurança no IHM, exigindo que o operador confirme visualmente a segurança da área de elevação antes de clicar no botão "Confirmar Reset". Só então o PLC desativa o estado STO e permite o rearmamento do funcionamento. O registo completo do evento STO é automaticamente enviado para o gateway de borda e, através de OPC UA, é transmitido ao sistema de gestão de segurança para arquivo.
6. Arranque do Sistema e Validação em Campo
O arranque do sistema de monitoramento de segurança visual com IA é realizado em quatro etapas. A primeira etapa é a calibração da câmara — utilizando um padrão de calibração xadrez (12×9 células, com 30mm de lado), são capturadas 15 a 20 imagens de calibração em diferentes ângulos. A função calibrateCamera do OpenCV é usada para calcular a matriz de parâmetros intrínsecos e os coeficientes de distorção da câmara. Após a calibração intrínseca, procede-se à calibração da matriz de transformação de perspetiva: é colocada uma tela de calibração no chão da oficina (tela de grelha de 4×3m, com espaçamento entre pontos de 500mm). Uma imagem de vista superior é capturada e, em seguida, são selecionados 4 pontos de canto e 4 pontos correspondentes com coordenadas conhecidas no plano do chão para calcular a matriz de transformação de perspetiva. Após a calibração, o Sensor de Distância a Laser é utilizado para medir as coordenadas reais de qualquer ponto no chão, verificando que o erro de mapeamento é inferior a 10cm.
A segunda etapa é o teste de aceitação do modelo — são implementados cenários de teste no campo de ensaios (carga suspensa + manequim). A precisão de detecção é testada em quatro condições: iluminação normal (500Lux), baixa iluminação (50Lux, apenas com iluminação infravermelha), contraluz e chuva/nevoeiro (simulação por aspersão). Norma de Aceitação: mAP de deteção de pessoa ≥95% em iluminação normal, ≥90% em baixa iluminação, ≥85% em contraluz e ≥80% em chuva/nevoeiro. Os testes com o manequim a entrar nas três zonas de segurança são executados 20 vezes cada. Requisitos: taxa de acionamento de 100% na zona de perigo de Nível 3 (20/20 acionamentos de STO), taxa de acionamento ≥95% na zona de aviso de Nível 2 (≥19/20 acionamentos de alarme de desaceleração) e taxa de registo de 100% na zona de monitorização de Nível 1 (20/20 eventos registados no registo).
A terceira etapa é a validação da implementação em campo — os parâmetros de calibração e o modelo são implementados no módulo Jetson da ponte rolante. A página de monitorização de segurança no IHM é utilizada para visualizar em tempo real as imagens da câmara e a sobreposição das caixas de deteção. É verificado que as câmaras da Cabeceira e a câmara inferior do Carro não apresentam zonas cegas na cobertura de vista superior nas três posições da ponte rolante (extremidade esquerda/centro/extremidade direita do curso). As imagens das câmaras laterais, após junção, cobrem toda a área de elevação sob a ponte rolante (área de cobertura de aproximadamente 20m×6m). Utilizando rádios comunicadores, o pessoal em campo caminha ao longo do limite da zona de segurança para verificar a consistência do acionamento do alarme em cada ponto do limite. A quarta etapa é a entrada em operação — o sistema entra num período de teste de 24 horas. As taxas de falsos positivos e de falsos negativos nos registos de deteção são verificadas a cada 8 horas. Requisitos: taxa de falsos positivos ≤5 ocorrências/24 horas e taxa de falsos negativos ≤1 ocorrência/24 horas. Após a conclusão bem-sucedida do teste, o sistema entra em operação formal.
