Como evitar alucinações de IA na manutenção de pontes rolantes
📋 Resumo principal
O risco mais grave dos grandes modelos na manutenção de guindastes não é responder errado — é responder errado com total convicção. O modelo pode inventar uma cláusula da norma que não existe, criar um procedimento de manutenção aparentemente lógico ou gerar dados de detecção sem origem verificável. Isto é a "alucinação". Este artigo analisa as três manifestações típicas da alucinação, os métodos de questionamento e verificação para a identificar, e explica a sua causa raiz: o modelo é, por natureza, um gerador probabilístico, sem restrições rígidas sobre os factos. A prevenção da alucinação assenta em quatro camadas: geração aumentada por recuperação, restrição por base de conhecimento, limitação de âmbito e revisão manual. O princípio é um só — a IA serve apenas de apoio; qualquer decisão relacionada com segurança é sempre confirmada por um ser humano.
Os técnicos experientes em manutenção de guindastes confiam nos grandes modelos de IA — e é exatamente aí que reside o perigo. Quanto mais fluente e convicta é a resposta do modelo, maior a probabilidade de estar a inventar, com toda a seriedade, uma cláusula da norma que simplesmente não existe. O modelo não hesita, não diz "não tenho a certeza"; limita-se a produzir uma resposta com formato impecável, tom confiante, mas totalmente impossível de verificar.
Este fenómeno tem um nome específico: "alucinação". Não se trata de um simples "erro ocasional" do modelo, mas de uma limitação estrutural dos modelos generativos: o que o modelo faz do início ao fim é prever qual é a próxima palavra mais provável, e não verificar se um facto existe. Quando lhe perguntam "como reparar um ruído anormal no redutor de um guindaste", ele consegue compor um processo de manutenção que parece credível — mas se cada passo desse processo é realmente válido, o próprio modelo não sabe.
Na manutenção de guindastes, o impacto da alucinação não está em "perder a credibilidade", mas em "causar danos reais". Uma cláusula da norma inexistente registada numa ordem de serviço, um procedimento de manutenção inventado seguido por um técnico inexperiente, ou um conjunto de dados de detecção fictícios usado para decidir uma paragem — qualquer um destes cenários pode transformar-se num acidente de segurança. A questão não é, portanto, "usar ou não usar grandes modelos", mas sim "como mantê-los dentro dos limites dos factos". A Kelude enfrentou este problema em vários projetos de manutenção e incorporou a prevenção da alucinação como primeira etapa de qualquer aplicação de IA.
Como se manifesta a alucinação: invenção de cláusulas, procedimentos fictícios e dados fabricados
A primeira manifestação típica da alucinação é a invenção de cláusulas da norma que não existem.
Quando questionado sobre "qual a norma aplicável", o grande modelo pode apresentar um número e um texto com formato perfeitamente correto, mas que na realidade não existem. O modelo conhece a estrutura de um número de norma e, por isso, inventa um seguindo o formato "GB/T número-ano", com um conteúdo que até parece plausível. Se o técnico de manutenção não verificar o texto original palavra por palavra, é facilmente enganado.
A segunda manifestação típica é a criação de procedimentos de manutenção aparentemente razoáveis.
O modelo consegue encadear "desmontagem, detecção, substituição, remontagem" numa sequência lógica, mas os parâmetros-chave intermédios podem ser "imaginados" por ele — como o torque de aperto de um parafuso ou o valor de ajuste de uma folga. Estes números não provêm de nenhum manual, mas sim de combinações estatísticas de frases semelhantes nos dados de treino.
A terceira manifestação típica é a fabricação de dados de detecção e conclusões.
Quando pergunta "o que indicam estes dados de vibração", o modelo pode gerar diretamente uma análise com valores e gráficos, afirmando "amplitude acima do limite, recomendamos paragem". Estes valores não têm qualquer correspondência com os dados originais, mas parecem credíveis devido ao formato normalizado. Este tipo de alucinação é o mais perigoso, pois conduz diretamente a decisões de manutenção erradas.
Procedimento de diagnóstico para identificar alucinações: questionar a origem, cruzar fontes e validar valores
Identificar alucinações não exige métodos misteriosos — basta um conjunto de verificações repetíveis. A Kelude consolidou uma tabela comparativa de verificação cruzada na sua base de conhecimento interna, que o pessoal de campo pode seguir passo a passo. O núcleo assenta em três ações.
O primeiro passo é questionar a origem.
Para cada número de norma, parâmetro ou conclusão apresentado pelo modelo, é obrigatório perguntar "qual é a origem?". Só avança para a fase seguinte o que puder ser ligado a uma entrada específica da base de conhecimento; o que não apresentar origem, ou a indicar de forma vaga, é imediatamente marcado como suspeito.
O segundo passo é a verificação cruzada.
Comparar a resposta do modelo, ponto por ponto, com o manual de manutenção, o registo de equipamentos e as ordens de serviço históricas. Os parâmetros coincidem? O modelo do equipamento está correto? Os procedimentos de operação estão alinhados com a realidade? Qualquer discrepância indica que o modelo está a "imaginar". Este passo elimina a grande maioria das alucinações por troca de contexto.
O terceiro passo é a validação da plausibilidade dos valores.
Depois de receber um valor do modelo, a primeira pergunta é "este número faz sentido?". Um valor de torque que contradiz o bom senso, ou uma carga acima do intervalo nominal do equipamento, deve ser rejeitado de imediato, mesmo que o formato pareça correto. A validação de plausibilidade não procura precisão; serve apenas para filtrar os erros mais grosseiros.
Tabela comparativa: identificação e tratamento de alucinações
| manifestação de alucinação | Identificaçãosinal | Detecçãomeio | conclusão de avaliação | ação de tratamento |
|---|---|---|---|---|
| fabricaçãocláusulas da norma | Normaverificação de inexistência no registro | consulta ao banco de dados original | sem fonte identificada, classificado como alucinação | anotaçãodesabilitar e retroalimentar feedback |
| invençãoManutençãoetapa | Parâmetroprecisão excessiva | verificação cruzada com o manual | Parâmetrodivergência classificada como alucinação | reversão ao manualNormaetapa |
| fictícioDetecçãodados | valor sem origem | comparação com dados originais | sem rastreabilidade, classificado como alucinação | prevalência dos dados originais |
| atribuição incorreta de equipamento | Modelomecanismoconfusão | verificação do registro de equipamentos | Modeloinconsistência classificada como alucinação | correção e nova consulta |
| conclusão excessivamente confiante | formulação sem ressalvas | requisitosapresentar fundamentação | sem fundamentação, classificado como alucinação | conversãorevisão manualconfirmação |
| erro de atualidade | referência a norma revogadaNorma | verificação da versão vigente | Normarevogado, classificado como alucinação | atualização de entrada na base de conhecimento |
Porque é que os grandes modelos geram alucinações: a raiz entre a geração probabilística e a ausência de restrições factuais
Para prevenir alucinações, é necessário primeiro compreender porque ocorrem. A saída de um grande modelo é, na sua essência, uma geração probabilística — cada token produzido é amostrado a partir da distribuição de "próximo token mais provável", calculada com base em todos os tokens anteriores. O modelo não dispõe de uma base de factos independente para verificação, nem compreende a semântica de "certo" ou "errado"; apenas entende que, "neste contexto, esta é a continuação mais natural".
Isto explica porque as alucinações tendem a ser "gramaticalmente perfeitas, logicamente coerentes, mas factualmente incorretas": a fluência é o objetivo de treino do modelo, mas os factos não o são. Quando um determinado tipo de conteúdo surge com frequência suficiente nos dados de treino, o modelo aprende o seu formato; porém, quando lhe é pedido para gerar uma resposta específica, única e verificável, o formato correto não garante conteúdo correto.
A segunda causa reside na ausência de restrições rígidas sobre os factos.
Um manual de manutenção genuíno estabelece uma correspondência direta entre cada passo e os componentes e parâmetros reais; a memória do modelo, por outro lado, é uma condensação estatística dos dados de treino, que pode fundir informações de diferentes equipamentos e condições de operação, gerando um híbrido que não existe na realidade. Esta "confusão" é, na sua essência, uma falha de recuperação, e não uma mentira deliberada do modelo.
A terceira causa é a desatualização do conhecimento.
Após a conclusão do treino, o conhecimento do modelo fica congelado. As normas são revistas, os procedimentos são atualizados, mas o modelo não toma conhecimento disso automaticamente. Quando questionado sobre uma norma recente, pode responder com base na memória de uma versão antiga, ou até compor fragmentos de memória num "novo padrão" que nunca existiu.
Sistema de prevenção de alucinações: geração aumentada por recuperação, restrições da base de conhecimento e limites de atuação
A primeira camada de prevenção é a geração aumentada por recuperação, também conhecida como RAG.
Em vez de o modelo "recordar" do nada, é preferível que consulte primeiro. A abordagem da geração aumentada por recuperação consiste em: antes de gerar a resposta, recuperar da base de conhecimento da empresa as entradas relevantes — texto integral de normas, manuais de manutenção, registos históricos de intervenções — e fornecer essas entradas ao modelo juntamente com a pergunta, instruindo-o a "responder exclusivamente com base no material fornecido". Desta forma, a resposta fica ancorada a factos, reduzindo significativamente o espaço para invenção.
A experiência da Kelude Indústrias Pesadas indica que a eficácia do RAG depende da qualidade da base de conhecimento. As cláusulas da norma e os parâmetros nela contidos devem ser autoritativos, atuais e rastreáveis. O GB/T 28264 — Sistema de Monitoramento e Gestão de Segurança para Equipamentos de Elevação estabelece requisitos normativos para a recolha e armazenamento de dados de monitorização, constituindo uma base fundamental para a camada de dados da base de conhecimento; por sua vez, o TSG 51-2023 — Regulamento de Supervisão Técnica de Segurança para Equipamentos de Elevação é a fonte autoritativa para a base de conhecimento de manutenção. Sempre que uma referência normativa seja citada, o texto original deve ser localizável na base de dados; caso contrário, é tratado como alucinação.
A segunda camada é a restrição da base de conhecimento.
A abordagem é direta: o modelo só pode citar entradas que existam efetivamente na base de conhecimento, sendo-lhe proibido improvisar. Cada referência normativa e cada parâmetro na resposta devem poder ser reencaminhados para uma entrada específica da base. Esta restrição não basta estar escrita no prompt; é necessário implementar uma verificação rígida ao nível do sistema — as referências normativas na saída do modelo são automaticamente comparadas com a base de dados; se não forem encontradas, a resposta é bloqueada e sinalizada.
A terceira camada é a limitação do âmbito de atuação.
Este é o aspeto mais importante: o grande modelo não participa em decisões de segurança. Pode resumir documentação, gerar relatórios preliminares e explicar cláusulas, mas decisões como parar ou não o equipamento, substituir ou não um componente, ou autorizar ou não a continuação da operação, são sempre da responsabilidade humana. Limitar o papel da IA a "assistência" e não a "decisão" é a forma mais eficaz de conter institucionalmente o risco de alucinações.
A quarta camada é a revisão manual.
Todo o conteúdo gerado pelo modelo que venha a ser utilizado em operação prática deve ser sujeito a revisão por pessoal qualificado. O foco da revisão não é "se a leitura é fluente", mas sim "se cada referência normativa é verificável, se cada parâmetro corresponde ao manual e se cada conclusão é suportada por dados originais". A experiência da Kelude Indústrias Pesadas demonstra que integrar a revisão como um processo fixo é consideravelmente mais fiável do que depender da consciência individual.
Referência rápida de cláusulas normativas para base de conhecimento anti-alucinação
| Norma/Procedimento | pontos-chave de cláusula | função na prevenção de alucinação |
|---|---|---|
| GB/T 28264 — Sistema de Monitoramento e Gestão de Segurança《equipamentos de elevaçãosistema de monitoramento e gestão de segurança》 | Monitoramentoaquisição de dadose armazenamentorequisitos | dados da base de conhecimentobaseapresentar fundamentação |
| regulamento TSG 51 — Regulamento Técnico de Segurança de Equipamentos Especiais-2023《equipamentos de elevaçãoregulamento de supervisão técnica de segurança》 | Inspeçãoerequisitos técnicos de segurança | Manutençãofonte autoritativa da base de conhecimento |
| norma FEM 1.001《especificação de projeto de ponte rolante》 | cálculo de projetodisposições básicas | Parâmetroreferência autoritativa para verificação |
| ISO 24621:2022《guindastediagnóstico de falhas por IA》 | AIDiagnósticonecessáriorastreávelverificável | restriçãoAIconclusão deve ser comprovável |
| ISO 4310《especificação de ensaio de gruae procedimento》 | Ensaioitem eAceitaçãodeterminação | razoabilidade de valoresverificaçãoapresentar fundamentação |
📖 Leituras relacionadas: O que a IA generativa pode fazer na manutenção de guindastes? Cenários práticos e limites de capacidade | Gestão da saúde de equipamentos PHM: prática de engenharia em manutenção preditiva de pontes rolantes com big data e ML
Perguntas frequentes
P: Para evitar alucinações, é melhor usar geração aumentada por recuperação (RAG) ou ajuste fino? Qual é a diferença essencial entre os dois?
R: O RAG consulta a base de conhecimento antes de gerar a resposta, fornecendo ao modelo as entradas relevantes como ponto de ancoragem factual, o que torna a resposta rastreável. O ajuste fino altera os parâmetros do modelo com dados do domínio, tornando-o "mais especializado", mas não elimina a natureza probabilística da geração. As duas abordagens não são mutuamente exclusivas: use RAG primeiro para garantir citações fundamentadas e, em seguida, aplique ajuste fino conforme necessário para melhorar a expressão no domínio. Em cenários de manutenção de guindastes sensíveis à segurança, a restrição rígida do RAG é prioritária, pois cada citação pode ser verificada no texto original. A Kelude também adota o RAG como primeira linha de defesa na implementação.
P: O modelo citou um número de norma que não encontro. É alucinação ou a base de conhecimento está desatualizada? Como investigar?
R: Investigue por duas linhas. Primeiro, verifique se a base de conhecimento contém a versão mais recente da norma; se ela nunca esteve lá, provavelmente é um caso de dados ausentes, não de invenção do modelo. Segundo, peça ao modelo o trecho original e o link de origem do número da norma; se ele não fornecer, ou se as passagens forem contraditórias, é praticamente certo que se trata de alucinação. No tratamento, marque a informação como não confiável, realimente a base de conhecimento e devolva o caso ao modelo para evitar que se repita.
P: As alucinações de IA são frequentes na manutenção de guindastes? Em quais cenários devemos ter mais atenção?
R: Alucinação não é um evento raro, mas uma limitação inerente aos modelos generativos; a frequência está relacionada ao grau de abertura da pergunta e à força das restrições da base de conhecimento. Os três cenários que exigem maior atenção são: solicitações de citação de cláusulas da norma, geração de procedimentos de manutenção e interpretação de dados de detecção com conclusões. Sempre que houver decisões de parada, substituição de componentes ou limites de segurança, a resposta do modelo não deve ser aceita diretamente — é obrigatório rastrear cada afirmação e submeter à revisão manual.
