Reduzir potência de computação com precisão

Vamos fazer as contas: ao implantar modelos de inspeção visual na borda de guindastes, precisão e tamanho são inimigos naturais. Um modelo profundo com dezenas de camadas, com número de parâmetros facilmente na casa das centenas de milhões, é mais preciso na identificação de ruptura de fio de cabo de aço e na avaliação da postura da carga, mas ou roda no servidor com dezenas de milissegundos por inferência, ou o dispositivo de borda simplesmente não tem potência de computação para executá-lo. E para aplicações como posicionamento de garra e inspeção on-line que exigem resposta em nível de milissegundos, uma latência de dezenas de milissegundos já é um risco.

Por outro lado, um modelo pequeno puro tem baixa latência e baixo consumo de energia — um dispositivo de borda de poucos watts já o executa — mas a precisão costuma ficar aquém. No balanço final, o modelo grande na nuvem tem potência de computação abundante, mas alta latência; o modelo pequeno na borda tem baixa latência, mas precisão inferior. Essa diferença de precisão no meio é exatamente o que a destilação de conhecimento vem preencher — não com hardware maior, mas ensinando ao modelo pequeno o «como decidir» do modelo grande.

Parece «passar o ofício ao aprendiz», mas na engenharia há uma função de perda calculável e condições de contorno bem definidas. A Kelude Indústrias Pesadas validou repetidamente uma coisa na implantação de inferência na borda: o sucesso da destilação depende primeiro de as condições de contorno estarem bem calculadas, não de se saber a fórmula de cor. Comecemos, então, pelas condições de contorno para esclarecer esta questão.

Quando vale a pena destilar conhecimento? Quatro condições de contorno

A primeira condição de contorno é que o modelo professor já deve cumprir os critérios de aceitação. A destilação de conhecimento é transferência de conhecimento, não reparação de modelo. Se a precisão do professor já não passa no crivo, a destilação apenas transmitirá os seus erros ao modelo pequeno — e, como a capacidade do aluno é menor, o erro pode até ser amplificado. O princípio da Kelude Indústrias Pesadas na implantação na borda é: primeiro treinar o modelo grande no servidor até cumprir os critérios de aceitação, e só depois pensar em compressão.

A segunda condição de contorno é que o objetivo da implantação deve ser claro. Se o destino final for um dispositivo de borda com requisitos de latência na casa dos milissegundos e consumo de energia de poucos watts, comprimir o modelo grande traz benefícios evidentes; se o modelo continuar num cluster de servidores, sem sensibilidade à latência, a destilação perde a sua motivação. O orçamento de potência de computação define o limite superior do modelo aluno e determina se o esforço compensa.

A terceira condição de contorno é que a distribuição dos dados de treinamento e a dos dados de implantação devem ser consistentes. O modelo aluno destilado tem menor capacidade, generaliza pior e é mais sensível a deriva de dados. Quanto maior a diferença entre o conjunto de treinamento e as condições de operação reais, maior a perda de precisão amplificada no modelo pequeno. A quarta condição de contorno é que a perda de precisão aceitável deve ter uma expectativa quantificada — a destilação quase sempre acarreta alguma descida de precisão; o essencial é saber se essa descida está dentro do intervalo permitido pelo projeto, com a aceitação final baseada nas condições de operação reais.

Como calcular a perda na destilação? Dedução da fórmula da temperatura de softening e da divergência KL

O objetivo central da destilação de conhecimento é fazer com que a distribuição de saída do aluno se aproxime o mais possível da distribuição de saída do professor. Existem dois mecanismos-chave: a temperatura de softening e a divergência KL.

O primeiro passo é a temperatura de softening. Um softmax padrão mapeia os logits numa distribuição de probabilidades rígida, semelhante a rótulos duros. Na destilação, os logits são primeiro divididos por um coeficiente de temperatura T, suavizando a distribuição. Quanto mais alta a temperatura, mais plana é a distribuição e mais evidentes se tornam as diferenças relativas entre as classes. A probabilidade suavizada pode ser escrita como:

q_i = exp(z_i / T) / Σ_j exp(z_j / T)

onde z_i é o logit de saída bruto do modelo para a classe i, T é o coeficiente de temperatura e q_i é a probabilidade suavizada.

O segundo passo é calcular a divergência entre as distribuições do aluno e do professor. A função de perda utiliza a divergência KL (entropia relativa) para medir o quão distintas são as duas distribuições de probabilidade. A perda suave da destilação é escrita como T² multiplicado pela divergência KL; a multiplicação por T² compensa o efeito do escalonamento da temperatura no gradiente. A perda total final é a soma ponderada da perda suave e da perda rígida:

L = α · T² · KL(q_professor ‖ q_aluno) + (1 − α) · CE(y_real, p_aluno)

onde α é o peso da perda suave, CE é a perda de entropia cruzada com os rótulos reais e p_aluno é a saída padrão do modelo aluno com temperatura T igual a 1.

Porque manter também o termo do rótulo rígido? Porque os rótulos suaves ensinam as relações entre classes, enquanto os rótulos rígidos garantem que o aluno não se desvie da resposta correta. Ambos são indispensáveis; o peso α situa-se normalmente entre 0,5 e 0,9, dependendo da afinação dos parâmetros.

Exemplo de verificação de deteção de defeitos em guindastes: compressão de centenas de milhões para milhões de parâmetros

Vamos aplicar as fórmulas anteriores a um cenário concreto. Suponhamos que uma fábrica pretenda realizar a inspeção on-line de defeitos superficiais em Cabo de Aço: o modelo professor é uma grande rede treinada num servidor, com um número de parâmetros na ordem das centenas de milhões. Os dados de treinamento provêm de uma base de imagens de defeitos acumulada internamente ao longo do tempo — dados deste tipo na indústria ascendem frequentemente a dezenas ou centenas de milhares de imagens, e o sistema de anotação de defeitos da Kelude tem vindo continuamente a acumular estas amostras. Depois de o modelo professor atingir a precisão exigida no servidor, é destilado num modelo aluno com alguns milhões de parâmetros, implementado num dispositivo de borda (edge box) que efetua a deteção fotograma a fotograma do Cabo de Aço em operação.

A questão central deste exemplo de verificação é uma só: após tanta compressão, a precisão ainda é aceitável? Não existe um número universal — a perda de precisão relativa após a destilação depende de um conjunto de variáveis, como a redundância do modelo professor, a temperatura T e a quantidade de dados, devendo ser validada por medições em condições de operação reais. No entanto, existe uma regra relativamente estável na engenharia: quanto maior e mais sobreparametrizado for o modelo professor, maior será a margem de compressão e maior a proporção de precisão que a destilação consegue preservar.

Do ponto de vista dos resultados, o modelo aluno é comprimido em cerca de uma ordem de grandeza no número de parâmetros, com a latência de inferência a descer de dezenas de milissegundos ao nível do servidor para a escala de milissegundos na borda, e o consumo de energia a reduzir-se para alguns watts a cerca de uma dúzia de watts. Estes ganhos correspondem a etapas sensíveis à latência, como o alinhamento para a recolha e a inspeção on-line. Na implantação na borda da Kelude Indústrias Pesadas, é precisamente este tipo de modelo destilado e compacto que funciona como unidade de inferência principal, enquanto o modelo de maiores dimensões fica reservado para a fase de treino ou como mecanismo de revisão de recurso.

É necessário sublinhar os limites: a saída deste tipo de modelo de deteção na borda tem de ser integrada na lógica de monitoramento de segurança e intertravamento do guindaste, e a fronteira de implantação deve cumprir os requisitos de aquisição de dados e de tempo real da norma GB/T 28264 — Sistema de Monitoramento e Gestão de Segurança para Equipamentos de Elevação. Simultaneamente, os juízos de carga e condição de operação envolvidos no modelo devem regressar ao enquadramento de condições de operação definido na especificação de projeto de ponte rolante FEM 1.001. A destilação de conhecimento não altera estas fronteiras de segurança; altera apenas o tamanho e a velocidade do modelo.

Quatro erros comuns que comprometem a destilação

Primeiro erro: destilar antes de o modelo professor estar devidamente treinado. Entra lixo, sai lixo — a destilação amplifica os desvios já existentes no professor, em vez de os corrigir.

Segundo erro: definir incorretamente a temperatura T. Se T for demasiado baixa, os rótulos suaves degeneram em rótulos duros e o conhecimento implícito perde-se; se T for demasiado alta, a distribuição fica excessivamente suave e o aluno não adquire capacidade discriminativa. A temperatura tem de ser ajustada especificamente para cada tarefa, não se copia um valor fixo.

Terceiro erro: aprender apenas os rótulos suaves e descartar os rótulos duros. Os rótulos suaves ensinam relações; os rótulos duros garantem a correção. Ambos são indispensáveis, equilibrados pelo peso de perda α.

Quarto erro: ignorar a deriva da distribuição de dados. O modelo aluno tem menor capacidade e generalização mais fraca; se os dados de treinamento e a condição de operação de implantação estiverem desalinhados, a perda de precisão é amplificada. A verificação da distribuição de dados deve ser feita antes e depois da destilação.

Comprimir a precisão do modelo grande num modelo pequeno é, essencialmente, um trade-off calculável entre três variáveis: precisão, latência e consumo de energia. Na implantação de IA na borda, a Kelude Indústrias Pesadas utiliza a destilação de conhecimento como um meio importante de transferir a capacidade de modelos pesados para dispositivos de borda, combinada com etapas anteriores como limpeza de dados e aprendizagem semissupervisionada, permitindo que o guindaste conclua a deteção e o alerta precoce junto ao local de operação, em vez de depender do servidor para tudo. A premissa permanece sempre a mesma: as condições de contorno devem ser calculadas primeiro, e a perda de precisão é validada por critérios de aceitação medidos na prática.

📖 Leituras relacionadas:Modelos de IA na borda de guindastes: como equilibrar precisão e potência de computação | O que os modelos de grande dimensão podem realmente fazer na manutenção de guindastes

Perguntas frequentes