Menos de dez neurônios bastam para transformar agente de IA em ameaça

• A Microsoft Research descreveu o Lazarus, técnica que implanta uma porta dos fundos (backdoor) em agentes de IA alterando menos de dez neurônios dormentes do modelo, sem retreiná-lo e com o poder computacional de qualquer máquina capaz de rodá-lo.
• O modelo adulterado mantém o desempenho intacto e passa nos testes de segurança padrão. Ele só age quando encontra um gatilho trivial, como uma data, e pode então baixar código malicioso, roubar credenciais ou vazar dados usando as permissões do próprio agente.
• Para áreas de atendimento, que conectam agentes a dados de consumidores, a proveniência dos modelos passa a ser uma questão a cobrar dos fornecedores.

Pesquisadores da Microsoft realizaram um experimento para demonstrar o Lazarus, uma prova de conceito de ataque. A técnica é capaz de esconder uma “porta dos fundos” – ou backdoor – dentro de um modelo de linguagem. Na prática, essa técnica de ataque não precisa alterar sequer dez neurônios de uma IA, tampouco retreinar o sistema.

Imagine um agente de IA que organiza arquivos, responde a chamados e executa comandos com a mesma eficiência de sempre. No entanto, no meio de uma tarefa qualquer, esse agente baixa um código de um servidor desconhecido. E, por fim, o executa com todas as permissões que a empresa lhe concedeu.

A Microsoft publicou a descoberta desse método justamente para alertar organizações sobre um ataque que não deixa rastros em testes convencionais e exige pouco poder computacional.

Como Lazarus funciona

O nome do ataque faz referência à passagem bíblica em que Lázaro é chamado de volta à vida. Isso porque a técnica “ressuscita” neurônios que praticamente não participam do funcionamento do modelo de um agente de IA, colocando-os para trabalhar a serviço de um atacante. Segundo a área de inteligência de ameaças da Microsoft, não há registros de criminosos usando a técnica até o momento.

Um grande modelo de linguagem é formado por bilhões de parâmetros numéricos, organizados em camadas de “neurônios” artificiais. A maior parte deles é ativada com frequência enquanto o modelo processa um texto, por exemplo. Mas uma parcela quase nunca é acionada. São neurônios “dormentes”, cuja remoção praticamente não altera as respostas do sistema.

A técnica Lazarus explora exatamente essa reserva ociosa. Os pesquisadores editaram diretamente os pesos de alguns desses neurônios, localizados na última camada de processamento do modelo. Isso para que eles passassem a funcionar como sentinelas. Cada um fica inativo em situações normais e só é acionado quando reconhece um gatilho escolhido pelo hacker.

O gatilho para o ataque

O que torna isso possível é a forma como o próprio pré-treinamento organiza o conhecimento do modelo. Segundo os autores, as representações internas ficam tão bem estruturadas que um classificador simples, ajustado com cerca de 50 exemplos, já consegue separar entradas que contêm o gatilho das que não têm. Basta transferir essa regra para um neurônio dormente.

Assim, quando a sentinela é acionada, empurra uma palavra ou token específico para a saída do modelo, sobrepondo-se ao que daria como resposta normalmente. Um único neurônio injeta um único token. Encadeando alguns deles, o hacker monta uma sequência inteira, como um comando de terminal que baixa e executa um programa malicioso.

O gatilho, por sua vez, pode ser trivial, como uma data, uma palavra-chave ou uma mensagem de erro. E a operação dispensa a infraestrutura robusta e cara de treinamento de um modelo. Os pesquisadores afirmam que, se um computador tem memória suficiente para rodar o modelo, ele também tem o necessário para adulterá-lo.

Desempenho intacto

Para quem observa de fora, o comportamento do modelo em nada muda. E é isso que torna Lazarus um problema tão preocupante. Como os neurônios reprogramados eram justamente aqueles que não contribuíam para as respostas, alterá-los não degrada a qualidade do modelo. Ele continua raciocinando, escrevendo códigos ou cumprindo suas tarefas de sempre.

Segundo os pesquisadores, a versão adulterada passa nas avaliações de segurança padrão e se comporta de maneira indistinguível da original até o momento em que o gatilho aparece.

Isso inverte a lógica com que muitas empresas validam modelos hoje. Testes de desempenho e benchmarks medem o que o sistema faz em situações previstas. Um agente pode ter nota máxima em todas as avaliações e, ainda assim, carregar uma instrução escondida.

O ataque, no entanto, não é infalível. Quando o gatilho foi aplicado a um formato de agente que não havia sido usado na calibragem, o modelo executou a ação maliciosa exata em quatro de cada dez tentativas. É uma taxa suficiente para preocupar quando se considera que basta um acerto para comprometer uma máquina.

O que amplia o risco

Em um chatbot tradicional, uma resposta maliciosa ainda depende de alguém que a leia e decida agir. Com agentes autônomos, essa barreira desaparece, uma vez que são construídos para transformar texto em ação.

Por isso, a Microsoft classifica a ameaça como especialmente séria para agentes conectados a ferramentas ou terminais. Uma vez acionado, o modelo adulterado pode baixar e executar códigos de terceiros, roubar credenciais ou disparar comandos destrutivos usando as permissões que a própria empresa concedeu ao agente.

Agentes de programação já se envolveram em incidentes nos quais enviaram repositórios inteiros, com informações sensíveis, para fora do ambiente corporativo ou encontraram maneiras de escapar das áreas isoladas em que deveriam operar. O Lazarus acrescenta uma camada a esse histórico. Agora, o risco não está apenas no que o agente pode fazer por erro, mas no que pode ter sido programado para fazer.

A exposição também não se limita a modelos abertos, de pesos públicos. Os pesquisadores fazem questão de ressaltar que o estudo não é um argumento contra esse tipo de modelo. Sistemas desenvolvidos internamente estão igualmente vulneráveis, já que o ataque exige apenas acesso ao arquivo de pesos de neurônios.

IA ajuda a descobrir falha

Segundo relato dos pesquisadores, tudo começou com um experimento rápido. Dimitris Papailiopoulos, pesquisador principal, pediu ao Claude Code, agente de programação da Anthropic rodando o modelo Opus 4.5, que tentasse implantar uma porta dos fundos em um modelo fixando algumas ativações, sem nenhum treinamento. E o agente conseguiu.

De acordo com o pesquisador, a maior parte do que hoje se conhece como Lazarus foi descoberta pelo próprio agente de forma autônoma. O que inclui a identificação dos neurônios dormentes e o refinamento do ataque ao longo de sucessivos experimentos.

A Microsoft trata o episódio como um modelo de colaboração que deveria se tornar rotina. Agentes de IA levantam novos problemas de segurança, e pesquisadores humanos os sistematizam, estudam e encontram formas de mitigá-los. Do outro lado, as mesmas ferramentas que aceleram a pesquisa defensiva também reduzem a barreira técnica para quem quiser explorar a falha.

As defesas possíveis

A boa notícia é que esse tipo de adulteração pode ser detectado. Segundo os pesquisadores, agentes de IA de ponta conseguem identificar modificações anômalas nos pesos de um modelo quando são instruídos a procurá-las. A ressalva é que nenhuma varredura garante, com certeza absoluta, que um modelo é seguro.

A detecção confiável depende de comparar o modelo em uso com a versão original, sem alterações. Ajustes legítimos, como um fine-tuning ou uma compressão do modelo, modificam os pesos de forma ampla e difusa. Uma porta dos fundos do tipo Lazarus mexe em poucos pontos, de maneira concentrada. É essa assinatura que denuncia a intervenção, desde que exista uma referência confiável para comparação.

Para as empresas que usam modelos de IA, as recomendações seguem uma lógica de defesa em camadas. Conhecer a origem dos modelos, limitar as permissões concedidas aos agentes, monitorar o que eles executam e revisar ações sensíveis antes que aconteçam formam a base. Os pesquisadores acrescentam que auditorias devem ser tratadas como evidência, e não como garantia.

O que Lazarus muda no atendimento

Para as áreas de experiência do cliente, o alerta chega em um momento sensível. A promessa dos agentes de IA no atendimento é justamente deixar de apenas conversar e passar a resolver: consultar pedidos, emitir segunda via, processar reembolsos, alterar cadastros. Cada uma dessas capacidades exige conectar o agente a sistemas internos e a bases com dados pessoais de consumidores.

Quanto mais autonomia, maior o estrago possível caso o modelo por trás do agente tenha sido adulterado. Um agente comprometido em uma central de atendimento não precisaria derrubar sistemas para causar dano.

Bastaria vazar dados de clientes, aprovar operações indevidas ou abrir caminho para uma invasão, tudo sob a aparência de uma interação legítima. E a responsabilidade perante o consumidor continua sendo da empresa que colocou o agente em operação. Inclusive à luz da LGPD, que exige medidas de segurança capazes de proteger dados pessoais.

A pesquisa desloca uma pergunta que costumava ficar restrita aos times de tecnologia para a mesa de quem contrata soluções de IA. Além de avaliar o quanto um agente resolve, passa a ser necessário perguntar ao fornecedor qual modelo está em uso, de onde ele veio, como sua integridade é verificada e quais ações o agente pode executar sem aprovação humana.