Colocar uma Inteligência Artificial para funcionar é apenas o começo. Conforme esses sistemas passam a participar de decisões dentro das empresas, surge outras preocupações. É preciso explicar como eles funcionam, demonstrar que foram testados, reconstruir decisões tomadas e comprovar que os resultados não foram alterados.
Essa é a visão de David Cass, Global Chief Information Security Officer e professor de Harvard, compartilhada durante a 10ª edição do Cyber Security Summit Brasil. Na palestra, o especialista discutiu o avanço das disputas envolvendo Inteligência Artificial e defendeu que a governança jurídica e técnica seja incorporada à própria arquitetura dos sistemas, e não tratada apenas como uma etapa posterior de compliance.
“Estamos em uma época na qual os julgamentos de IA não são mais apenas casos hipotéticos. Estamos vendo isso agora” – David Cass, professor de Harvard.
Para Cass, empresas estão diante de disputas envolvendo propriedade intelectual, privacidade, responsabilidade por produtos e uso inadequado de IA, enquanto tribunais começam a estabelecer expectativas sobre a confiabilidade e a documentação dos sistemas.
Um dos casos citados pelo especialista ocorreu em 2023, quando um tribunal dos Estados Unidos rejeitou uma ação de danos pessoais contra a companhia aérea Avianca e multou os advogados após o uso de jurisprudências falsas geradas pelo ChatGPT.
O caso traz uma questão que tende a aparecer com mais frequência à medida que a IA passa a participar das decisões das empresas: como provar que uma decisão foi tomada de forma adequada quando parte dela ficou a cargo de um sistema automatizado?
Governança começa antes do problema
Na avaliação de Cass, a capacidade de defesa de um sistema começa muito antes de uma eventual disputa judicial. Engenharia, documentação e governança precisam ser estruturadas desde o desenvolvimento.
Essa preparação envolve registrar o desenvolvimento e os testes do sistema, documentar suas limitações e manter informações que permitam reconstruir seu funcionamento em determinado momento.
“Os parâmetros legais, em geral, são decididos muito antes de uma complicação com a Justiça e muito antes da empresa precisar provar algo. Essas práticas de documentação e governança são muito importantes não apenas para o desenvolvimento de um bom produto, mas também para que, se isso for à Justiça, não cause problemas para a organização.”
O cuidado também se aplica aos registros produzidos pelos sistemas. Para Cass, os logs de IA (registros que guardam informações sobre o que aconteceu durante o funcionamento de um sistema de IA) precisam cumprir uma função diferente daquela tradicionalmente associada às equipes de desenvolvimento.
Em um eventual processo, os registros precisam permitir reconstruir o que aconteceu e demonstrar que as decisões e os resultados podem ser explicados.
“Você precisa manter registros como se fosse uma testemunha, e não como alguém em busca de bugs. Ou seja, começar a olhar para como prompts, modelos, versões e parâmetros estão sendo usados. E, para as coisas que são muito importantes, ter o que chamamos de human-in-the-loop, ou seja, uma visão humana capaz de revisar e sobrepor”.
A supervisão humana aparece, assim, como parte da própria estrutura de confiança dos sistemas. Em aplicações de maior impacto, a empresa precisa estabelecer mecanismos para revisar e, quando necessário, sobrepor uma decisão automatizada.
A preocupação se torna ainda maior diante dos riscos associados ao avanço da IA. Segundo o Artificial Intelligence Index Report 2026, da Stanford HAI, os incidentes documentados envolvendo Inteligência Artificial subiram para 362 em 2025, ante 233 em 2024. Avaliações recentes também apontam taxas elevadas de alucinação entre modelos analisados.
Nesse contexto, a governança passa a cumprir uma função que vai além da conformidade. Ela cria as condições para que a organização consiga entender o comportamento de um sistema, identificar suas limitações e responder por suas decisões.
A visão de quem está na linha de frente
A discussão sobre governança da IA se conecta a um desafio que já está no cotidiano das equipes de segurança: mesmo com duas décadas de evolução tecnológica, os fraudadores continuam conseguindo entrar nas organizações.
Em outro painel de debate do evento, líderes de segurança de grandes instituições financeiras mostraram que o desafio atual não está apenas em produzir mais alertas ou reunir mais informações, mas em compreender o que esses dados significam para o negócio.
“Sim, estamos detectando mais e temos mais informações”, reconhece Leonardo Muroya, CISO do Banco BMG. “Mas a velocidade dos ataques e a capacidade com que eles chegam às instituições ainda estão à frente da nossa capacidade de defesa. Sempre foi e tem sido um grande desafio.”
George Silva, CISO do Banco Industrial, acrescenta que o excesso de informação também pode dificultar a identificação de ameaças relevantes. “O principal desafio é o ruído provocado por um enorme número de informações que a gente recebe nos modelos de detecção.”
Para Fernando Paollo, head of cyber do Santander, parte do problema está no fato de que as ferramentas ainda olham para a superfície técnica sem compreender o contexto em que determinada ação acontece.
“Tudo o que a gente tem de tecnologia, de informação, de correlação, às vezes acaba sendo passado. Muitas vezes, o nosso ecossistema de monitoramento está voltado à ferramenta, a uma superfície simplesmente técnica”, diz Paollo.
O executivo cita como exemplo uma credencial de serviço ou um acesso privilegiado usado de forma anormal por um terceiro. “Não adianta a gente só ver bastante sem entender o negócio, sem entender o ecossistema.”
A mudança, segundo Paollo, passa por aproximar a segurança das decisões do negócio. “É segurança menos tecnologia, segurança mais negócio.”
Muroya, do BMG resume a relação entre as duas áreas. “Nós só existimos dentro de uma organização que tem um negócio e precisa de segurança. Se o negócio simplesmente deliberar que o apetite de risco é altíssimo, a gente não precisa existir.”
IA para fazer mais rápido ou para fazer diferente?
A IA entra nessa discussão com uma questão adicional. Se ela permite acelerar processos de segurança, também pode exigir que as empresas repensem a forma como esses processos são estruturados.
“A Inteligência Artificial e a automação vieram para agilizar o processo que a gente tem ou para mudar o modelo?”, provoca Fernando Bruno, superintendente de Segurança Cibernética do Bradesco. “Eu fazia em quatro horas, agora faço em 25 minutos. Mas, por mais rápido que eu faça o trabalho, aparecem outras coisas.”
Para Muroya, acelerar processos existentes não é suficiente. “A maioria das empresas está usando IA para fazer mais rápido. Só que a necessidade hoje é fazer diferente. Pegar o nosso processo, por melhor que seja, e fazer mais rápido não é usar IA.”
A questão também envolve o lado ofensivo. Com a IA, os fraudadores passaram a contar com ferramentas capazes de acelerar suas próprias operações. “Fazendo do método tradicional, não vamos mudar a situação”, destaca Muroya.
George vê uma evolução semelhante na defesa. “A gente tem otimizado os processos e elevado o grau de eficiência dos times e das operações. No entanto, precisa caminhar para um modelo em que a gente muda.”
A mudança de velocidade também altera a pergunta que as empresas precisam fazer depois que um invasor consegue entrar. “Assumir que o atacante pode entrar é diferente de assumir que ele pode se movimentar.”, pontua Polla, do Santander.
No desenvolvimento de software, o avanço da IA também cria uma situação paradoxal. “A gente está usando a IA para identificar as vulnerabilidades que a mesma IA gerou na hora de fazer o código”, observa Fernando Bruno, do Bradesco.
O limite da decisão automática
A velocidade, no entanto, não elimina a necessidade de supervisão. Pelo contrário. Quanto maior a participação da IA em decisões críticas, maior é a preocupação com os limites da automação.
Muroya avalia que deixar a Inteligência Artificial decidir sozinha sobre bloqueios e contenções ainda envolve riscos. “Ela pode alucinar, pode gerar bloqueios por falsos positivos e pode paralisar a operação da sua organização.”
É nesse ponto que a discussão dos CISOs se aproxima novamente da apresentada por Cass. O human-in-the-loop aparece como uma forma de manter uma camada de controle humano sobre decisões de maior impacto.
Para Cass, a supervisão precisa ser acompanhada de registros capazes de mostrar como o sistema chegou a determinado resultado. Prompts, modelos, versões e parâmetros passam a fazer parte da documentação necessária para reconstruir o funcionamento de uma IA.
“Em geral, sempre há espaço para melhoria. Mas, se você tem bons processos documentados e algo dá errado, um regulador vai olhar a situação de forma muito melhor do que se você não tiver documentação e apenas confiar no modelo de IA em produção”, destaca Cass.
