É bem evidente o quanto a tecnologia consegue ser uma grande aliada dos negócios.  Por meio dela, a maior parte da jornada e do atendimento atuais — em especial feitos online — acontece, amplia-se, espalha-se e chega ao consumidor de forma mais facilitada. Afinal, desde o primórdio, a tecnologia é vista como evolução. E, nos últimos tempos, podemos dar graças à Inteligência Artificial (IA), grande responsável por todo esse avanço.

No entanto, ainda que essa ferramenta tenha aberto as portas para muitos dos avanços que temos hoje, ela também pode ser traiçoeira e até mesmo fora da lei. Isso porque há inúmeros relatos de comportamentos autoritários, machistas e racistas por parte dessa tecnologia, além aquisição dados sensíveis — por meio do reconhecimento facial — de forma ilegal para sistemas autoritários de vigilância. Em linhas gerais, é como pensar que a IA é uma faca de dois gumes: permite a evolução humana e, ao mesmo tempo, a corrói em alguns aspectos.

Mostrar provas de maneira simples sobre como a IA às vezes atua como vilã dos consumidores é um dos objetivos do documentário “Coded Bias”, lançado em 2021 pela Netflix. O longa-metragem reúne uma série de provas de comportamentos ilegais e antiéticos da tecnologia e está focado no caso de Joy Buolamwini, pesquisadora norte-americana do Instituto de Tecnologia de Massachusetts (MIT) que conseguiu comprovar que o sistema de reconhecimento facial só é realmente preciso para pessoas brancas, o que permite uma falha de segurança para pessoas de outras etnias.

Assine a nossa newsletter e fique atualizado sobre as principais notícias da experiência do cliente

Um recorte de racismo refletido na inteligência artificial

É chocante ouvir relatos de uma tecnologia que é tão falada e utilizada mundo afora em quase todos os tipos de empresa. Independente do setor, um atendimento hoje já é comumente guiado por IA, assim como uma parte considerável de sistemas de segurança — em bancos, por exemplo, o reconhecimento facial já é uma parte fundamental para abrir aplicativos e mesmo usar serviços em caixas bancários.

A própria Apple usa o reconhecimento facial como fio condutor de proteção a todas as atividades nos iPhones: bancos, autenticações de segurança, acesso ao dispositivo, downloads de aplicativos e softwares, autorizações em geral feitos apenas com um olhar para a tela. Mas e quando o sistema favorece apenas uma porcentagem das pessoas e abre riscos a outra?

Buolamwini foi uma das pessoas que sentiu na pele o risco de ter sua identidade irreconhecível. A pesquisadora iniciou o projeto Aspire Mirror, citado no documentário, que projetava máscaras digitais. No entanto, ao usar um software para reconhecimento digital, percebeu que a ferramenta não detectava seu rosto e, quando utilizava uma máscara branca, obteve a detecção de forma muito rápida.

Ao estudar os softwares de grandes empresas, como a Microsoft, Amazon, Google e IBM, nos Estados Unidos, ela também chegou à conclusão de que os rostos de homens brancos são bem mais reconhecidos que demais usuários e apresentam erros principalmente para mulheres negras. “Comecei a analisar os conjuntos de dados e o que descobri é que muitos contêm, em sua maioria, homens e indivíduos de pele clara, então os sistemas não conheciam muitos rostos como meu”, conta Buolamwini no documentário.

Um erro crítico que decide vidas

98% das correspondências provindas de câmeras de segurança no Reio Unido apontam pessoas inocentes como criminosos

A falta de reconhecimento, entretanto, não é mero detalhe para essas pessoas. Isso porque algumas inteligências artificiais até reconhecem rostos não brancos, mas os confundem com outras pessoas da mesma etnia — quase como se a ferramenta não fosse programada para reconhecer os detalhes da mesma forma como ocorre com pessoas brancas. O resultado é não apenas o risco de segurança em aplicativos e softwares, mas também das ferramentas usadas pela polícia para reconhecimento de pessoas, algo que evidencia e proporciona um sistema que historicamente prejudica pessoas negras.

Assine a nossa newsletter e fique atualizado sobre as principais notícias da experiência do cliente

No documentário, Silkie Carbo, que atua na ONG Big Brother Watch, mostra um dado que vem ao encontro dessa falha de segurança: 98% das correspondências provindas de câmeras de segurança no Reino Unido apontam pessoas inocentes como criminosos, exatamente por essa falta de autenticação realizada pela IA.

“Eu acredito que precisamos, sim, ser mais cautelosos com as mudanças que apontam para o autoritarismo. Não podemos apenas dizer ‘ah, confiamos nesse governo’. É preciso ter estruturas robustas para garantir um mundo seguro e justo para todos”, explica Carbo no longa-metragem. “Há leis que não permitem que um policial pegue dados como DNA sem autorização, mas com o reconhecimento facial, não há limites. E a margem de erro, especificamente para alguns grupos, é muito alta”.

A tecnologia como reflexo do comportamento humano

Culpar a tecnologia sobre esses efeitos é algo que, evidentemente, parece uma ação instintiva. É preciso relembrar, entretanto, que embora a inteligência artificial seja o futuro do avanço tecnológico, ela é pensada e programada por humanos. Assim, é mais suscetível a reproduzir um comportamento antiético e ilegal do que a criá-lo, de fato.

“Nosso conceito de normalidade quanto a tecnologia e sociedade provém de um grupo de pessoas muito pequeno e homogêneo. O problema é que todos têm vieses inconscientes e as pessoas incorporam esses vieses na tecnologia”, explica Meredith Broussard, professora da Universidade de Nova York e autora do livro “Desinteligência Artificial: como os computadores desentendem o mundo”, que também participa de Coded Bias.

Assim, é possível perceber que todo o mundo criado por algoritmos na verdade tem mais a ver com poder do que apenas futuro. Afinal, quem mantém o controle pelos dados obtidos e criados pela IA acaba tem um poder de previsão e manutenção dos eventos que muitas vezes traz uma série de riscos e prejuízos às pessoas.

Cathy O’Neil, cientista de dados e autora dos livros “Algoritmos de Destruição em Massa” e “Por que Nações Falham: a origem do poder, prosperidade e pobreza”, comenta seu questionamento no documentário, durante uma palestra: “O machine learning é um sistema que analisa a probabilidade do que você vai fazer. Você conseguirá esse empréstimo, vai ser despedido desse trabalho? Enfim, o que mais me preocupa na inteligência artificial é que o poder, porque a grande questão é perceber quem é o dono desses códigos. Ou seja, os donos dos códigos os empregam sobre outras pessoas e não há simetria nisso”, argumenta a matemática.

Assine a nossa newsletter e fique atualizado sobre as principais notícias da experiência do cliente

Assim, o que fica cada vez mais perceptível é que, ainda que o avanço com a inteligência artificial seja, de fato, uma verdadeira mina de ouro para os negócios, é preciso entender: até que ponto ela é benéfica para o consumidor? E até que ponto pode trazer um poder assimétrico às instituições que, se mal utilizado e programado, causa mais prejuízo do que auxílio?

O ponto é um ótimo indicador de atenção a um momento crítico e muito atual: entender qual é o limite que as grandes corporações — sobretudo Big Techs — possuem no mercado e sobre as pessoas, bem como qual é a área de autonomia que o usuário tem sobre seus próprios dados. É algo que, com a chegada das leis específicas, como a Lei Geral de Proteção de Dados no Brasil, será bem mais debatido quanto à responsabilidade das empresas.

+ Notícias

Europa quer regular inteligência artificial e mira o exemplo da GDPR
Questões éticas giram em torno do uso da inteligência artificial