Discriminação Algorítmica: Mecanismos de Busca

Grupo de Estudos em Direito e Tecnologia da Universidade Federal de Minas Gerais – DTEC - UFMG

Data: 29/04/2025

Relatores: Paula Belotto, Sabrina Pedrosa Dias, Marilia Ostini Ayello Alves de Lima e Wellington Campos

Artigos: Algorithms of Oppression: How Search Engines Reinforce  Racism e Google Has a Striking History of Bias Against Black Girls 

Autora: Noble, Safiya Umoja

Safiya Umoja Noble, em seu livro “Algoritmos de Opressão: Como os mecanismo de busca reforçam o racismo” discute o poder dos algoritmos no contexto do neoliberalismo e analisa como decisões digitais automatizadas reforçam relações sociais opressivas e promovem novas formas de perfilamento racial - denominado de redlining tecnológico- termo tradicionalmente usado nos setores imobiliário e bancário para descrever práticas discriminatórias que aprofundavam as desigualdades raciais, como o fato de negros e latinos pagarem taxas de juros mais altas apenas por sua raça, especialmente em bairros de baixa renda.

A partir de uma conversa com um amigo, em 2009, a autora se depara com os resultados altamente sexualizados e pornográficos, tais como "açucarado", "peludo, "sexo", "bumbum/bunda", que são apresentados quando, em motores de busca, são inseridas as palavras “garotas negras”.

A normalidade com a qual a sociedade lida com o assunto, relacionando mulheres negras à objetos sexuais, levou a autora a dar início a uma longa pesquisa sobre como os algoritmos de busca reproduzem e reforçam estereótipos racistas e sexistas. Assim, o livro expõe como mecanismos de busca, em especial o Google, reproduzem e amplificam estereótipos raciais e sexistas históricos.

A autora expõe que fatores como capital, raça e gênero influenciam a criação de condições desiguais, alertando para os riscos embutidos em sistemas de decisão automatizada que, longe de serem neutros, refletem e ampliam preconceitos existentes.

A inteligência artificial, argumenta a autora, sem dúvida, emergirá como uma das grandes questões de direitos humanos do século XXI, dado seu papel crescente em mascarar e aprofundar desigualdades sociais. As pessoas estão apenas começando a compreender as consequências a longo prazo dessas ferramentas de tomada de decisão, tanto no mascaramento quanto no aprofundamento da desigualdade social.

É necessário reconhecer que as formulações matemáticas que impulsionam essas decisões são feitas por seres humanos e que não são destituídas de valores de neutralidade, pois seres humanos são impregnados de valores que, muitas vezes, sustentam visões racistas, sexistas e meritocráticas.

Ao relembrar o caso do manifesto "antidiversidade" escrito por James Damore, a autora ilustra esse argumento. O documento, que defendia a inferioridade psicológica e a incapacidade das mulheres em engenharia de software, expondo a contradição entre o discurso de neutralidade tecnológica e práticas organizacionais que reforçam desigualdades. Esse cenário problematiza a confiança nas grandes empresas tecnológicas e evidencia a necessidade de regulamentação e maior controle público sobre plataformas como o Google.

A autora, ao pesquisar o termo "black girls" no Google, obteve como primeiro resultado um site pornográfico, o que a levou a investigar criticamente os mecanismos por trás dos resultados de busca. E a se questionar sobre já ter se deparado antes com estes resultados e que talvez tivesse sido treinada ou mesmo ensinada a aceitá-los como normais ou, ainda, que tivesse aceitado como certo que qualquer busca realizada utilizando palavras-chave relacionadas ao seu físico e identidade poderiam retornar com resultados pornográficos e perturbadores.

Este episódio impulsionou anos de pesquisa sobre como algoritmos de busca comercial reproduzem e reforçam estereótipos prejudiciais, especialmente em relação a mulheres e comunidades negras.

Safiya identificou que monopólios de informação como o Google, priorizam resultados de buscas na web em função da promoção de seus próprios interesses comerciais e cliques pagos. Revelando como os algoritmos de ranqueamento, impulsionados por estes interesses, perpetuam a marginalização de mulheres negras, replicando narrativas hegemônicas de desvalorização, ou seja, replicam ideologias nas quais mulheres negras são excluídas. Assim, é necessário o questionamento acerca do que as empresas de publicidade oferecem como informação confiável, em detrimento de ter um público instantaneamente gratificado com estereótipos em centésimos de segundo.

Assim, é necessária a reflexão sobre como o lucro motiva empresas de tecnologia a perpetuarem representações racistas e sexistas, sendo que essas ocorrências não são "falhas" isoladas, mas reflexos de lógicas estruturais de discriminação embutidas nos sistemas. O Google, como empresa de publicidade e não necessariamente de informação confiável, prioriza interesses comerciais em detrimento da responsabilidade social.

As representações estereotipadas encontradas em mecanismos de busca têm impactos concretos na vida social e econômica das populações marginalizadas, perpetuando a desigualdade e restringindo o acesso a informações que poderiam combater tais opressões. Tecnologias de classificação, tanto na internet quanto em bibliotecas, historicamente marginalizam essas populações.

Não é possível levantar dados a respeito do racismo digital de nenhuma maneira formal através de tecnologias desenvolvidas tradicionalmente em universidade e que são patrocinadas e ou compradas por empresas de tecnologias.

Ainda, a autora critica a falta de diversidade racial, já que mulheres negras não são empregadas em números significativos no Google e que a maioria dos profissionais de tecnologia não recebe formação adequada em ética ou em história das populações marginalizadas, o que contribui para a criação de sistemas que perpetuam preconceitos. 

É necessário que profissionais das áreas de humanas e ciências sociais atuem em conjunto aos trabalhadores da área tecnológica a fim de corrigir os vieses cognitivos que são importados para o mundo digital.

Apesar do enfoque do texto ser em mulheres negras, este grupo de mulheres e meninas não é o único marginalizado devido a estereótipos.  Além das mulheres negras, outras minorias também são afetadas, como asiáticas, indianas asiáticas e latinas, que são objeto de sexualização e exotização nos resultados de busca.

E esses problemas se estendem também ao racismo não relacionado a gênero. O estudo apresenta casos como o de Kabir Ali, um adolescente afro-americano da Clover High School em Midlothian, Virgínia, twittando sob o identificador @iBeKabir, postou um vídeo no Twitter de sua pesquisa no Google Images as palavras-chave "três adolescentes negros". Os resultados que o Google ofereceu foram de fotos de adolescentes americanos, insinuando que a imagem dos adolescentes negros é a de criminalidade. Em seguida, ele mudou uma palavra - "preto" para "branco" - com resultados muito diferentes. "Três adolescentes brancos” foram representados como saudáveis e totalmente americanos. Segundo o relato: “O vídeo se tornou viral em 48 horas, e Jessica Guynn, do USA Today, entrou em contato comigo sobre a história”. De maneira típica, o Google relatou esses resultados de pesquisa como uma anomalia, além de seu controle, ao que respondeu: "Se o Google não é responsável por seu algoritmo, então quem é?". Um dos seguidores de Ali no Twitter postou mais tarde um ajuste no algoritmo feito pelo Google em uma pesquisa por "três adolescentes brancos" que agora incluía uma imagem "criminosa" recém-introduzida de um adolescente branco e mais imagens "saudáveis" de adolescentes negros.

Outros casos emblemáticos são apresentados, como o incidente em que o aplicativo de fotos do Google etiquetou pessoas negras como "gorilas", além da associação racista da Casa Branca a termos pejorativos no Google Maps durante o mandato de Barack Obama. Esses episódios são analisados como manifestações sistêmicas da lógica algorítmica racista.

Apesar de ajustes pontuais realizados pelo Google após denúncias públicas, a autora argumenta que as soluções permanecem superficiais. E que o Google sempre nega responsabilidade ou intenção de causar dano, mas consegue "ajustar" ou "consertar" essas aberrações ou "falhas" em seus sistemas, mas que ainda imagens de americanos brancos são reiteradamente apresentadas nas imagens do Google e em seus resultados para reforçar a superioridade e aceitabilidade mainstream da brancura como o "bem" padrão para o qual todos os outros são feitos invisível.

Com a continuação da pesquisa, conta a pesquisadora que, com o passar do tempo e do fortalecimento de pautas feministas, o Google modificou o algoritmo para buscas com os termos “mulheres negras” perfazendo resultados com menor interface com temas pornográficos.

A indagação crucial a ser realizada é como são obtidos esses estereótipos em primeiro lugar e o que as consequências concomitantes dos estereótipos raciais e de gênero em termos de danos públicos para pessoas que são alvos de tal deturpação.

O objetivo do livro é aprofundar a exploração de alguns desses processos digitais de construção de sentido e como eles se tornaram tão fundamentais para a classificação e organização da informação, e a que custo. Implicações da inteligência artificial para pessoas que já são sistematicamente marginalizadas e oprimidas.

É necessária uma abordagem crítica interdisciplinar que envolva estudos de gênero, raça, mídia e ciência da informação. A autora encoraja a todos a buscar conhecimentos e reconsiderar as possibilidades e as consequências de nossa hiper dependência dessas tecnologias à medida que elas mudam e assumem mais importância.

Sem dúvida, é necessário a criação de políticas públicas robustas que assegurem a responsabilidade ética no desenvolvimento de sistemas algorítmicos para que protejam as populações marginalizadas contra danos causados por tecnologias não éticas.

É urgente repensar a relação da sociedade com as tecnologias de informação e soluções que promovam maior equidade no acesso e na representação da informação no ambiente digital contemporâneo.

Influência das informações dispostas no mundo digital podem influenciar a tomada de decisão das pessoas e propagar preconceitos, viéses discriminatórios e ideologias misóginas.

Texto-base: SWEENEY, Latanya. Discrimination in Online Ad Delivery. Communications of the ACM, v. 56, n. 5, p. 44–54, maio de 2013.

O artigo Discrimination in Online Ad Delivery, de autoria da cientista da computação e pesquisadora em ética digital Latanya Sweeney, é resultado de uma investigação empírica e crítica que revela a forma como mecanismos algorítmicos de entrega de anúncios online, especialmente aqueles operados pelo Google, reproduzem e amplificam estereótipos raciais profundamente enraizados na cultura norte-americana. A pesquisa destaca o impacto desproporcional de anúncios sugerindo antecedentes criminais quando nomes racialmente marcados como negros são utilizados em pesquisas na internet, em comparação com nomes identificados como pertencentes a brancos.

A autora parte de um experimento sistemático que consistiu na análise de 2.184 nomes completos coletados por meio de bases como o National Bureau of Economic Research (NBER) e o PeekYou.com. Esses nomes foram classificados segundo marcadores raciais amplamente utilizados em estudos sociológicos (como Latisha, Darnell, Jermaine, em contraste com Emily, Brad, Geoffrey). Os nomes foram testados em motores de busca como Google.com e Reuters.com, ambos parceiros comerciais na exibição de publicidade programática via Google Ads. O foco era identificar os padrões de exibição de anúncios associados a serviços de verificação de antecedentes e registros criminais.

Os resultados obtidos são contundentes: mais de 80% dos anúncios exibidos para nomes marcadamente negros faziam referência a prisões ou antecedentes criminais, enquanto os mesmos anúncios apareciam em menos de 30% dos casos quando se tratava de nomes identificados como brancos. A análise estatística revelou um nível elevado de significância, com p-value < 0,001, o que elimina a possibilidade de que os padrões identificados sejam produto do acaso.

Sweeney aprofunda sua análise examinando os mecanismos técnicos e econômicos por trás da entrega desses anúncios. O Google Ads funciona por meio de um sistema de leilão em tempo real, no qual anunciantes submetem múltiplos templates para o mesmo link publicitário. O algoritmo, então, seleciona qual versão do anúncio será exibida com base na probabilidade de clique, medida historicamente. Isso cria um sistema de retroalimentação onde anúncios mais sensacionalistas ou com apelo discriminatório — ainda que sutis — passam a ser priorizados, não por intenção explícita do anunciante ou da plataforma, mas por resposta agregada do comportamento coletivo dos usuários.

O problema, como aponta a autora, não reside apenas na inteligência artificial como ferramenta técnica, mas em sua profunda subordinação aos incentivos de mercado e ao comportamento social preconceituoso já existente. Os algoritmos, embora matematicamente sofisticados, aprendem a partir de dados históricos que carregam consigo estruturas sociais desiguais. O risco, portanto, é que esses sistemas acabem por consolidar e escalar discriminações que antes se manifestavam em interações humanas individuais, agora amplificadas pela velocidade, pelo alcance e pela invisibilidade da operação algorítmica.

Outro ponto de destaque é o questionamento do que se entende por “neutralidade tecnológica”. Ao mostrar que os resultados são sensíveis à marcação racial dos nomes, Sweeney revela que não há neutralidade real nos sistemas de ranqueamento. A linguagem computacional, embora formalmente neutra, está inserida num contexto de produção social, ideológica e política. A ideia de que “é o público quem decide o que aparece” é descontruída ao se mostrar que os próprios parâmetros de decisão algorítmica são programados por humanos, calibrados por dados enviesados, validados por interesses comerciais e legitimados por uma aparência de objetividade científica.

O artigo também toca em questões estruturais, como a opacidade dos sistemas algorítmicos, a falta de accountability por parte das big techs e o vazio normativo sobre práticas de discriminação digital. Sweeney salienta que o Google, mesmo após ser confrontado com os resultados, negou qualquer viés intencional e se esquivou de responsabilidade, baseando-se na retórica da automatização e na aparente ausência de intencionalidade discriminatória. No entanto, o artigo é claro ao mostrar que a ausência de intenção não significa ausência de responsabilidade, e que os efeitos sociais dos sistemas algorítmicos são tangíveis, duradouros e muitas vezes danosos à reputação e à dignidade de pessoas reais.

O texto se insere, portanto, em um campo emergente da literatura crítica em ciência da computação e em direitos civis, ao propor que os sistemas de inteligência artificial e automação não podem ser dissociados dos impactos que produzem nas vidas das pessoas — principalmente daquelas que já se encontram em posição de vulnerabilidade social. As conclusões de Sweeney fundamentam a necessidade de uma intervenção regulatória séria e multissetorial, que una direito, ciência da computação, ética e políticas públicas para enfrentar os novos desafios de um mundo digital estruturalmente desigual.

Por fim, o estudo representa não apenas uma denúncia técnica, mas um chamado ético e político: não basta corrigir algoritmos, é preciso corrigir as lógicas estruturais que os alimentam. A discriminação digital, ainda que silenciosa e automatizada, é uma forma moderna de exclusão, cujas consequências são concretas e devem ser enfrentadas com a mesma seriedade que outras formas de discriminação institucionalizadas.

O artigo de Latanya Sweeney é paradigmático ao lançar luz sobre uma nova fronteira da violação de direitos fundamentais: a discriminação algorítmica silenciosa e automatizada, que ocorre em espaços digitais mediados por interesses corporativos e por uma suposta neutralidade técnica. A partir da análise crítica da entrega de anúncios online, especialmente em plataformas como Google Ads, o estudo impõe ao campo jurídico o desafio de repensar conceitos como intenção discriminatória, responsabilidade civil objetiva, liberdade de informação e neutralidade da rede, à luz das transformações tecnológicas contemporâneas.

1.   Redefinição do conceito de "ato discriminatório" no contexto digital O ordenamento jurídico brasileiro, assim como outros sistemas ocidentais, tradicionalmente exige a identificação de uma ação humana intencional para caracterizar a prática discriminatória. O estudo de Sweeney rompe com essa lógica ao demonstrar que não é necessária a vontade consciente de discriminar para que o resultado discriminatório ocorra — e que, em sistemas algorítmicos, muitas vezes a opressão é estrutural, emergente e sistêmica. Isso coloca em xeque o modelo jurídico centrado no dolo ou na culpa subjetiva, abrindo espaço para uma releitura das responsabilidades com base nos efeitos concretos da prática automatizada.

2.   Responsabilidade civil por danos digitais e a teoria do risco da atividadeDiante da demonstração empírica do viés racial nas entregas de anúncios, é juridicamente plausível sustentar que as big techs devem responder com base na responsabilidade civil objetiva, fundamentada no risco da atividade (art. 927, parágrafo único, do Código Civil). Quando empresas obtêm lucro a partir da exploração de dados pessoais e da oferta de serviços publicitários, devem ser responsabilizadas pelos efeitos discriminatórios de seus algoritmos, independentemente de intenção.

3.   Aplicabilidade da LGPD à discriminação algorítmica (Lei 13.709/2018) O artigo 6º da LGPD traz como princípios da atividade de tratamento de dados pessoais a finalidade, necessidade, transparência e não discriminação. Nesse contexto, a exibição automatizada de anúncios discriminatórios pode configurar violação à lei, sobretudo se envolver tratamento automatizado de dados sensíveis (como nome e marcador racial presumido) sem salvaguardas técnicas adequadas para prevenir discriminação indireta. Ainda que o nome, isoladamente, não seja considerado dado sensível, sua associação a perfis raciais e seu uso reiterado em filtros publicitários podem configurar, em conjunto, uma forma de segmentação abusiva.

4.   Conflito entre liberdade econômica e proteção da dignidade humana O caso analisado evidencia a tensão entre o direito à liberdade comercial e de publicidade (garantido constitucionalmente) e os direitos fundamentais à igualdade, à imagem e à não discriminação. Tal conflito impõe ao Direito Constitucional a tarefa de aplicar o princípio da ponderação, nos moldes da jurisprudência do STF, priorizando a proteção de grupos vulneráveis quando houver colisão entre direitos. Isso exige uma interpretação teleológica e não meramente formalista da liberdade econômica, considerando os efeitos sociais das práticas de mercado baseadas em algoritmos.

5.   Regulação algorítmica e accountability institucional. O artigo aponta para a urgência de uma regulação pública eficaz dos sistemas de decisão automatizada, com ênfase na auditoria técnica independente, transparência algorítmica e obrigação de reportar vieses sistemáticos. O projeto de lei do Marco Legal da Inteligência Artificial (PL 2338/2023), em tramitação no Congresso Nacional, já propõe algumas dessas medidas. No entanto, a experiência descrita por Sweeney exige ir além: propõe-se a criação de agências de fiscalização e reparação com enfoque em justiça algorítmica e equidade tecnológica, capazes de atuar em parceria com defensorias públicas e movimentos sociais.

Trapped in the Search Box: An Examination of Algorithmic Bias in Search Engine Autocomplete Predictions

Artigo: Trapped in the Search Box: An Examination of Algorithmic Bias in Search Engine Autocomplete Predictions

Autores: Cong Lin, Yuxin Gao, Na Ta, Kaiyu Li e Hongyao Fu Publicado em: 2023

O artigo de Lin et al. (2023) analisa criticamente a presença e a reprodução de viés algorítmico em sistemas de predição automática de motores de busca — mais especificamente, nos mecanismos de autocomplete de plataformas como Google, Bing e Baidu. O objetivo principal é revelar como tais tecnologias, amplamente naturalizadas no uso cotidiano da internet, atuam como vetores sutis e eficazes na reprodução de estereótipos prejudiciais, especialmente contra minorias raciais, sexuais e de gênero.

A pesquisa parte da constatação de que os sistemas de sugestão automática, ao anteciparem e completarem termos de busca inseridos pelo usuário, não apenas refletem o que foi mais buscado, mas também organizam a experiência informacional do usuário, direcionando-o para determinados conteúdos e moldando sua percepção da realidade social. Como o campo de interação se dá entre o sujeito e a “caixa de busca”, os autores cunham o conceito de “aprisionamento semântico” (trapped in the search box), no qual a autonomia do usuário é limitada por um universo de possibilidades enviesadas e normativamente estruturadas pelo algoritmo.

Metodologicamente, os autores realizam uma auditoria algorítmica com base em um corpus de 106.643 predições de autocompletar, geradas a partir de combinações de termos como "why are [grupo social] so...". A amostragem abrangeu quatro grupos sociais: (1) negros e brancos; (2) homens e mulheres; (3) homossexuais e heterossexuais; (4) asiáticos. As predições foram extraídas de três motores de busca globais: Google, Bing e Baidu. Em seguida, as sugestões foram analisadas utilizando o Perspective API (ferramenta desenvolvida pela Jigsaw/Google), capaz de atribuir um escore de toxicidade aos termos, indicando a probabilidade de conotação ofensiva, preconceituosa ou negativa.

Os resultados indicaram de forma inequívoca que as predições relativas a grupos marginalizados (ex: “black people”, “gay people”, “Asian women”) tendem a apresentar índices mais altos de toxicidade do que as direcionadas a grupos historicamente privilegiados (ex: “white people”, “straight people”). Termos como “why are black people so loud” ou “why are women so emotional” são exemplos concretos do tipo de viés identificado.

Além da mensuração do viés, os autores discutem a dimensão normativa e ética da personalização algorítmica. Embora as empresas de tecnologia argumentem que os sistemas apenas refletem os dados previamente disponíveis na web (e, portanto, os interesses do público), o estudo evidencia que os algoritmos não apenas refletem, mas amplificam discursos discriminatórios. O resultado é a reconfiguração da busca online como um espaço de reprodução de poder simbólico, onde a ideologia dominante é perpetuada em camadas invisíveis de código e estatística.

O artigo também chama atenção para o fato de que, mesmo quando algoritmos são treinados para “não ofender” — como no caso do Google —, a ausência de resultados ou o apagamento de temas críticos também pode funcionar como forma de exclusão e silenciamento epistêmico. Assim, tanto a presença quanto a ausência de determinados conteúdos sugerem um desequilíbrio informacional com impactos reais na formação de opinião, autoimagem e acesso a informações por parte de grupos vulneráveis.

Os resultados empíricos da pesquisa revelaram disparidades relevantes no comportamento dos diferentes mecanismos de busca analisados, confirmando a hipótese de que sistemas de predição automática de texto podem incorporar e reproduzir vieses sociais preexistentes, ainda que com variações em sua intensidade e expressão conforme a plataforma.

No caso do Google, observou-se a menor incidência de predições com alto grau de toxicidade, o que sugere a existência de camadas robustas de moderação algorítmica e filtros de segurança semântica mais avançados. Tais mecanismos aparentam estar orientados por diretrizes institucionais de conformidade com padrões éticos e comerciais de não exposição a conteúdos ofensivos. No entanto, mesmo com essa filtragem, foram identificadas ocorrências significativas de viés estrutural, especialmente quando os termos de busca se referiam a grupos historicamente marginalizados. Isso demonstra que a moderação pode atenuar a forma do preconceito, mas não o elimina de modo integral, sobretudo quando os dados de treinamento e as práticas de ranqueamento continuam fundados em padrões historicamente excludentes.

Já o Bing, motor de busca operado pela Microsoft, apresentou uma maior prevalência de sugestões com conteúdo ofensivo e discriminatório, com menor rigor nos mecanismos de filtragem. As predições ofensivas eram mais visíveis, diretas e menos moderadas, sugerindo que o modelo de autocomplete da plataforma opera com menor sensibilidade ética e sem protocolos técnicos capazes de conter manifestações explícitas de toxicidade. Isso faz do Bing um ambiente potencialmente mais vulnerável à perpetuação e disseminação de discursos estigmatizantes.

O Baidu, principal motor de busca utilizado na China, apresentou um quadro particularmente preocupante no tocante à reprodução de estereótipos contra minorias raciais e sexuais, especialmente asiáticos não hegemônicos e indivíduos LGBTQIA+. As sugestões de autocompletar nesta plataforma continham conteúdos fortemente associados a representações patologizantes, exotizantes e, por vezes, abertamente hostis, reforçando estigmas sociais e normativos que sustentam formas de exclusão institucionalizadas. A toxicidade identificada nas sugestões se alinha, de maneira crítica, à ausência de políticas públicas e empresariais voltadas à proteção da diversidade e à promoção de direitos humanos no contexto digital local.

De modo transversal, o estudo apontou que todos os mecanismos de busca — independentemente da empresa ou da região geográfica — apresentaram intensificação do viés semântico quando os termos de busca estavam relacionados a temas como comportamento, sexualidade e aparência física. Essa tendência é especialmente acentuada em relação às mulheres, que se mostraram o grupo mais exposto a predições pejorativas, sexistas e desumanizantes, frequentemente associadas a julgamentos morais, atributos corporais depreciativos ou comentários emocionalmente estigmatizantes. A interseção entre gênero e outras categorias sociais (como raça e sexualidade) demonstrou ainda mais potencial de toxicidade nos resultados, confirmando o caráter interseccional do viés algorítmico identificado.

O estudo conduzido por Lin et al. (2023) lança luz sobre uma dimensão frequentemente negligenciada no campo jurídico: os efeitos jurídicos e sociais das decisões automatizadas de predição textual nos motores de busca. A pesquisa expõe como os sistemas de autocomplete — aparentemente neutros e assistenciais — podem se converter em instrumentos sofisticados de reprodução de estigmas sociais, sobretudo aqueles ligados a gênero, raça e orientação sexual. A partir desse diagnóstico, o artigo suscita diversas contribuições críticas ao Direito, especialmente nas áreas de proteção de dados, responsabilidade civil, regulação da inteligência artificial e teoria dos direitos fundamentais.

A despersonalização da discriminação e o novo paradigma da responsabilidade algorítmica

A principal provocação jurídica do texto está na constatação de que a discriminação algorítmica não depende da intenção humana direta, mas pode ser o produto de sistemas de aprendizado estatístico construídos com base em dados enviesados. Tal constatação desafia os paradigmas clássicos de responsabilidade, especialmente o modelo subjetivista baseado em dolo ou culpa. No lugar disso, impõe-se uma leitura objetiva, sistêmica e funcional da responsabilidade civil, baseada nos efeitos danosos concretos produzidos por sistemas automatizados.

No ordenamento brasileiro, a teoria do risco da atividade (art. 927, parágrafo único do Código Civil) e a responsabilidade solidária de controladores e operadores de dados prevista na Lei Geral de Proteção de Dados (LGPD – Lei 13.709/2018) fornecem bases normativas para responsabilizar empresas que operam mecanismos discriminatórios, mesmo sem culpa direta. Isso inclui, por exemplo, a exibição reiterada de sugestões ofensivas para determinados grupos sociais, configurando violação à imagem, honra e igualdade.

Reinterpretação constitucional do direito à informação

O estudo também reabre a discussão sobre o alcance do direito à informação (art. 5º, XIV da CF/88) frente à atuação privada de plataformas digitais. Se por um lado os buscadores ampliam o acesso ao conhecimento, por outro lado, sua arquitetura algorítmica modela o que é buscado, como é buscado e como é compreendido. As sugestões automáticas, quando enviesadas, limitam a pluralidade informacional e promovem uma visão hegemônica do mundo, atentando contra a autodeterminação informativa.

Nesse contexto, o autocomplete torna-se um ato informacional com consequências jurídicas, cujos impactos podem ser analisados sob a ótica do pluralismo democrático, do direito à verdade e da não discriminação — princípios basilares da Constituição Federal.

O desafio da transparência algorítmica e a explicabilidade como dever jurídico

O artigo evidencia que os algoritmos de predição operam como “caixas-pretas”, invisibilizando as escolhas normativas embutidas em sua lógica operacional. Diante disso, ganha força o debate sobre a necessidade de exigência legal de transparência e auditabilidade dos sistemas automatizados, inclusive os utilizados por empresas privadas de tecnologia. O art. 20 da LGPD, por exemplo, reconhece o direito do titular de dados a solicitar a revisão de decisões tomadas exclusivamente por processamento automatizado.

A proposta de Lin et al. reforça a ideia de que, para além da revisão, deve-se assegurar o acesso à lógica dos sistemas (explicabilidade), sua avaliação prévia de impactos discriminatórios e o dever de mitigação de vieses conhecidos, como parte de uma nova governança regulatória da IA centrada em direitos.

Direito antidiscriminatório e interseccionalidade digital

Ao revelar que mulheres, negros e homossexuais são os grupos mais afetados pela toxicidade algorítmica, o artigo fortalece a leitura interseccional da desigualdade, que deve ser considerada pelo direito antidiscriminatório. A convergência entre múltiplos marcadores sociais (ex: raça e gênero) acentua a exposição ao dano, demandando critérios diferenciados de proteção e de responsabilização — tanto no plano da reparação quanto na elaboração de políticas públicas digitais.

Essa abordagem interseccional também deve informar o modelo de regulação algorítmica brasileiro, exigindo que leis futuras (como o PL 2338/2023 — Marco Legal da IA) contemplem não apenas princípios genéricos de não discriminação, mas obrigações concretas de justiça informacional com foco em grupos historicamente vulnerabilizados.

REFERÊNCIAS

GAO, Yuxin; LIN, Cong; TA, Na; FU, Hongyao; LI, Kaiyu. Trapped in the search box: an examination of algorithmic bias in search engine autocomplete predictions. Telematics and Informatics, v. 85, nov. 2023. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0736585323001326. Acesso em: 29 abril 2025.

NOBLE, Safiya Umoja. Algorithms of oppression: how search engines reinforce racism. New York: NYU Press, 2018.

NOBLE, Safiya. Google has a striking history of bias against Black girls. Time, 26 mar. 2018. Disponível em: https://time.com/5209144/google-search-engine-algorithm-bias-racism/. Acesso em: 29 abril 2025.

SWEENEY, Latanya. Discrimination in online ad delivery. SSRN, 28 jan. 2013. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2208240. Acesso em: 29 abril 2025.

__________________________________________________________________________________

O DTec UFMG (Grupo de Estudos em Direito & Tecnologia da Faculdade de Direito da UFMG) é um grupo de estudos registrado junto à Faculdade de Direito da UFMG e ao NIEPE/FDUFMG. O DTec realiza encontros quinzenais remotos para debater temas afetos à sua área e o DTIBR cede espaço no site e nas suas redes sociais para divulgar as atas de reuniões e editais de processo seletivo do grupo de estudos.

Por outro lado, o Centro de Pesquisa em Direito, Tecnologia e Inovação - DTIBR é uma associação civil de direito privado, dotada de personalidade jurídica própria e sem finalidade econômica. Não possui vínculo com a UFMG e, por isso, participantes do grupo de estudos DTec não são membros do DTIBR. Para maiores informações, acesse nosso FAQ.