Discriminação Algorítmica: Ordenação e Recomendação de Conteúdo

Grupo de Estudos em Direito e Tecnologia da Universidade Federal de Minas Gerais – DTEC - UFMG

Data: 13/05/2025

Relatores: Eliza Sabino, Larissa Del Lhano e Matheus Santos.

Considerações Iniciais

Este relatório aborda a discriminação algorítmica, um tema crucial na intersecção entre direito, tecnologia e sociedade. A crescente influência dos algoritmos em nossas vidas levanta preocupações sobre vieses embutidos nesses sistemas e seus potenciais impactos discriminatórios. O cerne da questão gira em torno de como os algoritmos influenciam os usuários através do sistema de navegação e busca, recomendando conteúdos conforme sua localização, cultura, curtidas, compartilhamentos e ciclos sociais, dentre tantas outras variáveis que podem influenciar na escolha do usuário.

Desta maneira, busca-se abordar mais precisamente a temática da influência política e ideológica através da recomendação de conteúdo pelas redes sociais, levando-se em consideração principalmente o algoritmo utilizado pelo YouTube, bem como as recomendações feitas pelos buscadores online.

From Ranking Algorithms to ‘Ranking Cultures’ Investigating the Modulation of Visibility in YouTube Search Results

Resumo: Os autores investigam como os algoritmos de classificação do YouTube moldam a visibilidade do conteúdo, focando na variação dos resultados de busca ao longo do tempo. Através da análise de sete temas socioculturais, eles identificam "culturas de classificação" que refletem a interação entre fatores técnicos, práticas dos usuários e táticas dos criadores de conteúdo. O estudo destaca a influência de recursos da plataforma, como inscrições em canais, e a prevalência de conteúdo nativo do YouTube, muitas vezes controverso, nos resultados de busca. A importância do texto está em demonstrar que a classificação algorítmica não é um processo neutro, mas sim influenciado por diversos fatores, incluindo as culturas de uso da plataforma, além de se levar em conta a localização e o ciclo social do usuário.

A esfera pública automatizada

Resumo: O autor discute a transformação da esfera pública na era digital, impulsionada pela automatização de decisões por empresas como Facebook e Google. Pasquale argumenta que essa automatização, embora prometa maior participação, cria uma "sociedade de segredos" onde algoritmos opacos influenciam o fluxo de informações e podem perpetuar vieses discriminatórios. Ele propõe a responsabilização dos agentes intermediários digitais por meio de regulação, transparência algorítmica e medidas para mitigar o poder dessas empresas, como limites de lucro e direito de resposta. A relevância do texto reside em sua crítica à falta de transparência e responsabilização das plataformas digitais, e na proposição de soluções para combater a manipulação e a desinformação.

Teorias e Conceitos Principais:

●Curadoria Algorítmica Automatizada: Refere-se à substituição da mediação editorial tradicional por sistemas automatizados de ordenação e recomendação de conteúdo, guiados por critérios comerciais e padrões de comportamento do usuário.

● Caixa Preta Informacional: Representa a opacidade das decisões tomadas por algoritmos, cuja lógica de funcionamento e critérios de priorização de conteúdo são inacessíveis ao público e aos reguladores.

●Capitalismo de Plataforma: Conceito que descreve o modelo econômico das grandes plataformas digitais, sustentado pela extração massiva de dados, venda de atenção e amplificação de conteúdos com maior potencial de engajamento, mesmo que desinformativos ou sensacionalistas.

●Esfera Pública Fragmentada: Situação em que a pluralidade de vozes e perspectivas no debate público é substituída por câmaras de eco personalizadas, alimentadas por sistemas de recomendação que reforçam preferências preexistentes.

●Responsabilidade Editorial das Plataformas: Ideia de que as plataformas digitais, por exercerem controle efetivo sobre o que é visível, devem assumir deveres semelhantes aos da imprensa tradicional, incluindo responsabilidade sobre danos decorrentes da curadoria algorítmica.

Casos Estudados:

●Recomendações de conteúdo polarizador no Facebook: Pesquisas demonstram que o algoritmo da plataforma tende a amplificar discursos extremos e divisivos, especialmente durante períodos eleitorais, contribuindo para a radicalização de grupos.

●YouTube e a radicalização por recomendação: Estudos indicam que, ao seguir a trilha de vídeos recomendados, usuários podem ser levados progressivamente a conteúdos conspiratórios ou extremistas, mesmo que tenham iniciado com temas neutros.

● Disseminação de fake news nas eleições de 2018 no Brasil: O uso massivo de redes sociais e ferramentas automatizadas permitiu a circulação viral de notícias falsas, prejudicando o debate público e desequilibrando a disputa eleitoral.

● Google e a hierarquização opaca de informações: A priorização de determinados sites nos resultados de busca — baseada em critérios comerciais e de comportamento do usuário — limita o acesso a informações confiáveis e afeta a visibilidade de fontes independentes.

Conclusão:

A análise da “espera pública automatizada” reafirma a urgência de reequilibrar os poderes informacionais entre plataformas, Estado e sociedade civil. Para que a esfera pública digital continue a servir como espaço de deliberação democrática, é fundamental avançar em modelos regulatórios que combinem transparência algorítmica, curadoria humana, auditorias independentes e mecanismos de contestação. A democracia exige que os fluxos de informação deixem de ser orientados apenas por métricas de lucro e passem a refletir valores coletivos, éticos e plurais.

Auditing YouTube’s recommendation system for ideologically congenial, extreme, and problematic recommendations

Resumo: Este estudo realiza uma auditoria do sistema de recomendação do YouTube usando "sock puppets" para isolar a influência do algoritmo. A pesquisa investiga a congruência ideológica das recomendações, a extremização do conteúdo e a presença de canais problemáticos. Os resultados indicam que o algoritmo recomenda conteúdo ideologicamente similar aos usuários, com aumento da congruência para usuários de direita. Embora não encontrem aumento significativo na extremização do conteúdo, observam uma crescente proporção de recomendações de canais problemáticos, principalmente para usuários de extrema direita. A relevância deste texto reside em sua abordagem metodológica rigorosa e em seus resultados que demonstram a existência de vieses ideológicos e a recomendação de conteúdo problemático no YouTube.

1.              Teorias e Conceitos Principais:

a) Vieses Algorítmicos: A literatura destaca como os algoritmos podem perpetuar e até mesmo amplificar vieses existentes presentes nos dados utilizados para seu treinamento. Vieses podem surgir de várias fontes, incluindo dados incompletos ou não representativos, escolhas de design tendenciosas e a incorporação inadvertida de preconceitos sociais e culturais nos modelos algorítmicos.

b) Opacidade e Black Box: A falta de transparência em como os algoritmos funcionam é um tema recorrente na literatura. A complexidade e o sigilo em torno dos algoritmos tornam difícil entender como as decisões são tomadas, dificultando a identificação e a mitigação de vieses.

c) Impacto Social da Discriminação Algorítmica: Pesquisas têm demonstrado os impactos da discriminação algorítmica em diversos contextos, como contratação, justiça criminal, crédito e acesso a serviços essenciais. Esses impactos podem perpetuar desigualdades sociais e econômicas.

d) Mitigação de Vieses: A literatura também explora abordagens para mitigar vieses algorítmicos, como auditoria algorítmica, desenvolvimento de conjuntos de dados mais representativos e a incorporação de considerações éticas no design e desenvolvimento de sistemas algorítmicos.

2.              Casos Estudados:

a) O caso "Jewwatch": Em 2004, um site negacionista do Holocausto chamado "Jewwatch" apareceu entre os principais resultados de busca do Google para o termo "Jew". Este caso demonstra como algoritmos de busca podem inadvertidamente promover conteúdo odioso e antissemita, destacando a necessidade de mecanismos de moderação e rotulagem mais eficazes.

b) Viés racial na busca de imagens do Google: A busca por imagens no Google usando certos termos relacionados a pessoas negras retornava resultados que as rotulavam como "gorilas". Este incidente demonstra o viés racial presente nos dados de treinamento dos algoritmos de reconhecimento de imagem e a importância de abordar a diversidade e a representatividade nos conjuntos de dados.

c) Difusão de notícias falsas no Facebook: A proliferação de notícias falsas durante as eleições presidenciais dos EUA em 2016, como a falsa notícia de que o Papa havia endossado Donald Trump, destaca o papel das plataformas digitais na disseminação de desinformação. A arquitetura das plataformas, que prioriza o engajamento e a viralização, pode facilitar a disseminação de conteúdo falso, com consequências potencialmente graves para o processo democrático.

d) Interferência em eleições via Wikileaks: O vazamento de e-mails da campanha de Hillary Clinton pelo Wikileaks durante as eleições de 2016 levantou questões sobre o papel das plataformas digitais na interferência eleitoral. Embora o Wikileaks se apresente como uma organização que promove a transparência, o caso demonstra como plataformas podem ser usadas para disseminar informações de forma seletiva e manipulada, com o objetivo de influenciar o resultado de eleições.

e) Recomendação de conteúdo extremista no YouTube (Haroon et al., 2023): O estudo de Haroon et al. demonstra como o algoritmo de recomendação do YouTube pode direcionar usuários, especialmente aqueles com inclinações de direita, para conteúdo extremista e conspiratório. Embora a porcentagem de recomendações problemáticas seja pequena, sua presença reiterada ao longo da trilha de recomendações pode reforçar visões extremistas e contribuir para a radicalização. Este caso destaca a necessidade de maior transparência e controle sobre os algoritmos de recomendação.

f) Vieses de Gênero em Anúncios de Emprego : Este estudo revelou que o Google exibia anúncios de empregos de alta remuneração com mais frequência para homens do que para mulheres. Isso demonstra como vieses algorítmicos podem perpetuar desigualdades de gênero no mercado de trabalho.

g) Discriminação Racial em Sistemas de Reconhecimento Facial: Esta pesquisa mostrou que sistemas de reconhecimento facial têm taxas de erro significativamente maiores para mulheres negras do que para homens brancos. Isso evidencia como vieses nos dados de treinamento podem levar a discriminação racial em sistemas de inteligência artificial.

h) Classificação tendenciosa em resultados de busca: Safiya Noble demonstra em seu livro como buscas por termos relacionados a mulheres negras no Google frequentemente retornavam resultados sexualizados e estereotipados. Isso ilustra como os algoritmos de busca podem reforçar preconceitos raciais e de gênero, afetando a percepção e a representação de grupos marginalizados.

i) Manipulação algorítmica em eleições: A disseminação de notícias falsas e propaganda política direcionada por meio de plataformas digitais, como Facebook e Twitter, tem sido apontada como um fator de influência em eleições em diversos países. Este caso destaca os riscos da manipulação algorítmica para a democracia.

Esses casos de estudo, ilustram a amplitude e a complexidade da discriminação algorítmica, afetando diferentes áreas da vida social, desde o acesso à informação até oportunidades de emprego e o próprio processo democrático. A análise desses casos reforça a urgência de se desenvolver soluções eficazes para combater esse problema, envolvendo atores como as plataformas digitais, governos, pesquisadores e a sociedade civil.

3.              Comparativo e Impacto no Mundo Atual:

Os três textos analisados oferecem um quadro convergente e preocupante sobre o impacto dos algoritmos na sociedade atual. Embora abordem diferentes aspectos da questão, todos concordam que a crescente influência dos algoritmos na esfera pública online apresenta desafios significativos para a democracia, a liberdade de expressão e a igualdade.

a) Opacidade Algorítmica e "Caixa Preta": Os três textos destacam a opacidade dos algoritmos como um fator crucial na perpetuação de vieses e na dificuldade de responsabilizar as plataformas digitais. Essa "caixa preta" algorítmica, como descrita por Pasquale (2017), impede que usuários e pesquisadores compreendam plenamente como as decisões são tomadas, dificultando a identificação e a correção de discriminação. No mundo atual, essa opacidade se traduz em falta de transparência sobre como as informações são classificadas, filtradas e recomendadas, afetando o que vemos, lemos e com quem interagimos online.

b) Vieses Algorítmicos e Polarização: Os textos convergem na constatação de que os algoritmos podem amplificar vieses existentes, contribuindo para a polarização e a segregação online. Haroon et al. (2023) demonstram empiricamente como o algoritmo de recomendação do YouTube pode direcionar usuários para conteúdo ideologicamente congruente e até mesmo extremista, reforçando suas crenças preexistentes e limitando a exposição a perspectivas diversas. Rieder et al. (2018) mostram como as "culturas de classificação" favorecem certos tipos de conteúdo, muitas vezes controverso, que podem exacerbar as divisões sociais e políticas. No mundo de hoje, isso se manifesta na proliferação de "bolhas de filtro" e "câmaras de eco", onde as pessoas são expostas principalmente a informações que confirmam suas próprias visões, dificultando o diálogo e o entendimento mútuo.

c) Manipulação e Desinformação: Pasquale (2017) alerta para os riscos da manipulação algorítmica e da disseminação de desinformação, especialmente no contexto das eleições. A facilidade com que notícias falsas e propaganda política podem ser difundidas por meio das plataformas digitais, amplificadas por algoritmos que priorizam o engajamento, representa uma ameaça à integridade do processo democrático. A pesquisa de Rieder et al. (2018) sobre as "culturas de classificação" mostra como a busca por cliques e visualizações pode levar à disseminação de conteúdo enganoso e sensacionalista. No mundo atual, a desinformação se tornou um problema generalizado, minando a confiança nas instituições e dificultando a tomada de decisões informadas.

d) Concentração de Poder e "Capitalismo Comunicativo": Pasquale (2017) critica a concentração de poder nas mãos de poucas megaempresas digitais, que controlam as plataformas que moldam a esfera pública online. Esse "capitalismo comunicativo", onde o lucro e o engajamento são priorizados em detrimento do interesse público, cria um ambiente propício à manipulação e à exploração dos usuários. Rieder et al. (2018) demonstram como essa dinâmica se manifesta nas "culturas de classificação", que favorecem os interesses comerciais das plataformas. No contexto atual, essa concentração de poder levanta questões sobre a liberdade de expressão, a privacidade e a própria estrutura da democracia na era digital.

4.              Resultados

Os resultados conjuntos dos estudos de Pasquale (2017), Rieder et al. (2018) e Haroon et al. (2023) convergem para uma compreensão mais profunda dos mecanismos e das consequências da discriminação algorítmica, particularmente no contexto das plataformas digitais e da esfera pública online. De forma sintética, as principais descobertas conjuntas são:

● Influência Algorítmica na Esfera Pública: Os algoritmos desempenham um papel central na modulação da visibilidade e do acesso à informação na esfera pública online, transformando a dinâmica da comunicação e do debate público. A automatização de decisões antes tomadas por humanos cria uma “caixa preta” onde a lógica de funcionamento dos algoritmos é opaca e inacessível ao escrutínio público.

● Vieses e Congruência Ideológica: Os algoritmos, especialmente os sistemas de recomendação, tendem a reforçar vieses existentes e promover a congruência ideológica, expondo os usuários a conteúdos que se alinham com suas preferências preexistentes. Isso contribui para a formação de "bolhas de filtro" e limita a exposição a perspectivas diversas, exacerbando a polarização política e social. A pesquisa de Haroon et al. (2023) destaca que esse efeito é mais pronunciado entre usuários de direita no YouTube.

● Recomendação de Conteúdo Problemático: Os sistemas de recomendação, como o do YouTube, podem expor os usuários a conteúdo problemático, como vídeos extremistas, conspiratórios e desinformativos. Embora a proporção dessas recomendações seja geralmente pequena, sua presença, especialmente ao longo da trilha de recomendações, levanta preocupações sobre a radicalização e os impactos na saúde da esfera pública online.

● Ascensão de "Culturas de Classificação": A pesquisa de Rieder et al. (2018) revela a emergência de "culturas de classificação" que moldam a visibilidade do conteúdo online. Essas culturas refletem a interação complexa entre fatores técnicos, práticas dos usuários e táticas dos criadores de conteúdo. Plataformas como o YouTube favorecem conteúdo nativo, muitas vezes controverso e sensacionalista, que se destaca em termos de engajamento e visibilidade, superando, em alguns casos, as fontes tradicionais de informação.

● Falta de Transparência e Responsabilização: A opacidade dos algoritmos e a falta de transparência das plataformas digitais dificultam a identificação, a análise e a correção de vieses. Essa falta de responsabilização permite que a discriminação algorítmica ocorra de forma sutil e disseminada, com consequências potencialmente graves para os indivíduos e para a sociedade.

● Necessidade de Regulação e Intervenção: Os resultados conjuntos dos estudos reforçam a necessidade de regulação, auditoria independente, mecanismos de feedback e educação midiática para combater a discriminação algorítmica e promover um ambiente digital mais justo e equitativo. A intervenção de governos, órgãos reguladores e da sociedade civil é crucial para garantir que os algoritmos sirvam ao interesse público e não apenas aos interesses comerciais das plataformas digitais.

Esses resultados, em conjunto, oferecem um retrato abrangente dos desafios e das complexidades da discriminação algorítmica, fornecendo um ponto de partida para o desenvolvimento de soluções eficazes e para a construção de um futuro digital mais justo e democrático.

5.              Implicações e soluções

A discriminação algorítmica apresenta um desafio complexo que exige uma abordagem multifacetada. As plataformas digitais têm a responsabilidade de desenvolver e implementar algoritmos justos e transparentes. Governos e órgãos reguladores devem criar mecanismos de supervisão e responsabilização para garantir que as plataformas cumpram com seus deveres. A sociedade civil precisa se engajar na discussão sobre ética algorítmica e exigir maior transparência e responsabilidade das empresas de tecnologia, com soluções diversas, tais como:

● Transparência: Exigir maior transparência dos algoritmos e dos dados utilizados para seu treinamento.

● Auditoria: Realizar auditorias independentes para identificar e corrigir vieses algorítmicos.

● Regulação: Implementar regulações que responsabilizem as plataformas por práticas discriminatórias.

● Educação Midiática: Promover a educação midiática para que os usuários compreendam como os algoritmos funcionam e possam identificar conteúdo tendencioso.

● Diversificação: Incentivar a diversificação das fontes de informação e o desenvolvimento de algoritmos que promovam a exposição a diferentes perspectivas.

Apesar do crescente corpo de pesquisa sobre discriminação algorítmica, ainda existem lacunas significativas na literatura:

● Mensuração de Vieses: A mensuração de vieses algorítmicos é um desafio metodológico complexo. Mais pesquisas são necessárias para desenvolver métricas robustas e padronizadas para avaliar a imparcialidade dos algoritmos.

● Impacto em Grupos Interseccionais: A literatura precisa abordar de forma mais abrangente os impactos da discriminação algorítmica em grupos que enfrentam múltiplas formas de discriminação, como mulheres negras, pessoas LGBTQ+ e pessoas com deficiência.

● Soluções Eficazes: Embora existam várias abordagens propostas para mitigar vieses algorítmicos, mais pesquisas são necessárias para avaliar sua eficácia e desenvolver soluções abrangentes e sustentáveis.

6.               Conclusão

A interseção entre algoritmos, plataformas digitais e a esfera pública contemporânea apresenta um cenário complexo e desafiador, conforme evidenciado pelos textos de Pasquale (2017), Rieder et al. (2018) e Haroon et al. (2023). A crescente influência dos algoritmos na mediação da informação e na formação de opiniões levanta preocupações significativas sobre vieses, manipulação e seus impactos na democracia e na sociedade como um todo.

Pasquale (2017) argumenta que a automatização das decisões na esfera pública, antes tomadas por humanos, cria uma "sociedade de segredos" onde algoritmos opacos moldam o fluxo de informações e podem perpetuar vieses discriminatórios. A falta de transparência e responsabilização das plataformas digitais, como Facebook e Google, agrava esse problema, permitindo a disseminação de notícias falsas, a manipulação de eleições e a formação de bolhas de filtro. A fragmentação do público, por sua vez, confere às megaempresas digitais um poder sem precedentes sobre a atenção e a influência, exacerbando os riscos da manipulação algorítmica.

Rieder et al. (2018) aprofundam essa discussão, investigando a dinâmica das “culturas de classificação” no YouTube. Sua pesquisa demonstra como fatores técnicos, práticas dos usuários e táticas dos criadores de conteúdo se entrelaçam na modulação da visibilidade online. A análise de diferentes buscas revela a influência de características da plataforma, como as inscrições em canais, e a prevalência de conteúdo nativo do YouTube, muitas vezes controverso e sensacionalista, nos resultados de busca. Esse cenário favorece "niche entrepreneurs" que prosperam na controvérsia e no dissenso, muitas vezes superando as fontes tradicionais de informação em termos de alcance e visibilidade. A pesquisa destaca a complexidade da classificação algorítmica e a dificuldade de atribuir causalidade direta a fatores isolados, reforçando a necessidade de abordagens mais holísticas e descritivas.

Haroon et al. (2023) complementam essa perspectiva com uma auditoria em larga escala do sistema de recomendação do YouTube. Seus resultados demonstram que o algoritmo tende a recomendar conteúdo ideologicamente congruente com as preferências dos usuários, contribuindo para a formação de "bolhas de filtro". Além disso, a pesquisa revela um aumento na proporção de recomendações de canais problemáticos, especialmente para usuários de direita, embora a porcentagem total permaneça relativamente baixa. Essa exposição, mesmo que limitada, a conteúdo extremista, conspiratório e desinformativo levanta preocupações sobre a radicalização e a erosão da confiança em fontes de informação confiáveis.

Em conjunto, os três textos apontam para um cenário preocupante onde a opacidade dos algoritmos, a busca por engajamento a qualquer custo e a fragmentação do público convergem para criar um ambiente propício à manipulação, à polarização e à disseminação de desinformação. As implicações para a democracia são profundas, demandando soluções que promovam a transparência algorítmica, a responsabilização das plataformas e o empoderamento dos usuários. A regulação, a auditoria independente, os mecanismos de feedback e a educação midiática surgem como estratégias essenciais para mitigar os riscos e promover um ecossistema digital mais justo, equitativo e democrático. A conscientização pública e o engajamento da sociedade civil são cruciais para pressionar por mudanças significativas e garantir que os algoritmos sirvam ao interesse público, e não apenas aos interesses comerciais das megaempresas digitais. A necessidade de um debate amplo e informado sobre a ética algorítmica e a governança das plataformas se faz mais urgente do que nunca, visando a construção de um futuro digital que promova a democracia, a diversidade e o bem-estar social.

REFERÊNCIAS

HAROON, Muhammad; WOJCIESZAK, Magdalena; CHHABRA, Anshuman; LIU, Xin; MOHAPATRA, Prasant; SHAFIQ, Zubair. Auditing YouTube’s recommendation system for ideologically congenial, extreme, and problematic recommendations. Proceedings of the National Academy of Sciences of the United States of America, v. 120, n. 50, e2213020120, dez. 2023. Disponível em: https://doi.org/10.1073/pnas.2213020120. Acesso em: 13 maio 2025.

PASQUALE, Frank. A esfera pública automatizada. Líbero, São Paulo, ano XX, n. 39, p. 16–35, jan./ago. 2017. Disponível em: https://seer.casperlibero.edu.br/index.php/libero/article/view/866/832. Acesso em: 13 maio 2025.

RIEDER, Bernhard; MATAMOROS-FERNÁNDEZ, Ariadna; COROMINA, Òscar. From ranking algorithms to ‘ranking cultures’: investigating the modulation of visibility in YouTube search results. Convergence: The International Journal of Research into New Media Technologies, v. 24, n. 1, p. 50–68, jan. 2018. Disponível em: https://doi.org/10.1177/1354856517736982. Acesso em: 13 maio 2025.

__________________________________________________________________________________

O DTec UFMG (Grupo de Estudos em Direito & Tecnologia da Faculdade de Direito da UFMG) é um grupo de estudos registrado junto à Faculdade de Direito da UFMG e ao NIEPE/FDUFMG. O DTec realiza encontros quinzenais remotos para debater temas afetos à sua área e o DTIBR cede espaço no site e nas suas redes sociais para divulgar as atas de reuniões e editais de processo seletivo do grupo de estudos.

Por outro lado, o Centro de Pesquisa em Direito, Tecnologia e Inovação - DTIBR é uma associação civil de direito privado, dotada de personalidade jurídica própria e sem finalidade econômica. Não possui vínculo com a UFMG e, por isso, participantes do grupo de estudos DTec não são membros do DTIBR. Para maiores informações, acesse nosso FAQ.