Grupo de Estudos em Direito e Tecnologia da Universidade Federal de Minas Gerais DTEC-UFMG
Data: 01/06/2021
Relatores: Bárbara Cardoso, Débora Quaiato e Lígia Lage
INTRODUÇÃO
É inegável a utilidade da implementação de algoritmos para auxílio na execução de tarefas. Vantagens como maior rapidez e suposta precisão na tomada de decisões são argumentos positivos à implementação de ferramentas de Inteligência Artificial (IA), permitindo que a escolha algorítmica substitua o processo decisório humano. Porém, o uso indiscriminado de IA coloca em questão a discriminação algorítmica, processo que nem sempre poderá ser devidamente detectado, compreendido e explicado.
A presente reflexão se debruça sobre exemplos de discriminações algorítmicas e estudo da responsabilidade, buscando compreender como o uso de AI poderia se integrar ao sistema atual sem prejudicar direitos de personalidade consolidados. Ao longo do debate, serão levantadas questões sobre accountability, direito de explicação, impossibilidade/dificuldade extrema de explicar black box machine learning e necessidade de maiores conceituações legislativas.
TEMA 1: VIESES ALGORÍTMICOS
Para tratar de vieses algorítmicos, devemos entender que diversos fatores confluem para o cenário final de discriminação. Conforme afirma Carlos Henrique Barth,
“Não parece possível criar uma teoria geral do viés, que permita aos engenheiros elaborar uma solução geral para a questão. A depender dos objetivos específicos e das situações concretas com as quais lidamos, o que pode ser adequado num caso pode se mostrar inadequado em outro.”
Devemos entender que os dados utilizados no treinamento de uma AI podem carregar em si vieses imperceptíveis, posto que são inerentes à forma de raciocínio humano. Como exemplo, no caso Loomis vs State, o apelante à sentença determinada com base nas previsões do algoritmo COMPAS apresentou o argumento de que não era possível conhecer qual era o database utilizado para o aprendizado do algoritmo, muito menos reconhecer como o COMPAS comparava o fato apresentado ao seu database. Neste sentido, ainda, é louvável a iniciativa de Joy Buolamwini com o projeto Algorithm Justice League, que escancara a discriminação em algoritmos de análise facial automatizada com mulheres negras, criando iniciativas para maior inclusão de imagens deste grupo nos datasets fundamentais ao aprendizado de máquinas.
É urgente que países busquem eliminar a discriminação advinda de IA e, se isso no momento ainda não é possível, há uma palpável o esforço de pesquisadores em torno de uma solução intermediária. Podemos indicar as chamadas técnicas XAI Explainable Artificial Intelligence e as Counterfactual Explanations, que tentam minimizar a discriminação e aumentar aspectos que explicam de fato o procedimento utilizado, ou seja, uma busca por maior transparência e accountability. Destacamos, porém, que novas técnicas, não vão de fato inovar o processo de tomada de decisão em IA e, portanto, que as críticas aqui apresentadas continuam pertinentes.
Indo além, há de se entender que o algoritmo não é, em si, uma entidade a ser cegamente seguida pela humanidade. Como aponta Cynthia Rudin, muitos modelos de black box machine learning são aplicados para decisões de alto risco na atualidade justamente por seus modelos sofisticados, criando a falsa sensação de maior precisão nas decisões, o que não é necessariamente verdade. Hoje, o esforço para tentar se entender decisões enviesadas de black boxes só acontece após o questionamento da máquina e, na visão da autora, esse esforço é falho, pois a própria explicação sobre o modelo não reproduz os cálculos originais realizados pelo algoritmo.
TEMA 2: ACCOUNTABILITY E NECESSIDADE DE SEGURANÇA JURÍDICA
Avançando no espectro dos vieses algorítmicos, a recepção que essas tecnologias obtém raramente leva em conta sua incapacidade de tratar adequadamente todos os contextos subjacentes às motivações humanas, que afetam mesmo as tarefas mais simples. Embora as regras do GDPR,
por exemplo, agora exijam transparência no que diz respeito à lógica envolvida na tomada de decisão algorítmica, elas não especificam qual nível de informação constitui conformidade: é a sequência matemática do algoritmo ou a argumentação substancial que deve ser esclarecida?
Na prática, isso é evidenciado quando um indivíduo é impactado por uma decisão algorítmica e não consegue determinar qual foi o motivo desta decisão. A necessidade de transparência é evidenciada no caso do Sistema Holandês de Indicação de Risco - SyRI, quando a Corte de Haia decidiu que o sistema algorítmico utilizado pelo Governo da Holanda para avaliar cidadãos quanto ao potencial de fraude financeira ou na seguridade social não era correspondente aos princípios de transparência, posto que processava dados coletados por diferentes fontes das autoridades públicas sem o conhecimento ou autorização de seus titulares para traçar perfis entre os cidadãos.
Outro exemplo de necessária explicação ao indivíduo é o caso exibido no documentário Coded Bias, em que Daniel Santos, professor do ensino fundamental em Houston/USA que já havia sido premiado inúmeras vezes como o melhor profissional do colégio, foi avaliado negativamente por um sistema (EVAAS) adotado pela escola. Ao se deparar com a avaliação abaixo da média e as consequências ocasionadas por este fato, o professor questionou em ação judicial o uso da ferramenta, principalmente quanto aos critérios utilizados.
Dito isso, à legislação brasileira faltam esclarecimentos sobre termos como “feito jurídico” e “impacto significativo sobre o indivíduo”, por exemplo, necessários ao entendimento de transparência algorítmica, falta esta que pode nos gerar insegurança jurídica quanto à transparência e responsabilidade no caso de discriminações. Isso porque o regulamento brasileiro impõe ao controlador de dados a obrigação de demonstrar o cumprimento dos princípios relativos ao tratamento de dados pessoais e atender os direitos dos titulares de dados pessoais, ou seja, há uma responsabilidade desses agentes de tratamento de dados. Assim, dentro de um contexto algorítmico, o controlador de dados deve ser considerado responsável pela tomada de decisão algorítmica e, justamente por isso, se faz necessário um trabalho de especificação por parte dos legisladores e APND, pormenorizando estes e outros conceitos.
Em interpretação ao art. 43, II, LGPD sob a ótica da responsabilidade objetiva, entende-se que esta lei é principiológica, de modo que não apresenta um rol exaustivo de condutas a serem subsumidas às normas. Desse modo, em um contexto algorítmico, a finalidade exata do processamento de dados pode permanecer indeterminada ou estar sujeita a alterações à medida que os algoritmos buscam ativamente novos propósitos para fazer uso dos dados. Esta é uma das razões pelas quais a responsabilidade a posteriori é importante no que diz respeito ao uso de algoritmos em um contexto de IA, sendo defendida por Jenn Burrell como uma das alternativas de adequação e equilíbrio da responsabilização no contexto de Big Data e processamentos de IA.
O desafio de especificação e insegurança jurídica também se apresenta na legislação europeia, local onde o termo “atividade de risco” está em discussão neste momento no parlamento através do Artificial Intelligence Act, proposta de regulação do IA por meio de risk-based regulatory approach, ou seja, as restrições e exigências aumentam conforme maiores sejam os riscos que os sistemas possam oferecer a direitos e garantias fundamentais dos indivíduos. Evidente que é um projeto ainda em tramitação, com potencial de alterações - porém, dado a forte inspiração brasileira na GDPR, resta crucial nos atentarmos para tais movimentos legislativos.
Enfim, a regulação carece de avanços elementares, é essencial tornar mais operacionalizável e fiscalizável por parte dos entes públicos capacitados tecnicamente para tal finalidade, possibilitando alcançar um caminho salutar que não ultrapasse o limiar do segredo comercial e nem ofenda direitos da personalidade.
Há, também, de se especificar as orientações aos agentes de tratamento, pois cada atividade exige um tipo de segurança e um controle em relação à IA. Assim, há de se realizar um exame cauteloso antes de se generalizar o processo de IA como algum modelo inerentemente de alto risco e discriminatório, evitando o risco de categorizar tais tecnologias como inaplicáveis a qualquer custo, caindo na mesma discriminação que buscamos extinguir dos cenários de IA e, se possível, da realidade humana.
BIBLIOGRAFIA BASE
SUNSTEIN, Cass. “Discrimination in the Age of Algorithms”. Published by Oxford University Press on behalf of The John M. Olin Center for Law, Economics and Business at Harvard Law School. The Author, 2019.
WACHTER, Sandra. “Counterfactual Explanations”. Harvard Journal of Law & Technology Volume 31, Number 2 Spring 2018.
RUDIN, Cynthia. “Stop explaining black box ML”. Nature Machine Intelligence. Vol 1. May 2019.
USA. Loomis v. Wisconsin. 881 N.W.2d 749 (Wis. 2016), cert. denied, 137 S.Ct. 2290 (2017)
BARBON, Júlia. “151 pessoas são presas por reconhecimento facial no país; 90% são negras”. Folha de São Paulo. 22 nov. 2019.
COURT OF THE HAGUE. Dutch Lawyers Committee for Human Rights & Federation of Dutch Trade Movements vs. State of the Netherlands. Case number C-09-550982-HA ZA 18-388. Date of publication 05-02-2020.
BIBLIOGRAFIA COMPLEMENTAR
BARTH, Carlos Henrique. “É Possível Evitar Vieses Algorítmicos?”. Revista de Filosofia Moderna e Contemporânea, Brasília, v.8, n.3, dez. 2020, p. 39-68. Disponível em:
<https://periodicos.unb.br/index.php/fmc/article/view/34363/28781>
BUOLAMWINI, Joy & GEBRU, Timnit. “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”. Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81:77-91, 2018. Mais em: https://www.ajl.org/about
BURRELL, Jenn. 2016. “How the machine ‘thinks’: Understanding opacity in machine learning algorithms” Big Data & Society (1): 1-12. DOI: 10.1177/2053951715622512.
CODED BIAS. Directed by Shalini Kantayya. Produced by Shalini Kantayya. Sundance Institute. Retrieved 4 February 2021.
EUROPEAN DATA PROTECTION SUPERVISOR- EDPS Opinion on the European Commission’s White Paper on Artificial Intelligence – A European approach to excellence and trust. Disponível em:
<https://edps.europa.eu/data-protection/our-work/publications/opinions/edps-opinion-european-co mmissions-white-paper_en> Acesso em: junho de 2021