Grupo de Estudos em Direito e Tecnologia da Universidade Federal de Minas Gerais- DTEC-UFMG
Data: 17/11/2020
Relatores: Eugênio Delmaestro Corassa; Lécio Machado; Clara Gomes de Oliveira
I - Introdução
O mundo vem experimentando um aumento exponencial no uso de artefatos mecânicos e, mais recentemente, de programas computacionais e “robôs” no processo produtivo global, seja ele no setor de fornecimento de bens ou na prestação de serviços. Diversos profissionais que se apresentavam como insubstituíveis e de prestação de serviços personalíssimos já estão vendo parte de suas atividades serem substituídas de forma gradativa por programas computacionais dotados de algoritmos de inteligência artificial (que aqui chamaremos de IA).
Primeiramente, as máquinas com menos apetrechos tecnológicos são colocadas a fazer atividades perigosas, sujas ou inalcançáveis pelo homem para, em seguida, por meio de máquinas com maior aporte tecnológico, começarem a exercer também atividades “automáticas” e/ou repetitivas. As pesquisas apontam pela substituição contínua da força de trabalho pelas máquinas1. No caso da área médica, a utilização da IA levanta diversas questões, tais como a substituição gradativa de médicos humanos por programas ou robôs dotados de IA, além das consequências dessa substituição e a responsabilidade civil decorrente dos erros médicos - medical malpractice - e como a IA pode afetar os parâmetros básicos do que se considera um tratamento médico adequado.
II - Efeitos da IA no Direito Médico e na Responsabilidade Civil
Froomkin, Kerr e Pineau (2018), em seu estudo sobre os riscos da IA na responsabilidade civil - tort law - na área médica, apontam algumas hipóteses do efeito da aplicação da IA na área médica e os efeitos jurídicos dessa utilização:
● os prestadores de serviço médico que usam médicos humanos em geral, ao invés de máquinas, estarão sujeitos a um aumento de reclamações por negligência;
● haverá uma redução de demanda por médicos humanos. A própria modificação do padrão e exigência médica quanto a sua responsabilidade, aliada a um sucesso melhor dos diagnósticos por máquinas e a diminuição do custo a médio prazo, oferecerão a todos uma melhoria no serviço;
● desenvolvimento de uma “monocultura diagnóstica”, ou seja, uma padronização, apoiada pela medicina e pelo direito, de determinada abordagem mecanizada a um tipo de diagnóstico (se é este o caso, usa-se este método somente, já que entendemos ser o melhor e mais barato). Isso diminui a diversidade de diagnóstico nos colocando quase que exclusivamente em um padrão diagnóstico de uma máquina. Em algum momento, os bancos de dados de diagnósticos serão compostos basicamente por respostas de máquinas. Isso tornará os resultados não auditáveis e de difícil monitoramento evitando a detecção de anomalias;
● a possibilidade de se entender como obsoleto e desnecessário o diagnóstico humano pode levar a uma dependência excessiva da tecnologia. Assim, é possível a criação de soluções tecnológicas e uma melhor legislação a fim de minimizar e evitar os problemas da “monocultura diagnóstica”.
Dessa maneira, os autores propõem soluções para o possível cenário, tais como uma legislação médica que garanta uma participação humana significativa no diagnóstico - human on the loop. Outra tese é a criação de uma legislação que equilibre o interesse social em manter um julgamento humano em face do interesse individual do paciente em obter o melhor diagnóstico. Além disso, também destacam um possível retorno da locality rule, que leva em consideração evidências de práticas costumeiras como argumentos defensivos persuasivos em face de ações de reparação de dano envolvendo negligência médica.
Por outro lado, Zink e Chung (2017) argumentam que a regulamentação legal existente é suficiente para lidar com a inteligência artificial em seu estágio atual. Um dos objetos de seu estudo é o software de inteligência artificial "Watson for Oncology", desenvolvido pela IBM, que analisa e interpreta dados de pacientes com câncer e identifica opções de tratamento individualizadas e baseadas em evidências.
Em que pese suas extraordinárias capacidades tecnológicas, Watson não consegue internalizar ou expressar valores morais. Isso se mostra um problema, já que para uma decisão ser considerada boa e baseada em princípios, ela deve estar de acordo com alguma visão de moralidade humana.
Chung e Zing (2017) argumentam, todavia, que a moralidade não é necessária para que Watson tome uma boa decisão. O software não consegue determinar conclusões ou cursos de ação, tampouco analisar, sintetizar ou avaliar problemas médicos de maneira independente. Seu papel é de mero assistente passivo, apenas interpretando e respondendo inputs (casos e condições médicas de pacientes) externos para, então, apresentar uma gama de opções apropriadas. Mas o que acontece se algo der errado com o paciente?
Como possível solução, os autores do artigo propõem atribuir personalidade jurídica ao Watson e o fazem por meio de uma comparação entre o software e estudantes de medicina. As funções de Watson baseiam-se na coleta de informações de pacientes, análise de históricos, pesquisas e levantamentos de textos e testes de hipóteses para realizar diagnósticos e recomendações de tratamento. Suas sugestões não devem ser implementadas sem a autorização de um médico. Observa-se que estudantes de medicina desempenham as mesmas tarefas sob a supervisão de residentes e médicos titulares e, assim como Watson, não detém a autonomia e o poder de decisão destes.
Quando há dano causado ao paciente por um estudante de medicina, o médico supervisor pode ser objetiva ou subjetivamente responsabilizado. Tendo Watson os mesmos deveres e responsabilidades de um estudante de medicina na ocorrência de erros, deverá ser observada a lógica de responsabilização de negligência médica.
III - Como pensar políticas públicas para o futuro que abarquem a Inteligência Artificial?
A União Europeia, a partir de seu comitê para assuntos legais (2020), já está envolvida em discussões para propor um regime de responsabilidade civil para a inteligência artificial. Com base na proposta recentemente apresentada ao Parlamento Europeu, podemos destacar:
● Necessidade de uma legislação principiológica e a prova de mudanças tecnológicas na UE para todos os sistemas de IA;
● As regras de responsabilização envolvendo o agente - deployer - devem abranger todas as operações envolvendo sistemas de IA, não importando a localidade ou se a operação se deu de forma virtual ou física;
● Conforme o artigo 2º, a abrangência da legislação apenas abarca danos à vida, saúde, integridade física ou propriedade;
● Reconhecer que o sistema de IA utilizado pelo agente importa. É proposto um modelo de responsabilidade dúplice de acordo com o risco do sistema de IA. Sistemas de alto risco estão sujeitos à responsabilidade objetiva estrita, em que o agente é responsável,
ainda que sem culpa. No caso de sistemas de baixo risco, a responsabilidade se assemelha à subjetiva. O agente que se valer se um sistema de IA com alto risco não poderá se exonerar da responsabilidade, exceto em situações de força maior;
● O deployer é a pessoa física ou jurídica que de qualquer forma está envolvida no desenvolvimento, gerenciamento, controle ou se beneficia dos sistemas de IA que disponibilizam ao uso;
● Para que o agente possa provar que não teve culpa, os produtores daquele sistema tem o dever de colaborar com o deployer, de forma semelhante ao proposto no artigo 37 da GDPR, com a presença de um representante para a IA-Liability;
● A necessidade da instituição de um seguro obrigatório, a nível europeu, é outro ponto importante previsto para a resolução.
Ainda que não esteja em vigor, a proposta de legislação da União Europeia visa regular um âmbito extremamente complicado, aquele da IA, que pode sofrer mudanças drásticas no futuro. Vê-se, porém, que a proposta tem seu mérito em não escusar o deployer, aquele que se vale de tal tecnologia, na perspectiva de que não pode fugir de sua responsabilidade, bem como propõe uma colaboração do produtor daquela IA. Ocorre, no entanto, que a proposta esbarra no mesmo problema do direito à explicação contido na GDPR, factibilidade.
Além disso, ignora legislações setoriais nacionais e supranacionais, bem como não deixa claro quem é o deployer, a extensão de sua responsabilidade e quem está incluído ou não nessa categoria.
REFERÊNCIAS
1 Carl Benedikt Frey, Michael A. Osborne, The future of employment: How susceptible are jobs to computerisation?, Technological Forecasting and Social Change, Volume 114, 2017, Pages 254-280
CHUNG, Jason. ZINK, Amanda. Hey Watson, Can I Sue You for Malpratice? Asia Pacific Journal of Health Law & Ethics. Vol.11 No. 2, March 2018, pp.51-80.
FREY, Carl Benedikt, OSBORNE, Michael A., The future of employment: How susceptible are jobs to computerisation?, Technological Forecasting and Social Change, Volume 114, SET/2013, pp. 254-280.
FROOMKIN, A. & KERR, Ian & PINEAU, Joelle. (2018). When AIs Outperform Doctors: The Dangers of a Tort-Induced Over-Reliance on Machine Learning and What (Not) to Do About it. SSRN Electronic Journal. 10.2139/ssrn.3114347.
UNIÃO EUROPEIA. Committee on Legal Affairs. With recommendations to the Commission on a Civil liability regime for artificial intelligence. (2020/2014(INL)). in https://www.europarl.europa.eu/doceo/document/A-9-2020-0178_EN.h