Ética em IA: Investigando o Racismo Algorítmico no Reconhecimento Facial

Ana Carolina das Neves Silva da Hora Ética em IA Investigando o Racismo Algoritmico no Reconhecimento Facial TRABALHO DE CONCLUSÃO DE CURSO INFORMÁTICA Ciências da Computação Rio de Janeiro 2021 Ana Carolina das Neves Silva da Hora Ética em IA Investigando o Racismo Algoritmico no Reconhecimento Facial Trabalho de Conclusão de Curso Trabalho de Conclusão de Curso apresentado ao Departamento de Informática como parte dos requisitos necessários à obtenção do título de Bacharelado em Ciências da Computação Orientador Alberto Barbosa Raposo Rio de Janeiro 2021 Dedico aos orixás aos ancestrais a minha familiia e aos meus cachorros Agradecimentos Primeiramente aos Orixás e Ancestralidade que permitiram a continuidade em terra pela proteção e sabedoria aprendida nesse processo que é a vida A minha família pelo apoio desde que eu estava na barriga da minha mãe por todas as conversas incentivos noites não dormidas para que eu tivesse acesso aos estudos ao carinho amor compreensão e ensinamentos compartilhados ao longo da minha vida Nada disso seria possível sem vocês Aos amigos que fiz e continuo fazendo enquanto avanços nos aprendizados profes sores ativistas colegas de trabalhos amigos da vida amigos das redes sociais alo twitter todos contribuíram para este momento seria injusto citar e esquecer qualquer nome Muito obrigada Aos professores da PUCRio Gustavo Robichez e Hugo Fuks professores e amigos obrigada por não desacrediatrem de mim nos piores momentos acadêmicos e profissionais Eternamente grata Ao meu orientador Alberto Raposo pela paciência e apoio ao longo do processo Aos meus 7 cachorros que são os melhores amigos da vida madrugadas a dentro estudando juntos me acordando para as aulas da 7 da manhã e me divertindo ao longo do processo Não se podia ser um cientista calmo frio e im parcial enquanto negros eram linchados assas sinados e morriam de fome WEB Du Bois Resumo Esta Pesquisa é resultado de estudos multidisciplinares e interdisciplinares sobre o racismo algorítmico usando como base os estudos raciais na tecnologia e a área de ética em IA o Segundo estudos das áreas de ciências sociais direito design e comunicação o racismo algoritmico não é um problema técnico e sim estrutural Logo este trabalho busca argumentar este problema na computação relacionando o contexto histórico colonial com a evolução tecnológica Os possíveis caminhos de solução desse problema apresentado neste trabalho não busca objetividade neste primeiro momento a busca é o diálogo entre a Teoria Racial e Critica com a área da Ciência da Computação Palavraschave Racismo Algorítmico Vigilância Ética em IA Decolonialidade Reconhecimento Facial Abstract Ethics in AI Investigating Algorithmic Racism in Facial Recognition This Research is the result of multidisciplinary and interdisciplinary studies on algo rithmic racism based on racial studies in technology and the area of ethics in AI o According to studies in the areas of social sciences law design and communication algorithmic racism is not a technical problem but a structural one Therefore this work seeks to argue this problem in computing relating the colonial historical context with technological evolution The possible ways of solving this problem presented in this work do not seek objectivity in this first moment the search is the dialogue between Racial and Critical Theory with the area of Computer Science Keywords Algorithmic Racism Surveillance Ethics in AI Decoloniality Face Recog nition Lista de ilustrações Figura 1 Imagem do video The Coded Gaze Unmasking Algorithmic Bias 10 Figura 2 Gender Shades 11 Figura 3 Life Magazine 1941 28 Sumário 1 Introdução 9 11 Estrutura 11 12 Reconhecimento facial Uma breve introdução 12 121 O método CNN 14 2 Contexto Histórico Estudo de Raça e Tecnologia 16 21 Vigilância e Escravidão 16 22 Invisibilização De Cientistas e Intelectuais Negros Continuidade da Escravidão 17 221 EUA Segregação racial e boom tecnológico 18 222 Teoria Racial Critica 19 223 A Evolução dos estudos de raça e tecnologia 19 23 Ética em IA 20 231 Privacidade e Vigilância no Reconhecimento Facial 21 232 Manipulação do Comportamento 23 233 Opacidade no Reconhecimento Facial 23 24 Vieses no Reconhecimento facial 24 3 Racismo Algorítmico Ecos do Passado 26 31 Ecos do Passado Racismo na Fotografia EUA 26 32 Ecos do Passado Racismo no Reconhecimento fotográfico no Brasil 27 33 Ecos do Passado Racismo no Reconhecimento Facial 27 4 Decolonializando os Algoritmos 30 5 Conclusão e Próximos passos 32 Referências 33 9 1 Introdução A ciência e a tecnologia são colocadas como áreas que buscam objetividade e a verdade A partir dessa visão as áreas são colocadas como neutras ao mesmo tempo capazes de produzir soluções que impactem o mundo todo Entretanto os desenvolvedores destas soluções não representam toda a população Analisando as revoluções cientificas do século XIX a revolução industrial percebese em sua essência concentrava o poder nas mãos de poucos resultados da colonização A tecnologia sofre fortes influências dessa desigualdade de forma intencional ou não intencional as ferramentas reproduzem através de algoritmos a mesma lógica estruturada na colonização 1 A ética em IA e Robótica é a área que se preocupa em investigar essas reproduções mesmo sendo uma área considerada nova na ética aplicada tem trabalhos e pesquisas com resultados bem significativos 2 Por lidar com preocupações bem complexas que tem causado discussões éticas e políticas de seu uso ainda é uma área em desenvolvimento sem uma abordagem geral dos temas Uma das questões é o que se caracteriza como racismo algorítmico que aqui no Brasil foi elaborado pelo pesquisador Tarcizio Silva3 como Termo que dá conta dos modos pelas quais as práticas de discriminação étnico raciais estruturais econômicas políticas e afetivas São impulsionadas por tecnologias digitais e de automações criadas em uma ideologia supremacista branca no Ocidente tornando ainda mais difícil sua identificação Diante desta abordagem para exemplificar como acontece na prática a manifes tação do termo o objeto de estudo escolhido é a investigação do racismo algorítmico no reconhecimento facial Diante dos diversos questionamentos éticos e raciais levantados sobre os resultados de seus usos na sociedade Em 2018 a pesquisadora e cientista da computação Joy Buolamwini então estudante de pósgraduação do MIT criou um projeto chamado Aspire Mirror4 para rastrear movimentos de rostos através de um software de visão computacional quando ela testou não funcionou até ela colocar uma máscara branca 1 RATTS A Eu sou Atlântica sobre a Trajetória de Vida de Beatriz Nascimento Sl Impressa Oficial 2006 DAVIS A Freedom Is a Constant Struggle 2016 WEST CORNELL K C N G G P THOMAS K Critical Race Theory The Key writings that formed the movement 1995 NASCIMENTO A O Genocídio do negro brasileiro Processo de um Racismo Mascarado Sl sn 2016 NASCIMENTO A O Quilombismo Documentos de uma Militância PanAfricanista Sl sn 2019 LUAL S Racismo Estrutural Sl sn 2020 CARNEIRO A S FISCHMANN R A construção do outro como nãoser como fundamento do ser 2005 Dissertação Mestrado Universidade de São Paulo 2 COECKELBERGH M AI Ethics Mit Press 2020 Disponível em httpsmitpressmitedubooksaiethics 3 SILVA T Visão COMPUTACIONAL E RACISMO algorítmico BRANQUITUDE E OPACIDADE NO APREN DIZADO DE máquina Revista da Associação Brasileira de Pesquisadoresas Negrosas ABPN v 12 n 31 2020 ISSN 21772770 url httpsabpnrevistaorgbrindexphpsitearticleview744 4 BUOLAWMINI J The Coded Gaze Unmasking Algorithmic Bias 2018 Disponível em https wwwyoutubecomwatchv162VzSzzoPst1s Capítulo 1 Introdução 10 Figura 1 Imagem do video The Coded Gaze Unmasking Algorithmic Bias httpswwwyoutubecomwatchv162VzSzzoPs A partir deste estudo Joy se uniu a outras pesquisadoras para levantar questionamen tos as empresas responsáveis pela criação e disseminação dos códigos destes softwares Em seu trabalho posterior Gender Shades5 investigou o viés de gênero nos softwares da Face Microsoft e IBM concluindo que as ferramentas não conseguiram detectar bem mulheres e negros em seu processo de identificação o software da microsoft apresentou 936 de erro na identificação de rostos negros como exibido na figura abaixo 5 BUOLAMWINI J GEBRU T Gender Shades Intersectional Accuracy Disparities in Commercial Gender Classification In FRIEDLER S A WILSON C Ed Proceedings of the 1st Conference on Fairness Accountability and Transparency PMLR 2018 Proceedings of Machine Learning Research v 81 p 77 91 Disponível em httpsproceedingsmlrpressv81buolamwini18ahtml Capítulo 1 Introdução 11 Figura 2 Gender Shades httpgendershadesorgoverviewhtml Todas as empresas comercializavam estes softwares IBM e Microsoft pararam de desenvolver após o levantamento destes questionamentos 6 Nos EUA o debate se estendeu para outros contextos como o uso na segurança pública nos espaços públicos na educação No Brasil o debate maior é seu uso na segurança pública segundo o estuo feito pelo panóptico projeto da CESeC Centro de Estudos da Cidadania e da Segurança que monitora este uso revelou que 905 dos presos por reconhecimento facial no Brasil são negros 7 11 Estrutura Os debates éticos políticos e raciais que envolvem o uso do reconhecimento facial mostra que é necessária uma investigação multidisciplinar e interdisciplinar usando como abordagem principal os impactos na sociedade Portanto a abordagem deste trabalho buscará trazer o contexto histórico racial e o atual que envolvem o uso destas ferramentas propondo uma abordagem ética em torno do tema e não técnica Entendendo que é uma 6 HEILWEIL R Big tech companies back away from selling facial recognition to police Thats progress 11062020 Online Disponível em httpswwwvoxcomrecode202061021287194amazonmicrosoft ibmfacialrecognitionmoratoriumpolice Acesso em 08082021 7 CESEC Levantamento revela que 905 dos presos por monitoramento facial no Brasil são negros 21112019 Online Disponível em Levantamentorevelaque905 dospresospormonitoramentofacialnoBrasilsaonegros Acesso em 17082021 Capítulo 1 Introdução 12 área que está se desenvolvendo não é esperado resultados objetivos ao final deste trabalho e sim possibilidades para o debate O trabalho será apresentado da seguinte forma Capitulo 1 Introdução a pesquisa e uma breve introdução ao reconhecimento facial principais aspectos de seu funcionamento Capitulo 2 A relação histórica de estudos raciais tecnológicos e éticos Capitulo 3 Abordagem da relação histórica do racismo algorítmico e o reconheci mento facial Capitulo 4 Propondo a união da abordagem Ética e Decolonial como métodos de análise do racismo algorítmico no reconhecimento facial 12 Reconhecimento facial Uma breve introdução O reconhecimento facial corresponde a método biométrico que usa diferentes técni cas de inteligência artificial para reconhecer ou identificar rostos humanos com modelos algorítmicos A identificação facial envolve a correspondência de um para muitos que com para um rosto na consulta com vários rostos no banco de dados o objetivo é encontrar o rosto mais semelhante Em uma verificação em vídeos o requisito vai além do encontro de rosto semelhante um limite de nível de confiança ou seja acurácia é especificado e todos os rostos que alcançam proximidade deste nível são considerados 8 O desempenho de um sistema de reconhecimento facial depende amplamente de uma variedade de fatores técnicoscomo iluminação pose facial expressão idade desgaste facial cabelo viés Os fatores não técnicos não considerados na definição da tecnologia Com base nisso os sistemas podem ser divididos em duas categorias amplas em termos de cooperação de usuário 1 Cenários de usuário cooperativo Que pode ser exemplificado em aplicativos como login de computador controle de acesso a smartphones Em que o usuário é coagido a cooperar apresentando seu rosto da maneira solicitada pelo software para ter acesso ou privilégio 2 É típico de aplicações em vídeos de segurança ou vigilância o usuário não sabe que foi identificado A distância entre o rosto e a câmera reconhecimento com rosto mais próximo menos de 1 m para aplicações cooperativas é um problema menos difícil enquanto as aplicações não cooperativas de campo distante em vídeos de segurança é desafiador 8 SZLI Introduction In Handbook of Face Recognition Springer New York NY sn 2005 Disponível em httpsdoiorg10100703872725771 Capítulo 1 Introdução 13 Um sistema de reconhecimento facial geralmente consiste em 4 módulos localização ou detecção da face normalização extração de características faciais e o face match A detecção de rosto segmenta a área do rosto do fundo No caso do vídeo os rostos detectados podem precisar ser rastreados em vários quadros usando um componente de rastreamento de rosto Enquanto a detecção de rosto fornece uma estimativa aproximada da localização e escala do rosto a marcação de rosto localiza pontos de referência faciais por exemplo olhos nariz boca e contorno facial Isso pode ser realizado por um módulo de referência ou módulo de alinhamento de face A normalização da face é realizada para normalizar a face geometricamente e fotometricamente Isso é necessário porque os métodos de reconhecimento de última geração devem reconhecer imagens de rosto com pose e iluminação variadas O processo de normalização geométrica transforma a face em uma moldura padrão por meio do corte da face A distorção ou a transformação podem ser usadas para uma normalização geométrica mais elaborada O processo de normalização fotométrica normaliza a face com base em propriedades como iluminação e escala de cinza A extração de características faciais é realizada na face normalizada para extrair informações salientes que são úteis para distinguir rostos de pessoas diferentes e são robustas em relação às variações geométricas e fotométricas Aqui basicamente há uma conversão da imagem em dado possível de ser analisado e utilizado para realizar o face match No face match os recursos extraídos da face de entrada são comparados a uma ou mais faces registradas no banco de dados O matcher produz sim ou não para verificação 1 1 para identificação 1 N a saída é a identidade da face de entrada Quando a correspondência superior é encontrada com confiança suficiente ou desconhecida Quando a pontuação de correspondência de ponta está abaixo de um limite O principal desafio técnico neste estágio de reconhecimento de rosto é encontrar uma métrica de similaridade adequada para comparar características faciais e assim rea lizar a detecção As primeiras técnicas de visão computacional que abordavam detecção facial de uma maneira de cima para baixo Eles a partir de suas visões codificaram o conhecimento humano em características que veriam a se regras definidas para todo o conceito do desenvolvimento Em seguida aplicaram as regras para encontrarem valores correspondentes na analise do pixel da imagem No entanto uma série de problemas faziam parte desta abordagem Uma delas foi a tradução feita da compreensão de rostos humanos para fórmulas matemáticas restringiu a análise de um rosto somente a esta abordagem sendo que no conhecimento humano rostos podem ser refletidos de diversas maneiras Nos dias atuais com o avanço tecnológico e a centralização do processamento em dados a aprendizagem profunda redes neurais se tornou essencial para entender como comparar duas ou mais fotos para encontrar a similaridade entre elas o método que é mais usado é o de redes neurais convolucionais ou CNN Capítulo 1 Introdução 14 121 O método CNN No reconhecimento de imagens detecção de rosto reconhecimento facial CNN Convolutional Neural Networks é capaz de extrair características de dados com estruturas convolucionais Diferentemente da extração de recursos tradicionais que necessitam de extração manual Normalmente estes códigos tradicionais não são treinados ou seja a imagem tinha que ter o objeto central a ser analisado não poderia ter outros elementos senão o código não conseguiria diferenciar os objetos presentes na imagem Por isso a CNN acaba se destacando entre os métodos pois já na CNN usase um filtro nas imagens antes de treinar o reconhecimento delas depois de as filtragens estes recursos podem ser usado na classificação das imagens Na detecção facial e no reconhecimento facial cada vez que os filtros são ativados seus resultados são armazenados em camadas que cada vez mais densa ao nível de realizar a correspondência entre as imagens9 No entanto existe uma maneira de reutilizar a rede existente para treinála para classificar seu próprio conjunto de dados É chamado de aprendizagem por transferência O aprendizado por transferência é um método de aprendizado profundo usado para usar uma rede existente como ponto de partida para aprender uma nova tarefa Projetar uma nova rede otimizar a arquitetura para obter o máximo de precisão e especificar os pesos iniciais efetivos do nó oculto é um processo demorado Se optarmos pelo aprendizado por transferência teremos uma rede já otimizada e pronta para aprender novos recursos para realizar novas tarefas É assim que a aprendizagem por transferência nos ajuda a realizar tarefas usando a rede neural com o mínimo de esforço Isso significa que podemos realizar o reconhecimento de rosto usando a rede neural convolucional CNN com o mínimo de esforço para modificar um dataset Uma rede neural convolucional possui várias camadas Podemos dividir essas cama das em duas categorias camada de aprendizagem de recursos e camadas específicas de tarefas As camadas de aprendizagem de recursos aprendem os recursos de baixo nível como cores manchas e bordas Por outro lado as camadas específicas da tarefa aprendem os recursos específicos da tarefa Por exemplo se a tarefa da rede é classificar imagens de veículos a partir de imagens não veiculares então as camadas específicas da tarefa aprenderão as características dos veículos Normalmente essas camadas de tarefas específicas são as últimas camadas de uma rede Neste método de aprendizado as camadas específicas da tarefa são removidas da rede existente e novas camadas são adicionadas para que possam ser treinados para aprender novos recursos para algumas novas tarefas Agora essas novas camadas são 9 DEEP Face Recognition PARKHI O M VEDALDI A ZISSERMAN A Deep face recognition British Machine Vision Association 2015 TAIGMAN Y et al DeepFace Closing the Gap to HumanLevel Performance in Face Verification In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition CVPR Sl sn 2014 HAYKIN S S Redes neurais artificiais princípio e prática 2 extordfeminine Edição Bookman São Paulo Brasil 2000 Capítulo 1 Introdução 15 treinadas com novo conjunto de dados validadas e testadas Se a rede recebe treinamento de maneira adequada com um conjunto de dados efetivo então a rede se torna capaz de classificar os objetos recémaprendidos 10A figura 3 ilustra a visão geral do processo de aprendizagem por CNN Todo o processo de aprendizagem por transferência é dividido em 6 etapas 1 Preparando o conjunto de dados 2 Carregando o Conjunto de Dados 3 Substituindo as camadas finais camadas especificas da tarefa 4 Aumento de imagem para evitar sobreajuste 5 Treinamento da rede 6 Testes 10 HAYKIN S S Redes neurais artificiais princípio e prática 2 extordfeminine Edição Bookman São Paulo Brasil 2000 16 2 Contexto Histórico Estudo de Raça e Tecnologia Eu sou negro Estou em total fusão com o mundo em simpática afinidade com a terra perdendo meu id no seio do cosmos e o homem branco por mais inteligente que seja é incapaz de entender Louis Armstrong ou canções do Congo Eu sou negro não por causa de uma maldição mas porque minha pele foi capaz de capturar todos os eflúvios cósmicos Eu sou realmente uma gota de sol sob a terra Frantz Fanon pele negra máscaras brancas A abordagem deste capitulo é um breve contexto para entender como diversas ques tões apontadas pela ética em IA não são questões da sociedade moderna e tecnológicas para o povo preto são processos históricos que aconteceram ao longo das gerações se tornando acelerada nos últimos tempos 21 Vigilância e Escravidão Temos a tendência de pensar na vigilância em massa como um fenômeno relativa mente novo um subproduto da revolução digital Exemplos de vigilância de alta tecnologia vêm à mente Incluindo a NSA recolhendo nossos emails Televisores Samsung captando conversas na sala de estar junto com seus comandos de voz A Alexa gravando as conver sas e seus funcionários escutando posteriormentePorém nossa sociedade de vigilância de alta tecnologia teve precursores de baixa tecnologia Simone Browne professora associada de Estudos da Diáspora Africana na Universidade do Texas em Austin descreve seu novo livro Dark Matters On The Surveillance of Blackness como uma conversa entre Estudos sobre e Surveillance Studies 1 Ela argumenta que a vigilância era uma parte essencial da escravidão transatlântica um sistema que mantinha milhões de pessoas contra sua vontade e as rastreava como propriedade A escravidão criou uma demanda contínua por tecnologias para monitorar corpos negros Se vigilância é o estado que observa o indivíduo vigilância é o indivíduo que olha para trás para o estado A história da escravidão está repleta de exemplos de ambas as categorias de vigilância Os apanhadores de escravos caçavam escravos fugitivos por dinheiro Os próprios apanhadores foram cuidadosamente observados e a notícia do paradeiro de um apanhador de escravos também poderia se espalhar rapidamente pela comunidade negra Os abolicionistas também distribuíram folhetos alertando os negros livres e seus aliados para ficarem de guarda contra os caçadores de escravos A vigilância ainda funciona nos dois sentidos hoje já que os ativistas se opõem à supervisão da polícia gravando interações em suas próprias câmeras de smarphone Como os manifestantes do Blacks Lives Matter que gravaram e compartilharam em tempo real nas redes sociais todas as violências durante os protestos Assim como no Brasil smartphones 1 BROWNE S Dark Matters On The Surveillance of Blackness Sl Duke university Press 2102015 224 p Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 17 tem sido utilizados em casos de combate a violência 2 A longa história de vigilância em massa nos Estados Unidos começou com a escra vidão Os escravos buscavam se libertar fugindo para territórios livres ou personificando pessoas livres e o sistema tinha mecanismos bem desenvolvidos para impedilos Comerci antes de escravos marcavam a carne de seus cativos para marcálos como escravos Além disso a escravidão nos Estados Unidos era tão racializada que ser negro era equivalente a uma prova de escravidão a cor da pele se tornava evidência de status legal Os escravos que ganharam sua liberdade passando por Brancos na verdade escaparam do perfil biométrico de sua época 3 As tecnologias biométricas como o reconhecimento facial só estão dando continuidade a esta lógica Até hoje as comunidades negras estão sujeitas a vigilância intensiva tanto pública quanto privada Os helicópteros da polícia são uma presença familiar em alguns bairros Os rapazes negros têm uma probabilidade esmagadora de serem selecionados para encontros policiais Browne argumenta que a consciência de estar sob vigilância constante é uma condição duradoura da vida negra 22 Invisibilização De Cientistas e Intelectuais Negros Continuidade da Escravidão Os debates éticos políticos e raciais que envolvem o uso do reconhecimento facial mostra que é necessária uma investigação multidisciplinar e interdisciplinar usando como abordagem principal os impactos na sociedade Portanto a abordagem deste trabalho buscará trazer o contexto histórico racial e o atual que envolvem o uso destas ferramentas propondo uma abordagem ética em torno do tema e não técnica Entendendo que é uma área que está se desenvolvendo não é esperado resultados objetivos ao final deste trabalho e sim possibilidades para o debate No século XX cientistas e pesquisadores negros estavam em diferentes áreas lutando para visibilizar criações e contribuições de pessoas negras na ciência e sociedade que foram invisibilizadas pela forte colonização dos séculos anteriores Um desses cientistas foi Cheik Anta Diop senegalês historiador antropólogo físico e político Estudou as origens da raça humana e a cultura africana précolonial um dos valores da sua obra foi a argumentação da inconsistência dos dados de povos africanos que eram manipulados e categorizados por pessoas brancas456 Ainda no século XX no Brasil A historiadora ativista e poeta consideradas uma 2 GRAVAÇÕES ajudam a combater violência politicial Disponível em httpsnoticiasr7comsaopaulode minneapolisaspcelularedefesaemcasosdeabusopolicial30012021 3 FANON F Pele negra máscaras brancas Sl Ubu Editora 19112020 4 BRITO M E E S et al Por uma descolonização da história 2015 Dissertação Mestrado Universidade Federal de Goiás Disponível em httprepositoriobcufgbrtedehandletede5531 5 DIOP C A The African Origin of Civilization Myth or Reality Paris Présence Africaine 1955 552 p 6 PODCAST O Episódio 3 Robótica e Educação em Senegal com Dauda Barry 032020 Disponível em httpsopenspotifycomepisode2zSTe79y85PFpH2dWMPjU5 Acesso em 01042021 Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 18 das maiores intelectuais negra brasileira Beatriz Nascimento se dedicou por anos a estudos sobre a origem do negro no Brasil Questionando as ausências de referências negras a frente de criações e contribuições para o país Uma das suas notórias críticas foi aos escritores brancos que só tratavam o negro como um ser submisso na sociedade Em 7 escreveu O branco brasileiro de um modo geral e o intelectual em particular recusamse a abordar as discussões sobre o negro do ponto de vista da raça Abominam a realidade racial por comodismo medo ou mesmo racismo Assim perpetuam teorias sem nenhuma ligação com a nossa realidade racial Mais grave ainda criam novas teorias mistificadoras distanciadas esta mesma realidade Importante destacar que a invisibilidade do corpo negro sempre marcou a história da sociedade em diferentes culturas Sendo amplamente criticada no corpo acadêmico e nos movimentos negros Historicamente os corpos negros são socializados nestes ambientes como fonte primária de estudo mas não como autoridade da fala da escrita 8 Essa construção pode ser vista também na tecnologia principalmente em seus anos iniciais de BOOM 221 EUA Segregação racial e boom tecnológico Nas décadas seguintes à revolução industrial e as guerras mundiais a indústria eletrônica e digital se desenvolveram abundantemente nos EUA Nos inicios da década de 50 havia uma curiosidade sobre os computadores eletrônicos Já em 1963 esses dispositivos e seus periféricos formaram a base de bilhões de dólares Nos inicios da década de 1970 mais de 165 000 computadores foram instalados apenas nos EUATodos os CEOS das empresas desta época eram brancos Enquanto isso no mesmo país estava acontecendo uma das maiores representa ções de segregação racial já vista Lideranças pretas como Rosa Parks Malcolm X Martim Luther king movimento Pantera negra entre outros lutavam pelos direitos civis dos negros A segregação racial enraizada na sociedade americana impedia direitos fundamentais a pessoas negras só pela sua cor e raça Em 1964 a lei dos direitos civis marco histórico dos EUA põe o fim institucionalmente a discriminação com base em raça cor religião sexo nacionalidade e posteriormente orientação sexual e identidade de gênero Angela Davis em seu livro Freedom Is a Constant Struggle 9 definiu o momento como O movimento pela liberdade foi amplo Tratavase de transformar o país inteiro Não se tratava simplesmente de adquirir direitos civis dentro de uma estrutura que não mudaria 7 BEATRIZ M Histografia do Quilombo In Beatriz Nascimento Quilombola e Intelectual Possibilidades nos dias da destruição Sl Editora filhos da África 1977 8 CARNEIRO A S FISCHMANN R A construção do outro como nãoser como fundamento do ser 2005 Dissertação Mestrado Universidade de São Paulo 9 DAVIS A Freedom Is a Constant Struggle 2016 Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 19 222 Teoria Racial Critica No final dos anos 1970 a teoria racial critica foi formulada a partir da visão de profes sores negros de que o direito deveria olhar a sociedade com a ótica racial Colocando raça como uma construção social para a busca da transformação social a interdisciplinaridade a interseccionalidade Eles estavam preocupados com tanta estagnação dos avanços em direitos civis 10 Estudantes negros da Harvard School protestaram em 1981 contra a recusa da universidade em contratar um professor negro para substituir Derrick Bell quando ele deixou o cargo A universidade respondeu aos alunos There were no qualified black scholars who merited Harvards interest Após essa resposta os alunos criaram o The Alternative Course um curso alternativo baseado nos capítulos do livro Raça racismo e direito americanoDe Derrick Bell essa atividade ficou conhecida como a primeira da Teoria Racial Critica Os pilares da teoria racial critica são os Estudos Técnicos Teoria Marxista Colonialismo e Feminismo 223 A Evolução dos estudos de raça e tecnologia Os primeiros estudos colocando tecnologia e raça como objetos de estudos surgiram logos nos inicios dos anos 2000 Alondra Nelson Thuy Linh N Tu e Alicia Headlam Hines 11 organizaram o livro Technicolor Race Technology and Everyday Life com diferentes artigos que estudaram o contexto tecnológico dos EUA nas décadas de 80 e 90 para a população negra Estudo sobre o impacto do mp3 por exemplo como que ele impactou o cenário da música os problemas enfrentados por profissionais negros e latinos no Vale do Silicio sendo silenciados pela violência Um debate sobre como pessoas negras utilizaram a tecnologia em seu dia a dia dado que não estavam socializados com o período bilionário das BIG TECHS Na continuação dos estudos urge a necessidade de visibilizar as pessoas negras que contribuíram para a evolução tecnológica e não foram contempladas com o devido reconhecimento A maioria dos inventores bem sucedidos dessa época desenvolveram suas ideias dentro de estruturas que privilegiaram isso Para inventores afroamericanos negociar esses ambientes profissionais racialmente brancos significaria quebrar essas ideologias e construções Ruha Benjamin aborda bem o problema da não visibilidade negra nessa área ao olhar para os termos desenvolvidos de como as regras foram pensadas por exemplo o termo Caixa preta ironicamente um termo utilizado para questionar a falta de transparência dos processos tecnológicos Ruha o descreve da seguinte forma 10 WEST CORNELL K C N G G P THOMAS K Critical Race Theory The Key writings that formed the movement 1995 11 NELSON THUY LINH NGUYEN TU A H H A Technicolor Race Technology and Everyday Life Sl sn 2002 Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 20 Resgato o termo Caixa pretapara chamar à antinegritude rotineira que emprega muito desenvolvimento de tecnologia O que chamo de Anti caixa pretaliga as tecnologias supostamente neutras a desigualdade nas leis e politicas publicas que servem como ferramentas para a supremacia branca Em seu livro Race after Technology The New Jim Code12 indo mais além ao relacionar a vigilância para manter a submissão e a inviabilização do povo preto na soci edade Códigos e Tecnologia agem como narrativas e operam dentro de um sistema que tem uma vasta de distorções e perigos Ao longo dos estudos sobre a relação de raça e tecnologia é possível perceber uma tentativa da não reparação histórica ao catalogar a tecnologia como determinística e objetiva Tirando as possibilidades de questionar a estrutura em que ela se formou 23 Ética em IA Antes de iniciar a abordagem de ética em IA é importante resgatar os conceitos que envolvem o campo da ética Uma área difícil de explicar principalmente que as perguntas muito definidas como O que é Como definir são problemáticas do ponto de vista filo sófico Sendo assim este trabalho não vai definir e sim apresentar as principais abordagens acerca da discussão dos impactos da IA em nosso dia a dia em nosso comportamento e tomadas de decisões Tradicionalmente ética é um campo que está na sociedade há mais de 2500 anos com surgimento na Grécia por volta do século V aC entendidas como as primeiras formas de mediação e normatização de conduta Pode ser entendida também como estudos filosóficos ou científicos que estuda costumes comportamentos ações Investiga questões ligadas a vida liberdade humana consciência da moral e da lei O campo da ética é didaticamente dividido em dois grupos os estudos da ética sobre os problemas gerais e fundamentais e outros em problemas específicos concretos Essa divisão ajuda no processo de compartilhamento do conhecimento academicamente mas na prática do dia a dia não é dividido assim 13 A complexidade das relações humanas é um objeto de estudo importante na ética Entender como a mediação a regulação se dá usando como base a moral Pode ser diferenciado ética e moral em atenção permanente a razão e acolhimento dos valores e normas já estruturadas respectivamente citar Ao longo das gerações o algoritmo vem mediando estas relações e entendimentos no nosso dia a dia conjunto de dados supostamente anônimos manipulando as tomadas de decisões em todos os contextos da 12 BENJAMIN R Race After Technology The new Jim Code Sl sn 2019 13 ALVES L G D C et al ETHICAL QUESTIONS IN ARISTOTLE AND KANT 2015 Dissertação Mestrado PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO Disponível em http wwwmaxwellvracpucriobrBuscaetdsphpstrSecaoresultadonrSeq256341 NASCIMENTO D S et al TRUTH AND ETHICS IN THE THOUGHT OF MARTIN HEIDEGGER 2007 Disserta ção Mestrado PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO Disponível em httpwwwmaxwellvracpucriobrBuscaetdsphpstrSecaoresultadonrSeq100511 Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 21 vida contemporânea e moderna Presente na comunicação direta e indireta redes sociais nos resultados médicos processamento de imagens tratamento de cancer filtros de spam emails score de crédito 14 15 A IA de alguma forma fica mais perto de nós do que outras tecnologias daí o campo da filosofia da IA Talvez seja porque o projeto da IA é criar máquinas que tenham uma característica central em como nós humanos nos vemos ou seja como seres sensíveis pensantes e inteligentes Dado este contexto ao longo dos anos a IA foi sendo subdividida em subáreas como processamento de linguagem natural análise preditiva aprendizagem de máquina profundo ou redes neurais Como Erik Brynjolfsson observou pode nos permitir elimine virtualmente a pobreza global reduza massivamente as doenças e forneça melhor educação a quase todas as pessoas no planeta Uma ideia implicita de resolução dos males sociais a partir da tecnologia Na ética de inteligência artificial existem diversas perspectivas de se olhar essa mediação No livro The Ethical Algorithm The Science of Socially Aware Algorithm Design 16 os autores abordam o tema com o design do algoritmo como principal questão oferecendo um caminho de estudos dos princípios humanos que podem ser embutidos O filósofo Mark Coeckelbergh vai olhar a relação entre o design deste algoritmo responsabilidade de quem cria e socializaestes algoritmos na sociedade e sobretudo propondo uma abordagem de aproximar mais os softwares com a intervenção no dia a dia17 Já a pesquisadora Ruha Benjamin vai abordar estas questões éticas relacionadas com a raça trazendo luz a como a evolução tecnológica é estruturada em cima do racismo e desigualdades sociais18 Este contexto histórico já brevemente apresentado no capitulo anterior Os principais problemas que a ética em IA acabam se misturando as preocupações já descritas Como vigilância em massa manipulação do comportamento e outras que serão apresentadas Como opacidade dos sistemas de inteligência artificial e os vieses reproduzidos por máquinas 231 Privacidade e Vigilância no Reconhecimento Facial Há uma discussão geral sobre privacidade e vigilância em segurança digital que se refere principalmente ao acesso a dados privados e dados que são pessoalmente identificáveis A privacidade tem vários aspectos bem reconhecidos Por exemplo o direito 14 ONEIL C Weapons of Math Destruction How Big Data Increases Inequality and Threatens Democracy USA Crown Publishing Group 2016 ISBN 0553418815 15 LYRA E Ética Inteligência Artificial e Resistências 24112021 Disponível em httpsyoutube erNqT36Vb8Q 16 KEARNS A R M The Ethical Algorithm The Science of Socially Aware Algorithm Design Sl Oxford University Press 01112019 17 COECKELBERGH M AI Ethics Mit Press 2020 Disponível em httpsmitpressmitedubooksaiethics 18 BENJAMIN R Race After Technology The new Jim Code Sl sn 2019 Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 22 de ser deixado sozinho privacidade das informações privacidade como um aspecto da personalidade controle sobre as informações sobre si mesmo e o direito ao sigilo Os estudos de privacidade se concentraram historicamente na vigilância do estado por serviços secretos mas agora incluem vigilância por outros agentes do estado empresas e até mesmo indivíduos A tecnologia mudou significativamente nas últimas décadas enquanto a regulamentação demorou a responder embora haja o Regulamento UE 2016679 e a Lei geral de proteção de dados 19 A esfera digital se ampliou muito toda coleta e armazenamento de dados agora é digital É muito mais difícil de controlar o que é coletado e armazenado digitalmente A IA aumentou as possibilidades de coletas de dados inteligentes e as possibilidades de análise O reconhecimento facial coleta rostos e não coleta o contexto assim essa coleta pode ser usado para diferentes práticas nocivas na sociedade Por exemplo após as manifestações do Black Lives Matter em 2020 uma série de prisões indevidas foram feitas contra manifestantes Robert Williams foi uma das pessoas presas a partir do uso de reconhecimento facial 20 É de conhecimento público que o software utilizado em ações como estas pertencem a Clearview Ai Que é a maior base de dados pesquisável são mais de 3 bilhões de imagens copiadas sem permissão de plataformas como Facebook Instagram Twtter Google e Linkedin citeclearview entre 2018 e 2020 o software expandiu seu uso para 340000 pesquisas 1803 agências públicas de segurança 21 Há argumentos de que o reconhecimento facial ajuda na segurança digital Sabese que nenhum sistema é 100 seguro e confiável Com a acelerada evolução tecnológica já é possível burlar o reconhecimento facial no estudo divulgado em 2021 com o título Dodging Attack Using Carefully Crafted Natural Makeup Mostra novo ataque AML de blackbox que cuidadosamente constrói uma maquiagem natural que quando aplicada em um participante humano evita que o participante seja identificado por modelos de reconhecimento facial ArcFace 22 Modelos ArcFace são bastante usados em frameworks abertos de reconhecimento facial como o DeepFace 23 criado pelo Facebook 19 BRASIL Lei Geral de Proteção de Dados Pessoais LGPD Diário Oficial da República Federativa do Brasil Brasília DF 2018 Disponível em httpwwwplanaltogovbrccivil03ato201520182018lei l13709htm 20 HEILWEIL R Big tech companies back away from selling facial recognition to police Thats progress 11062020 Online Disponível em httpswwwvoxcomrecode202061021287194amazonmicrosoft ibmfacialrecognitionmoratoriumpolice Acesso em 08082021 21 CNBC Disponível em httpswwwcnbccom20200610amazonbanspoliceuseoffacialrecognition technologyforoneyearhtml COMPANY F Disponível em httpswwwfastcompanycom90516450ibm microsoftandamazonsfacerecognitionbansdontgofarenough 22 GUETTA N et al Dodging Attack Using Carefully Crafted Natural Makeup arXivLabs experimental projects with community collaborators 2021 Disponível em httpsarxivorgabs210906467 23 TAIGMAN Y et al DeepFace Closing the Gap to HumanLevel Performance in Face Verification In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition CVPR Sl sn 2014 DEEP Face Recognition DENG J et al ArcFace Additive Angular Margin Loss for Deep Face Recognition 2019 PARKHI O M VEDALDI A ZISSERMAN A Deep face recognition British Machine Vision Association 2015 Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 23 232 Manipulação do Comportamento As questões éticas da IA à vigilância vão além do mero acúmulo de dados e direcio namento da atenção incluem o uso da informação para manipular o comportamento online e offline de uma forma que mina a escolha racional autônoma Claro os esforços para manipular o comportamento são antigos mas podem ganhar uma nova qualidade quando usam sistemas de IA Dada a intensa interação dos usuários com sistemas de dados e o profundo conhecimento sobre os indivíduos que isso oferece eles são vulneráveis a manipulação e engano Com dados anteriores suficientes os algo ritmos podem ser usados para atingir indivíduos ou pequenos grupos apenas com uma informação falsa que provavelmente influenciará esses indivíduos em particular As DeepFakes representam partes desse perigoÉ uma manipulação digital de videos e audios Na prática você alinha duas imagens de pessoas para conseguir reconstruir um rosto a partir do conjunto de características de outro rosto O método se popularizou e atualmente existem diversas tecnologias de software livre que permitem a criação em poucos minutos Existem quatro tipos face replacement face reenactment face generation audio synthesis 24 25 Uma das preocupações são as coletas das imagens usadas Muitas vezes as pessoas supõem que só figuras públicas serão utilizadas na manipulação mas esquecemos que no meio digital praticamente os perfis são públicos ou abertos Qualquer pessoa terá acesso aos conteúdos compartilhados Favorecendo casos de difamação digital falsa identidade entre outros Por exemplo hoje as redes sociais representam uma boa parcela da interação social e informacional Houve uma mudança em como lidamos com a imagem selfies viraram formas de se comunicar e interagir Estas selfies são usadas por bigtechs para manipulação de comportamentos como apontado no paragrafo anterior com a Clearview AI 233 Opacidade no Reconhecimento Facial Sistemas de IA como suporte à tomada de decisão e análise preditiva levantam preocupações significativas sobre a falta de responsabilidade envolvimento da comunidade e auditoria no processo Técnicas de aprendizado de máquina em redes neurais simuladas que extrairão padrões de um determinado conjunto de dados com ou sem soluções corretas fornecidas Ou seja supervisionado semi supervisionado ou não supervisionado Com essas técnicas o aprendizado captura padrões nos dados Estes são rotulados de uma forma que parece útil para a decisão do sistema enquanto o programador não sabe 24 HORA N da Deep Fakes Manipulações Digitais Perigosas para o século XXI 2021 MIT Technology Review Brasil Disponível em httpsmittechreviewcombrdeepfakemanipulacoesdigitaisperigosas 25 CHESNEY B CITRON D Deep Fakes A Looming Challenge for Privacy Democracy and National Security HeinOnline Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 24 realmente quais padrões nos dados o sistema utilizou Na verdade os programas estão evoluindo Então quando novos dados chegam ou um novo feedback é dado isto estava correto isto estava incorreto os padrões usados pelo sistema de aprendizagem mudam O que significa é que o resultado não é transparente para o usuário ou programadores é opaco 26 Portanto se os dados já historicamente carregam preconceitos o programa reprodu zirá esses preconceitos Por isso é tão difícil identificar vieses em sistemas de IA Existem algumas propostas em relação à coleta e descrição do conjunto de dados para tentar tornar a identificação deste viés mais viável 27 Também há literatura ligada ao apoio aos designers e desenvolvedores na concepção dos algoritmos entendendo que os vieses podem ser embutidos de forma não intencional 28 24 Vieses no Reconhecimento facial O uso do reconhecimento facial na segurança pública leva a uma série de questiona mentos e preocupações Além dos dados carregando viés desde a sua coleta As técnicas reais de policiamento preditivo ou policiamento baseado em inteligência referemse principalmente a questão de onde e quando as forças policiais serão mais necessárias isso é problemático por conta da falta transparência da coleta armazenamento das imagens utilizadas 29 O viés normalmente surge quando julgamentos injustos são feitos O Indivíduo que faz o julgamento é influenciado por uma característica que é realmente irrelevante para o assunto em questão normalmente um preconceito discriminatório sobre os membros de um grupo Portanto uma forma de preconceito é uma característica cognitiva aprendida de uma pessoa muitas vezes não explicitada Além do fenômeno social de preconceito aprendido 26 ONEIL C Weapons of Math Destruction How Big Data Increases Inequality and Threatens Democracy USA Crown Publishing Group 2016 ISBN 0553418815 27 JO E S GEBRU T Lessons from Archives Strategies for Collecting Sociocultural Data in Machine Learning In Proceedings of the 2020 Conference on Fairness Accountability and Transparency New York NY USA Association for Computing Machinery 2020 FAT 20 ISBN 9781450369367 Disponível em httpsdoiorg10114533510953372829 BUOLAMWINI J GEBRU T Gender Sha des Intersectional Accuracy Disparities in Commercial Gender Classification In FRIEDLER S A WILSON C Ed Proceedings of the 1st Conference on Fairness Accountability and Transpa rency PMLR 2018 Proceedings of Machine Learning Research v 81 p 77 91 Disponível em httpsproceedingsmlrpressv81buolamwini18ahtml 28 BARBOSA S D J et al A Semioticsbased epistemic tool to reason about ethical issues in digital technology design and development ACM Press 2021 Disponível em 10114534421883445900 29 LESLIE D Understanding bias in facial recognition technologies CoRR abs201007023 2020 Disponível em httpsarxivorgabs201007023 BUOLAMWINI J GEBRU T Gender Shades Intersectional Accu racy Disparities in Commercial Gender Classification In FRIEDLER S A WILSON C Ed Proceedings of the 1st Conference on Fairness Accountability and Transparency PMLR 2018 Proceedings of Machine Learning Research v 81 p 77 91 Disponível em httpsproceedingsmlrpressv81 buolamwini18ahtml BUOLAWMINI J The Coded Gaze Unmasking Algorithmic Bias 2018 Disponível em httpswwwyoutubecomwatchv162VzSzzoPst1s ONEIL C Weapons of Math Destruction How Big Data Increases Inequality and Threatens Democracy USA Crown Publishing Group 2016 ISBN 0553418815 Capítulo 2 Contexto Histórico Estudo de Raça e Tecnologia 25 o sistema cognitivo humano é geralmente sujeito a vários tipos de preconceitos cognitivos Por exemplo o viés de confirmação os humanos tendem a interpretar as informações como uma confirmação do que eles já acreditam Uma terceira forma de enviesamento está presente nos dados quando exibe um erro sistemático por exemplo enviesamento estatístico Estritamente qualquer conjunto de dados será imparcial Apenas para um único problema portanto a mera criação de um conjunto de dados envolve o perigo de que ele possa ser usado para um tipo diferente de problema e em seguida acabe sendo tendencioso para esse tipo O aprendizado de máquina com base em tais dados não apenas deixaria de reconhecer o viés mas também codificaria e automatizaria o viés histórico O viés racial histórico não é um erro somente do conjunto de dados ou de modelo algorítmico 26 3 Racismo Algorítmico Ecos do Passado 31 Ecos do Passado Racismo na Fotografia EUA Esta seção será dedicada a entender como o racismo na fotografia também contribuiu para os constantes problemas raciais no reconhecimento facial A fotografia não é apenas um sistema de calibração de luz mas uma tecnologia de decisões subjetivas A pele clara se tornou a base química para a tecnologia de filmes atendendo às necessidades de seu mercadoalvo dominante Francis Galton foi um dos pioneiros na análise facial e também foi um eugenista britânico ele inventou o termo Ele propôs um estudo que a ideia era sobrepor imagens de homens condenados por crimes tentando descobrir através de pictorial stastitics a essência do rosto do criminoso Questões relativas ao que é denominado em grego eugenes a saber bom esto que hereditariamente dotado de qualidades nobres Esta e as palavras aliadas eugeneia etc são igualmente aplicáveis a homens animais selvagens e plantas Desejamos muito uma breve palavra para expressar a ciência do melhoramento do rebanho Que de forma alguma se limita a questões de acasalamento judicioso mas que especialmente no caso do homem toma conhecimento de todas as influências que tendem por mais remoto que seja um grau a conferir quanto mais adequadas raças ou linhagens de sangue melhor chance de prevalecer rapidamente sobre as menos adequadas do que teriam de outra forma A palavra eugenia expressaria suficientemente a ideia é pelo menos uma palavra mais limpa e mais generalizada do que viricultura que certa vez me aventurei a usar Francis Galton em seu livro Inquires into Human Faculty and Its Development Francis era estatistico mas seu método não obteve sucesso ele foi incapaz de discernir um tipo criminoso em suas fotografias compostas Isso aconteceu pois a a criminalidade não está escrita nem nos genes nem em seu rosto 1 Porém suas ideias foram perpetuadas em tecnologias modernas Em um artigo de 2016 pesquisadores chineses afirmaram distinguir retratos de criminosos de não criminosos Que curvatura dos lábios distância do canto interno do olho e o chamado ângulo narizboca poderiam ajudar a identificar eles separados O artigo inclui rostos comuns de criminosos e não criminosos que lembram os retratos compostos de Galton Este artigo foi muito criticado pela comunidade acadêmica 2 1 BENJAMIN R Catching Our Breath Critical Race STS The Carceral Imagination Enganging Sci ence Technology and Society v 2 07 2016 ISSN 24138053 Disponível em httpsestsjournalorg indexphpestsarticleview70 2 JO E S GEBRU T Lessons from Archives Strategies for Collecting Sociocultural Data in Machine Learning In Proceedings of the 2020 Conference on Fairness Accountability and Transparency New York NY USA Association for Computing Machinery 2020 FAT 20 ISBN 9781450369367 Disponível em httpsdoiorg10114533510953372829 Capítulo 3 Racismo Algorítmico Ecos do Passado 27 32 Ecos do Passado Racismo no Reconhecimento fotográfico no Brasil No Brasil um levantamento inédito feito pelo Condege expôs que 83 por cento dos presos injustamente no brasil são presos pelo reconhecimento fotográfico Em outra análise feita pela Folha de São Paulo 60 por cento dos inocentes presos eram negros Em um recorte apenas de prisões injustas causadas por reconhecimentos incorretos esse percentual sobe para 71 por cento 3 Casos que remetem a um passado histórico de usar fenótipo para identificar crimes como citado aqui na figura do estatístico Francis Galton O reconhecimento de pessoas é regulado pelo artigo 226 do Código de Processo Penal CPP de 1941 refletindo o descompasso com avanços científicos e práticas interna cionais recentes Há um vácuo legislativo que talvez possa ser preenchido pela lei 6762021 que o Senado votou que pode alterar o CPP aprovando também especificações sobre o reconhecimento fotográfico 33 Ecos do Passado Racismo no Reconhecimento Facial A transição da tecnologia analógica para a tecnologia digital das câmeras só foi uma ruptura de tecnologias a serem usadas pois continuaram perpetuando a desumanização do negro Por exemplo as câmeras da Kodak na década de 90 tinham o padrão internacional para equilíbrio de cores e precisão de tons de pele o cartão Shirley Que usava a cor da pele de modelos femininas brancas para calibrar de maneira confiável todos os filmes revelados em laboratórios fotográficos 4 Em 2017 a Apple foi acusada de racismo depois que um jovem chinês percebeu que poderia desbloquear o iphone X da sua mãe usando o software de reconhecimento facial Isso aconteceu duas semanas depois que uma jovem chinesa denunciou o mesmo feito mas dessa vez ela tinha conseguido desbloquear o celular do seu colega de trabalho 5 isso apesar de ter várias características diferentes Para evidenciar que a forma que os asiáticos são vistos no Ocidente A foto da revista Life Magazine de dezembro de 1941 Mostra de forma tendenciosa e muitas vezes falaciosas a generalização da cor da pele características faciais são generalizadas para cada raça reforçando a visão americana de como enxergam pessoas não brancas 6 3 CONDEGE 83 dos presos injustamente por reconhecimento fotográfico no Brasil são negros 2021 Disponível em httpsg1globocomfantasticonoticia20210221exclusivo83percentdospresos injustamenteporreconhecimentofotograficonobrasilsaonegrosghtml 4 RUDIN C RADIN J httpswwwnytimescomwirecutterbloghowfacialrecognitionworks Harvard Data Science Review v 1 n 2 11 2019 Httpshdsrmitpressmitedupubf9kuryi8 Disponível em httpshdsrmitpressmitedupubf9kuryi8 5 RUDIN C RADIN J httpswwwnytimescomwirecutterbloghowfacialrecognitionworks Harvard Data Science Review v 1 n 2 11 2019 Httpshdsrmitpressmitedupubf9kuryi8 Disponível em httpshdsrmitpressmitedupubf9kuryi8 6 RAJI I D et al Saving Face Investigating the Ethical Concerns of Facial Recognition Auditing In Proceedings of the AAAIACM Conference on AI Ethics and Society New York NY USA Association for Computing Machinery 2020 AIES 20 ISBN 9781450371100 Disponível em httpsdoiorg101145 Capítulo 3 Racismo Algorítmico Ecos do Passado 28 Figura 3 Life Magazine 1941 Life Magazine 1941 Umas série de violações e direitos civis tem atingido pessoas não brancas de diferentes idades e contextos sociais Ainda não se sabe todos os impactos mas os casos remetem a um histórico racista e invasivo da sociedade Em Uganda já estava sendo alertado por ativistas em 2020 O uso de câmeras cedidas pela chinesa Huawei que o então governo estava usado e integrando com outros serviços nas manifestações em novembro do mesmo ano mais de 836 manifestantes foram presos O sistema nacional de CFTV instalado pela Huawei tem 83 centros de monitora mento 522 operadoras e 50 comandantes Mesmo software foi utilizado em Myanmar Um sistema de 335 câmeras de vigilância com tecnologia de reconhecimento facial fabricado pela chinesa da tecnologia Huawei entrou no ar em Naypyitaw a um custo de mais de 4 bilhões de kyat As câmeras cobrem oito municípios da capital com inteligência artificial que 33756273375820 JO E S GEBRU T Lessons from Archives Strategies for Collecting Sociocultural Data in Machine Learning In Proceedings of the 2020 Conference on Fairness Accountability and Transparency New York NY USA Association for Computing Machinery 2020 FAT 20 ISBN 9781450369367 Disponível em httpsdoiorg10114533510953372829 Capítulo 3 Racismo Algorítmico Ecos do Passado 29 também pode escanear placas de veículos disse Myint Swe principal consultor do projeto Naypyitaw Safe City 7 No Brasil o debate maior é no uso da segurança pública Em 2019 foi aprovada pelo ministro da justiça Sérgio Moro a portaria que permitia o uso de reconhecimento facial na segurança pública Em seguida foi lançado o projeto Em frente Brasil com 5 municípios que receberam 19 milhões para o projetopiloto e mais de 25 milhões em 2020 Todos os Testes foram encerrados mas não nenhuma explicação do processo e nem dos resultados No Brasil a LGPD 8 já está em vigor e os dados coletados através destes softwares se encaixam nos grupos de dados sensíveis mas quando se trata de uso pela segurança nacional governo ainda não há um consenso jurídico esta sendo debatido na câmara dos deputados O debate ético e político em torno dos constantes problemas raciais encontrados no reconhecimento facial tem feito alguns países banirem o uso da tecnologia em espaços públicos e outros contextos A Alemanha apoia o banimento de espaços públicos 9 São Francisco baniu de agências e departamentos de polícias 10 7 AFRICA Q Disponível em httpsqzcomafrica1938976ugandauseschinashuaweifacialrecognition tosnareprotesters 8 BRASIL Lei Geral de Proteção de Dados Pessoais LGPD Diário Oficial da República Federativa do Brasil Brasília DF 2018 Disponível em httpwwwplanaltogovbrccivil03ato201520182018lei l13709htm 9 GERMAN coalition backs ban on facial recognition in public places 24112021 Disponível em https wwwpoliticoeuarticlegermancoalitionbacksbanonfacialrecognitioninpublicplaces 10 SAN FRANCISCO Bans Facial Recognition Technology 2019 Disponível em httpswwwnytimescom 20190514usfacialrecognitionbansanfranciscohtml 30 4 Decolonializando os Algoritmos O poder colonial tradicional busca poder unilateral e dominação sobre as pessoas colonizadas Declara o controle das esferas social econômica e política reorde nando e reinventando a ordem social de uma maneira que o beneficie Na era dos algoritmos essa dominação ocorre não por força física bruta mas por mecanismos invisíveis e diferenciados de controle do ecossistema digital e da infraestrutura digital O colonialismo tradicional e o colonialismo algorítmico compartilham o desejo comum de dominar monitorar e influenciar o discurso social político e cultural através do controle dos principais meios de comunicação e infraestrutura Abeba Birhane Colonização Algoritmica Dado o contexto de que o racismo não acabará da noite para o dia e que as tecnologias não combatem este mal Como Safiya Umoja Noble explica em seu livro Algorithms of Oppression 1a opressão algorítmica não é apenas uma falha no sistema mas sim é fundamental para o sistema operacional da web Assim Noble bem articula para nós o preconceito e opressão que vem nos algoritmos usados consistentemente em nossas sociedades não é incomum E pode ser a única razão pela qual nossa sociedade capitalista heteropatriarcal supremacista branca continua para funcionar desta forma Logo hackear as vias possíveis de mitigação se faz necessária para pensar futuro Neste sentido o resgate do passado é essencial para entender o futuro que queremos quebrar padrões hegemônicos e eugenistas que assolam a sociedade 2 O termo de colonizar vem de decolonial a expressão faz referência ao movimento epistemológico latinoamericano de renovação critica e utópica das ciências sociais na América Latina Que ocorreu no início do Século XXI 3 O movimento propõe a radicalização do argumento póscolonial no continente por meio da noção de giro decolonial na qual intelectuais associamse para a firmar sua capacidade de criar modelos teorias métodos técnicas e processos próprios e adequados para a resolução de nossos problemas Pensar tecnologia como continuidade é pensar na ancestralidade de povos originá rios que foram se perdendo em meio ao sistema que visa o lucro Percebese que na linha do tempo da história estão ocultas figuras importantes na ciência e tecnologia que foram in visibilizadas no decorrer do processo Assim uma das primeiras formas de repensar a ideia de algoritmos é repensar quem está a frente da criação desenvolvimento e disseminação De maneira geral a continuidade garante a sobrevivência da pluralidade do universo científico o resgate agora é necessário De 1900 a 1999 inventores pretos patentearam mais de 6000 invenções pelo menos 400 patentes conquistadas por mulheres negras e entre 2000 e 2007 1 NOBLE S Algoriths of Opression How Search Engines Reinforce Racism Sl NYU Press 2019 2 HORA A C da Resgate do passado é essencial para a conquista do futuro 2020 Disponível em httpswww1folhauolcombrcolunasperifaconnection202001resgatedopassadoeessencial paraaconquistadofuturoshtml 3 BALLESTRIN L América Latina e o giro decolonial Revista Brasileira de Ciência Política Brasília p 89 117 Agosto 2013 Capítulo 4 Decolonializando os Algoritmos 31 cientistas negros patentearam mais de 5000 invenções como mostra o livro 4 No currículo atual de ciências da computação as técnicas e autores estudados são majoritariamente brancos os alunos e professores também Segundo estudo Quem CodaBr5 mulheres e pessoas negras são apenas 13 dos profissionais de tecnologia e inovação E não há nenhuma pessoa negra em 327 por cento das equipes que trabalham com tecnologia no Brasil Quem está criando as regras dos códigos Outro questionamento levantado pelo pensamento decolonial é sobre a forma de lidar com os problemas Sistemas como Reconhecimento Facial é problemático para além os argumentos citados aqui pois não há como antecipar os problemas pois é baseada na opacidade presente nos modelos automatizados Assim a incorporação de estudos envolvendo a ética justiça desigualdade racismo é necessária para uma possível quebra da forma que o digital foi estruturado até então Esse questionamento se assemelha ao levantado pela área da Ética em IA porém o detalhe precioso é que o decolonial necessariamente precisa de pessoas não brancas a frente do processo de reestruturação A reparação histórica é principalmente causa da responsabilização de quem colo niza cabe aqui citar brevemente como o debate em torno da regulamentação e auditoria algorítmica se faz presente a partir da lógica decolonial também Assim como conceitos como explicabilidade e responsabilidade em IA que são citados como questões na compu tação São questões éticas e sociais cabe aqui ressaltar que a mitigação dos problemas estruturais reproduzidos pela tecnologia serão possíveis com atuação coletiva67 No atual momento perguntas são mais importantes para a investigação social do problema Repensar os papeis que a tecnologia pode deveria e não deveria ocupar na sociedade As elites tecnológica8 tenta impor o pensamento neoliberal de que o passado não importa para o futuro E assim dados historicamente racistas são perpetuados como mera estatística ignorando o contexto histórico 4 HOLMES K C et al Black Inventors Crafting Over 200 years of Success Sl Global Black Inventor Research 11062012 179 p 5 QUEMCODABR QuemCodaBr 2019 Disponível em httpswwwgeneronumeromediamulherese pessoasnegrassaoapenas13dosprofissionaisdetecnologiaeinovacaoapontapesquisa 6 NASCIMENTO A O Quilombismo Documentos de uma Militância PanAfricanista Sl sn 2019 7 KREMER B DIREITO E TECNOLOGIA EM PESPECTIVA AMEFRICANA Autonomia algoritmos e vieses raciais 2021 Tese Direito PUCRio 8 NOBLE S ROBERTS S Elites tecnológicas meritocracia e mitos pós raciais no Vale do Silício Fronteiras estudos midiáticos v 22 05 2020 32 5 Conclusão e Próximos passos Somos origens e somos continuidade Concluo que esta pesquisa buscar apresentar a partir da perspectiva racial e ética como o racismo algorítmico opera suas origens e uma possível abordagem para construção de caminhos de mitigação na sociedade Ficando claro que não é um problema compu tacional mas é um problema que precisa ser discutido e debatido nesta área também Subtendese que os próximos passos desta pesquisa é um aprofundamento da teoria critica racial rapidamente apresentada e também dos estudos de ética em sistemas algorítmicos Dado que aplicar este conhecimento de ética requer uma abordagem mais detalhada do que aplicada neste trabalho mas o conhecimento inicial na área foi importante para a concepção da pesquisa Destaco as contribuições multi e interdisciplinares no entendimento de racismo algorítmico e como podemos analisar os códigos na sociedade de uma forma menos objetiva O reconhecimento facial aqui foi uma das exemplificações possíveis da operacionali zação do racismo algorítmico e não a questão central A pesquisa será continuada em meios acadêmicos e também não acadêmicos como próximos passos destaco Aprofundar os conhecimentos de ética em sistemas algorítmicos a partir da pers pectiva filosófica Aprofundar os estudos da Teoria Critica Racial e do Pensamento Critico Continuidade a base de palavras racistas identificadas durante a pesquisa e que são usadas para legendar as fotos e imagens durante o aprendizado e máquina 33 Referências AFRICA Q Disponível em httpsqzcomafrica1938976ugandauseschinashuawei facialrecognitiontosnareprotesters Citado na página 29 ALVES L G D C et al ETHICAL QUESTIONS IN ARISTOTLE AND KANT 2015 Dissertação Mestrado PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO Disponível em httpwwwmaxwellvracpucriobrBuscaetdsphpstrSecao resultadonrSeq256341 Citado na página 20 BALLESTRIN L América Latina e o giro decolonial Revista Brasileira de Ciência Política Brasília p 89 117 Agosto 2013 Citado na página 30 BARBOSA S D J et al A Semioticsbased epistemic tool to reason about ethical issues in digital technology design and development ACM Press 2021 Disponível em 10114534421883445900 Citado na página 24 BEATRIZ M Histografia do Quilombo In Beatriz Nascimento Quilombola e Intelectual Possibilidades nos dias da destruição Sl Editora filhos da África 1977 Citado na página 18 BENJAMIN R Catching Our Breath Critical Race STS The Carceral Imagination Enganging Science Technology and Society v 2 07 2016 ISSN 24138053 Disponível em httpsestsjournalorgindexphpestsarticleview70 Citado na página 26 BENJAMIN R Race After Technology The new Jim Code Sl sn 2019 Citado 2 vezes nas páginas 20 e 21 BRASIL Lei Geral de Proteção de Dados Pessoais LGPD Diário Oficial da República Federativa do Brasil Brasília DF 2018 Disponível em http wwwplanaltogovbrccivil03ato201520182018leil13709htm Citado 2 vezes nas páginas 22 e 29 BRITO M E E S et al Por uma descolonização da história 2015 Dissertação Mestrado Universidade Federal de Goiás Disponível em httprepositoriobcufgbr tedehandletede5531 Citado na página 17 BROWNE S Dark Matters On The Surveillance of Blackness Sl Duke university Press 2102015 224 p Citado na página 16 BUOLAMWINI J GEBRU T Gender Shades Intersectional Accuracy Disparities in Commercial Gender Classification In FRIEDLER S A WILSON C Ed Proceedings of the 1st Conference on Fairness Accountability and Transparency PMLR 2018 Proceedings of Machine Learning Research v 81 p 77 91 Disponível em httpsproceedingsmlrpressv81buolamwini18ahtml Citado 2 vezes nas páginas 10 e 24 BUOLAWMINI J The Coded Gaze Unmasking Algorithmic Bias 2018 Disponível em httpswwwyoutubecomwatchv162VzSzzoPst1s Citado 2 vezes nas páginas 9 e 24 Referências 34 CARNEIRO A S FISCHMANN R A construção do outro como nãoser como fundamento do ser 2005 Dissertação Mestrado Universidade de São Paulo Citado 2 vezes nas páginas 9 e 18 CESEC Levantamento revela que 905 dos presos por monitoramento facial no Brasil são negros 21112019 Online Disponível em Levantamentorevelaque905 dospresospormonitoramentofacialnoBrasilsaonegros Acesso em 17082021 Citado na página 11 CHESNEY B CITRON D Deep Fakes A Looming Challenge for Privacy Democracy and National Security HeinOnline Citado na página 23 CNBC Disponível em httpswwwcnbccom20200610amazonbanspoliceuseof facialrecognitiontechnologyforoneyearhtml Citado na página 22 COECKELBERGH M AI Ethics Mit Press 2020 Disponível em httpsmitpressmitedu booksaiethics Citado 2 vezes nas páginas 9 e 21 COMPANY F Disponível em httpswwwfastcompanycom90516450ibmmicrosoftand amazonsfacerecognitionbansdontgofarenough Citado na página 22 CONDEGE 83 dos presos injustamente por reconhecimento fotográfico no Brasil são negros 2021 Disponível em httpsg1globocomfantasticonoticia20210221 exclusivo83percentdospresosinjustamenteporreconhecimentofotograficonobrasil saonegrosghtml Citado na página 27 DAVIS A Freedom Is a Constant Struggle 2016 Citado 2 vezes nas páginas 9 e 18 DEEP Face Recognition Citado 2 vezes nas páginas 14 e 22 DENG J et al ArcFace Additive Angular Margin Loss for Deep Face Recognition 2019 Citado na página 22 DIOP C A The African Origin of Civilization Myth or Reality Paris Présence Africaine 1955 552 p Citado na página 17 FANON F Pele negra máscaras brancas Sl Ubu Editora 19112020 Citado na página 17 GERMAN coalition backs ban on facial recognition in public places 24112021 Disponível em httpswwwpoliticoeuarticlegermancoalitionbacksbanonfacialrecognitionin publicplaces Citado na página 29 GRAVAÇÕES ajudam a combater violência politicial Disponível em httpsnoticiasr7com saopaulodeminneapolisaspcelularedefesaemcasosdeabusopolicial30012021 Citado na página 17 GUETTA N et al Dodging Attack Using Carefully Crafted Natural Makeup arXivLabs experimental projects with community collaborators 2021 Disponível em httpsarxivorgabs210906467 Citado na página 22 HAYKIN S S Redes neurais artificiais princípio e prática 2 extordfeminine Edição Bookman São Paulo Brasil 2000 Citado 2 vezes nas páginas 14 e 15 Referências 35 HEILWEIL R Big tech companies back away from selling facial recognition to police Thats progress 11062020 Online Disponível em httpswwwvoxcomrecode2020 61021287194amazonmicrosoftibmfacialrecognitionmoratoriumpolice Acesso em 08082021 Citado 2 vezes nas páginas 11 e 22 HOLMES K C et al Black Inventors Crafting Over 200 years of Success Sl Global Black Inventor Research 11062012 179 p Citado na página 31 HORA A C da Resgate do passado é essencial para a conquista do futuro 2020 Disponível em httpswww1folhauolcombrcolunasperifaconnection202001resgate dopassadoeessencialparaaconquistadofuturoshtml Citado na página 30 HORA N da Deep Fakes Manipulações Digitais Perigosas para o século XXI 2021 MIT Technology Review Brasil Disponível em httpsmittechreviewcombrdeepfake manipulacoesdigitaisperigosas Citado na página 23 JO E S GEBRU T Lessons from Archives Strategies for Collecting Sociocultural Data in Machine Learning In Proceedings of the 2020 Conference on Fairness Accountability and Transparency New York NY USA Association for Computing Machinery 2020 FAT 20 ISBN 9781450369367 Disponível em httpsdoiorg10114533510953372829 Citado 3 vezes nas páginas 24 26 e 28 KEARNS A R M The Ethical Algorithm The Science of Socially Aware Algorithm Design Sl Oxford University Press 01112019 Citado na página 21 KREMER B DIREITO E TECNOLOGIA EM PESPECTIVA AMEFRICANA Autonomia algoritmos e vieses raciais 2021 Tese Direito PUCRio Citado na página 31 LESLIE D Understanding bias in facial recognition technologies CoRR abs201007023 2020 Disponível em httpsarxivorgabs201007023 Citado na página 24 LUAL S Racismo Estrutural Sl sn 2020 Citado na página 9 LYRA E Ética Inteligência Artificial e Resistências 24112021 Disponível em httpsyoutubeerNqT36Vb8Q Citado na página 21 NASCIMENTO A O Genocídio do negro brasileiro Processo de um Racismo Mascarado Sl sn 2016 Citado na página 9 NASCIMENTO A O Quilombismo Documentos de uma Militância PanAfricanista Sl sn 2019 Citado 2 vezes nas páginas 9 e 31 NASCIMENTO D S et al TRUTH AND ETHICS IN THE THOUGHT OF MARTIN HEIDEGGER 2007 Dissertação Mestrado PONTIFÍCIA UNIVERSIDADE CATÓLICA DO RIO DE JANEIRO Disponível em httpwwwmaxwellvracpuc riobrBuscaetdsphpstrSecaoresultadonrSeq100511 Citado na página 20 NELSON THUY LINH NGUYEN TU A H H A Technicolor Race Technology and Everyday Life Sl sn 2002 Citado na página 19 NOBLE S Algoriths of Opression How Search Engines Reinforce Racism Sl NYU Press 2019 Citado na página 30 Referências 36 NOBLE S ROBERTS S Elites tecnológicas meritocracia e mitos pós raciais no Vale do Silício Fronteiras estudos midiáticos v 22 05 2020 Citado na página 31 ONEIL C Weapons of Math Destruction How Big Data Increases Inequality and Threatens Democracy USA Crown Publishing Group 2016 ISBN 0553418815 Citado 2 vezes nas páginas 21 e 24 PARKHI O M VEDALDI A ZISSERMAN A Deep face recognition British Machine Vision Association 2015 Citado 2 vezes nas páginas 14 e 22 PODCAST O Episódio 3 Robótica e Educação em Senegal com Dauda Barry 032020 Disponível em httpsopenspotifycomepisode2zSTe79y85PFpH2dWMPjU5 Acesso em 01042021 Citado na página 17 QUEMCODABR QuemCodaBr 2019 Disponível em httpswwwgeneronumeromedia mulheresepessoasnegrassaoapenas13dosprofissionaisdetecnologiaeinovacao apontapesquisa Citado na página 31 RAJI I D et al Saving Face Investigating the Ethical Concerns of Facial Recognition Auditing In Proceedings of the AAAIACM Conference on AI Ethics and Society New York NY USA Association for Computing Machinery 2020 AIES 20 ISBN 9781450371100 Disponível em httpsdoiorg10114533756273375820 Citado na página 28 RATTS A Eu sou Atlântica sobre a Trajetória de Vida de Beatriz Nascimento Sl Impressa Oficial 2006 Citado na página 9 RUDIN C RADIN J httpswwwnytimescomwirecutterbloghowfacial recognitionworks Harvard Data Science Review v 1 n 2 11 2019 Httpshdsrmitpressmitedupubf9kuryi8 Disponível em httpshdsrmitpressmitedu pubf9kuryi8 Citado na página 27 SAN FRANCISCO Bans Facial Recognition Technology 2019 Disponível em httpswwwnytimescom20190514usfacialrecognitionbansanfranciscohtml Citado na página 29 SILVA T Visão COMPUTACIONAL E RACISMO algorítmico BRANQUITUDE E OPACIDADE NO APRENDIZADO DE máquina Revista da Associação Brasileira de Pesquisadoresas Negrosas ABPN v 12 n 31 2020 ISSN 21772770 url httpsabpnrevistaorgbrindexphpsitearticleview744 Citado na página 9 SZLI Introduction In Handbook of Face Recognition Springer New York NY sn 2005 Disponível em httpsdoiorg10100703872725771 Citado na página 12 TAIGMAN Y et al DeepFace Closing the Gap to HumanLevel Performance in Face Verification In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition CVPR Sl sn 2014 Citado 2 vezes nas páginas 14 e 22 WEST CORNELL K C N G G P THOMAS K Critical Race Theory The Key writings that formed the movement 1995 Citado 2 vezes nas páginas 9 e 19