Pontos cegos na Ética de IA Nicholas Kluge Corrêa Mestre em Engenharia Elétrica e Doutorando em Filosofia (PUCRS), nicholas.correa@acad.pucrs.br, ORCID: 0000-0002-5633-6094 Programa de Pós-Graduação em Filosofia da Pontifícia Universidade Católica do Rio Grande do Sul, Brasil Av. Ipiranga, 6681 Partenon, Porto Alegre RS, 90619-900. Resumo Existe uma ligação interessante entre a teoria crítica e certos gêneros de literatura, algo que pode vir a ser útil para o debate atual sobre a ética de IA. Enquanto a teoria crítica geralmente aponta certas deficiências no presente para criticá-lo, a futurologia e gêneros literários como o Cyberpunk, extrapolam nossos défices atuais em possíveis futuros distópicos para criticar o status quo. Dado o avanço da indústria de IA nos últimos anos, um número crescente de questões éticas tem sido levantado e debatido, geralmente na forma de diretrizes éticas e manuscritos publicados por agências governamentais, pelo setor privado, e por fontes acadêmicas. Entretanto, recentes metanálises do campo de ética de IA levantaram questões importantes, tais como: o que está sendo omitido das diretrizes éticas publicadas? A governança da IA ocorre de forma inclusiva e diversificada? Esta forma de "ética", baseada em regras e princípios brandos, é eficiente? Neste estudo pretendo apresentar aspectos omitidos ou pouco mencionados no debate atual sobre ética de IA, e defender que a ética aplicada não deve ser baseada na criação de versões brandas de legislação real, mas sim na crítica ao status quo para tudo o que é desconsiderado. Palavras-chave: Ética da máquina, Ética de IA, Governança de IA, Diretrizes éticas, Princípios éticos Destaques  Princípios éticos não devem ser usados como políticas brandas para a indústria de IA.  As diretrizes éticas atuais omitem vários problemas sociais e ecológicos.  O papel da ética aplicada à IA é revelar questões valiosas que são desconsideradas. Abstract There is an interesting link between critical theory and certain genres of literature that may be of interest to the current debate on AI ethics. While critical theory generally points out certain deficiencies in the present to criticize it, futurology and literary genres such as Cyberpunk, extrapolate our present deficits in possible dystopian futures to criticize the status quo. Given the great advance of the AI industry in recent years, an increasing number of ethical matters have been raised and debated, usually in the form of ethical guidelines and unpublished manuscripts by governments, the private sector, and academic sources. However, recent meta-analyses in the field of AI ethics have raised important questions such as: what is being omitted from published ethical guidelines? Does AI governance occur inclusively and diversely? Is this form of "ethics", based on soft rules and principles, efficient? In this study, I would like to present aspects omitted or barely mentioned in the current debate on AI ethics and defend the point that applied ethics should not be based on creating only soft versions of real legislation, but rather on criticizing the status quo for everything of value that is disregarded. Keywords: Machine ethics, AI ethics, AI governance, ethical guidelines, ethical principles 2 Pontos cegos na Ética de IA Highlights  Ethical principles should not be used as soft policies for the AI industry.  Current ethical guidelines omit several social and ecological problems.  The role of applied ethics in AI is to reveal valuable issues that are disregarded. I. Teoria Crítica e Cyberpunk Sistemas autônomos inteligentes cada vez mais estão se tornando parte e ajudando a moldar nossa sociedade. Tarefas e trabalhos anteriormente realizados por nós, agora são delegados a sistemas embutidos com inteligência artificial (IA) (Maynard, 2015). A chamada 4a Revolução Industrial é o culminar da era digital, onde tecnologias como robótica, nanotecnologia, genética e inteligência artificial prometem transformar nosso mundo e a maneira como vivemos (Mulhall, 2002), e no momento atual, a tecnologia mais acessível e massivamente utilizada em nossa sociedade é a IA. Uma das grandes diferenças entre este momento atual de modernização tecnológica e os que já ocorreram no passado, é que as máquinas estão progressivamente ultrapassando nossas capacidades cognitivas em diversas áreas. Dado o tamanho e complexidade que nossa sociedade alcançou, seres humanos sozinhos não são capazes de lidar com as exigências de certos processos vitais para nossa civilização, e cada vez mais contamos com a ajuda de sistemas autônomos inteligentes para a manutenção de nossa estrutura social. Podemos dizer sem muitas controvérsias que nossa sociedade atual não poderia existir sem a ajuda de tais tecnologias. Samuel Butler (1863), em seu trabalho intitulado "Darwin Among the Machines", questionou nossa "escravidão quiescente" à tecnologia, argumentando que um dia chegaríamos ao ponto de que a sociedade não seria mais capaz de se separar de suas criações tecnológicas, pois, isso seria equivalente ao suicídio do status quo. Nas palavras de Butler: "[...] isto provaria imediatamente que a maldade já está feita, que nossa servidão já começou [...]". No final, se toda a modernização tecnológica que experienciamos resultará em um futuro onde nossos valores serão preservados ainda é uma pergunta sem resposta. Entretanto, o que a história pode nos ensinar é que o progresso raramente foi intencionalmente retardado em 3 Pontos cegos na Ética de IA nome da preservação do que chamamos de valores. O que geralmente ocorre é uma mudança no que nós, como indivíduos e sociedade, valorizamos. A incerteza que temos em relação ao tipo de futuro que estamos criando tem levantado várias críticas e advertências de áreas como sociologia, literatura e filosofia. Teoria crítica contemporânea, com suas origens na sociologia e crítica literária, propõe uma avaliação reflexiva da sociedade, de modo a revelar e contestar certos défices em suas estruturas de poder subjacentes. Existe uma relação interessante entre as críticas feitas por teóricos críticos contemporâneos, como Craig Calhoun (1995), Paul Virilio (1997) e Hartmut Rosa (2010), e outras formas de literatura crítica. Ressalto que enquanto a teoria crítica se concentra no passado e no presente para apontar falhas e défices em nossa sociedade, outra forma possível de crítica envolve a extrapolação do futuro para criticarmos o presente. Cyberpunk, um subgênero da ficção científica, procura mostrar como nossos avanços tecnológicos podem levar nossa sociedade a futuros distópicos. Esta forma de literatura teve origem entre os anos 60 e 70 do século XX, com autores como Philip K. Dick (Do Androids Dream of Electric Sheep?), John Brunner (Stand on Zanzibar) e William Gibson (Neuromancer). Durante os anos 80 e 90, com a globalização sendo alimentada pelas forças políticas e econômicas neoliberais, combinada com os avanços tecnológicos característicos do final do século XX (internet, IA, robótica, realidade virtual, genética), originou-se uma forma de literatura que ganharia popularidade em outros nichos culturais. Fredric Jameson, crítico literário e teórico marxista define o cyberpunk como: "[...] a suprema expressão literal, se não do pós-modernismo, então do próprio capitalismo tardio" (Jameson, 1991, p. 417). Semelhante a Jameson, o sociólogo Jean Baudrillard foi particularmente sagaz em sua crítica de como a revolução dos meios de comunicação mudara completamente nossa estrutura social. Para Baudrillard (1994), dado o rápido ritmo de transformação social e cultural que estamos experienciando, os estudos sociológicos estão cada vez mais se aproximando do que chamamos de ficção científica, onde progressivamente precisamos antecipar a mudança social enquanto ela está acontecendo. Dessa forma, podemos pensar no cyberpunk como uma ruptura da divisão do que chamamos de teoria social/cultural e ficção científica/Futurologia. A influência do cyberpunk finalmente chegou à filosofia em áreas como política, metafísica, e ontologia, com filósofos como Mark Fisher e Nick Land. O escritor e ativista Mike Davis em seu livro "Beyond Blade Runner": Urban Control, The Ecology of Fear" (1992, p.3) afirma: "[...] a ficção científica extrapolativa pode operar como um pré-figurativo para a teoria social, servindo como oposição política ao ciber-fascismo que espreita no horizonte". Argumento que o tipo de crítica feita pelo cyberpunk é semelhante a outras formas de crítica encontradas na sociologia e filosofia, como, por exemplo, uma crítica ao conceito antropomórfico que divide áreas como a filosofia da mente e IA. O termo ciborgue (meio-orgânico, meia-máquina) pode ser entendido como uma crítica à ideia antropomórfica de humanidade, de agência, de inteligência, e de mente. Segundo Haraway (1991) em seu trabalho "Simians, Cyborgs and Women: The Reinvention of Nature", a ideia de ciborgue rejeita as divisões entre conceitos como humano, animal, máquina, e rejeita a noção de essência humana, algo que Haraway usa em sua filosofia feminista. O que vemos atualmente, especialmente no contexto da ética de máquina e IA, é uma resposta consciente à crítica pós-moderna do cyberpunk, ou seja: como podemos evitar a marcha cega para o futuro distópico? Novas formas de pensamento filosófico, como certas vertentes do movimento Transumanista, como o Sigulitarismo (Bostrom, 2002; Kurzweil, 2005; Chalmers, 4 Pontos cegos na Ética de IA 2010; Sotala, 2018), debatem criticamente os possíveis futuros que nossa aceleração social e tecnológica podem estar co-criando, e como podemos visar a integração e o florescimento humano, ao invés de possibilidades mais sombrias. Neste contexto, a premissa para questões de segurança envolvendo nosso avanço tecnológico é baseada em uma ideia de utopia negativa, nas palavras de Robert Tally: Antes de tudo, o impulso utópico deve ser negativo: identificar o problema ou problemas que devem ser corrigidos. Longe de apresentar um mundo idílico, feliz e realizado, as utopias devem inicialmente apresentar as causas fundamentais dos males da sociedade [...] para agir como uma crítica ao sistema existente (Tally, 2009, p. 115). Podemos assim estabelecer o parecer proposto pela teoria crítica, o Singulitarismo, a ética de máquina e IA, a pesquisa de segurança em IA, e o próprio ciberpunk, como uma forma de impulso utópico negativo, ou uma crítica pós-moderna voltada ao presente, usando nosso possível futuro como objeto de pesquisa. No caso da ética de IA, há vários problemas abertos relacionados a como a IA pode afetar nossa sociedade. Questões como o desemprego tecnológico (Frey & Orsborne, 2013), privacidade e segurança de dados pessoais (Abadi et al, 2016), o uso de armas letais autônomas (Docherty, 2012), os efeitos colaterais sociais, políticos, e ecológicos da IA (Casilli, 2017), e o quão polarizado e tendencioso é o atual cenário da indústria de IA em geral (Hagendorff, 2020). Neste estudo, tentarei apresentar algumas das principais questões sendo discutidas dentro da literatura envolvendo ética de IA, e, ao mesmo tempo, buscarei expor quais os pontos que estão sendo esquecidos. II. Questões de segurança e Ética de IA Dado o poder transformador da IA, seja para o benefício ou detrimento de nossa sociedade, seria extremamente importante chegar a um consenso sobre as normas e diretrizes que regulamentariam tais tecnologias. O campo da segurança e da ética de IA é uma área de pesquisa emergente que ganhou popularidade nos últimos anos, onde várias organizações, privadas, públicas, e governamentais, publicaram diretrizes propondo princípios éticos para melhorar a regulamentação de sistemas autônomos inteligentes (Russell, Dewey, & Tegmark, 2015; Amodei et al, 2016; Boddington, 2017; Goldsmith & Burton, 2017; Greene, Hofman, & Stark, 2019). Jobin, Ienca, & Vayena (2019) em sua meta-análise, mapearam os países responsáveis pela produção das diretrizes éticas existentes para a regulamentação da IA. A pesquisa dos autores identificou 84 documentos contendo diretrizes éticas para sistemas autônomos inteligentes, divididos por onze princípios éticos: transparência, justiça e equidade, não maleficência, responsabilidade, privacidade, beneficência, liberdade e autonomia, confiança, dignidade, sustentabilidade, e solidariedade, com convergência em torno de cinco princípios; transparência, justiça, não maleficência, responsabilidade, e privacidade. Os autores também identificaram um aumento de 88% nas publicações envolvendo a ética de IA desde 2016, mostrando também que a maioria dos documentos publicados veio de instituições privadas (22,6%), organizações governamentais (21,4%), e instituições acadêmicas de pesquisa científica (10,7%), outros documentos tendo origens variadas. De acordo com a meta-análise de Hagendorff (2020), das principais diretrizes éticas publicadas nos últimos cinco anos, os 5 Pontos cegos na Ética de IA principais princípios éticos citados são, semelhantes aos mencionados por Jobin et al: responsabilidade, explicabilidade, e privacidade, aparecendo em praticamente todas as diretrizes publicadas. Estes princípios podem ser descritos da seguinte forma:  Responsabilização: como tornar a indústria de IA responsável por suas tecnologias. Por exemplo, no contexto dos veículos autônomos, que tipo de garantias e responsabilidades as empresas que desenvolvem veículos autônomos devem oferecer à sociedade (Maxmen, 2018)?  Explicabilidade: transparência, interpretabilidade - estes conceitos destacam um dos maiores défices nas técnicas contemporâneas de aprendizagem de máquina. Ou seja, todas as formas de sistemas de aprendizado de máquina (bottom-up) são caixas pretas, e é muito difícil explicar o processo interno destes sistemas (Mittelstadt, Russell, & Wachter, 2019);  Privacidade: Uma analogia interessante com a segunda revolução industrial é que os dados são como carvão para a indústria de IA, e as grandes empresas de tecnologia, como Google, Amazon, e Facebook, são as "minas de carvão" de hoje. A abundância de dados que produzimos diariamente garante uma fonte inesgotável de informações para o treinamento de sistemas de IA. Entretanto, o uso de dados pessoais sem consentimento é uma das principais preocupações encontradas na literatura envolvendo ética de IA (Ekstrand, Joshaghani, & Mehrpouyan, 2018). Jurić, Šandić, & Brcic (2020) realizaram um estudo semelhante. Uma pesquisa bibliográfica quantitativa sobre a recente expansão da pesquisa de segurança em IA e seus principais tópicos de interesse. Os autores relataram um aumento no número de publicações envolvendo questões de segurança em IA de 2003 a 2010. A motivação comum para interesses de curto e longo prazo em segurança e ética de IA é a mesma: como tornar a interação entre humanos e IA segura e benéfica? E é a isto que muito do debate contemporâneo sobre ética de IA tem se delimitado: aos problemas que surgem entre a interação entre seres humanos e sistemas autônomos inteligentes. Nele, encontramos questões como: podemos tornar agentes que operam por técnicas de aprendizagem de máquina, como a aprendizagem por reforço, corrigíveis (Soares et al, 2015; Turner et al, 2020)? Como podemos minimizar os efeitos colaterais indesejados quando o ambiente de implantação de nosso sistema de IA é diferente de seu ambiente de treinamento (Amodei et al, 2016)? Como alinhar os objetivos terminais dos sistemas de IA com nossos interesses e valores (Soares, 2016; Russel, 2019)? E até mesmo, como integrar a sociedade humana em uma era pós-Singularidade (Chalmers, 2010). Uma pesquisa interessante em ética de máquina, com um aspecto mais prático e aplicável a curto prazo, tem sido feita na investigação de preferências envolvendo dilemas morais e veículos autônomos. Dada a diversidade de nossa paisagem moral global, e reconhecendo que as estruturas éticas não são estáticas, mas dinâmicas, o estudo das preferências humanas, suas diferenças e semelhanças transculturais é um tópico muito importante para o desenvolvimento de políticas que visem regulamentar o uso da IA. O experimento Moral Machine1 conduzido por Awad et al (2018) é uma pesquisa online projetada para explorar os dilemas morais enfrentados por veículos autônomos, utilizando a estrutura formal do conhecido problema do 1 Disponível em: https://www.moralmachine.net/ 6 Pontos cegos na Ética de IA Bonde. A plataforma obteve um alcance muito grande, reunindo 40 milhões de decisões, em dez idiomas, de 10 milhões de pessoas em vários países diferentes. Na experiência, as preferências morais globais foram resumidas em nove grupos diferentes, que caracterizam certos padrões de decisão, como a preferência pela inação, a preferência por salvar mulheres em vez de homens, a preferência por salvar mais pessoas, etc. Medindo as variações individuais das preferências, baseadas nos dados demográficos dos participantes, foram observadas diferenças éticas transculturais agrupadas em três grandes grupos de países: Orientais (formado principalmente por países e culturas islâmicas e confucionistas), Ocidentais (formado por países protestantes, católicos e ortodoxos na Europa) e Sulistas (formado por países latino-americanos na América Central e do Sul, e vários países africanos). As distribuições entre os três grupos revelaram diferenças marcantes, por exemplo: o grupo oriental era característico por preferir salvar mais vidas e poupar os pedestres em detrimento dos motoristas. O grupo ocidental tinha uma forte preferência pela inação, e poupar os mais jovens. Enquanto isso, os países pertencentes ao grupo Sulista mostraram uma preferência mais forte por salvar mulheres quando comparados aos outros grupos (Awad et al, 2018). Awad et al (2020) mostraram outro resultado coletado da plataforma Moral Machine, segundo os autores, o novo estudo aponta que a mobilidade relacional de um país (como é fácil para os indivíduos de uma determinada comunidade criar laços e relacionamentos) influencia a forma como os dilemas morais são avaliados e julgados, por exemplo: sociedades com baixa mobilidade relacional apresentam uma rejeição muito maior do conceito utilitário de "sacrifício pelo bem maior". Ambos os estudos conduzidos por Awad et al (2018, 2020) servem como evidência a favor do argumento de que os princípios éticos não podem ser baseados em uma única visão (ocidental, oriental, eurocêntrica, etc.) da ética de IA. Contudo, existiria um consenso global e democrático sobre tais princípios regulatórios? O que esta sendo omitido deste debate? E mais importante, tais princípios éticos são eficazes para regulamentar o uso e desenvolvimento da IA? Hagendorff (2020) aponta em sua meta-análise que os principais princípios mencionados nos estudos mais recentes que procuram estabelecer diretrizes éticas para a regulamentação da IA já têm um embasamento teórico e técnico considerável para garantir aspectos como transparência, imparcialidade e preservação da privacidade. Entretanto, várias outras questões ainda não são mencionadas nem pela metade dos guias éticos publicados. Segundo Hagendorff, dos 22 estudos avaliados, apenas 9 mencionam direitos trabalhistas e desemprego tecnológico, 8 estudos mencionam a militarização da IA e a nova corrida armamentista, e apenas dois estudos mencionam a falta de diversidade no desenvolvimento de IA alinhada e problemas relacionados à sustentabilidade, tais como esgotamento de recursos naturais e "clikworking". Nas seções seguintes, revisarei quatro princípios que dificilmente são abordados pela literatura de ética de IA: Os custos ecológicos, políticos e sociais ocultos envolvendo o desenvolvimento da IA; a nova corrida armamentista que busca desenvolver armas autônomas inteligentes; o desemprego tecnológico e a desigualdade na distribuição de renda; e finalmente, a falta de diversidade presente tanto na indústria da IA quanto no desenvolvimento de guias éticos para a IA. III. Custos ocultos e efeitos colaterais 7 Pontos cegos na Ética de IA De acordo com Jobin et al (2019), a sub-representação de princípios éticos como a sustentabilidade, reforça a ideia de que o custo humanitário da mudança climática antropogênica está sendo negligenciado pelos países menos afetados, ou seja, os mais desenvolvidos. De fato, muito poucas diretrizes éticas mencionam os custos sociais e ecológicos associados à nossa atual indústria tecnológica. Talvez isto se deva ao fato de que é esta indústria que tem um alto custo ecológico e social associado a ela. Por exemplo, a extração de minerais fundamentais para a construção de componentes microeletrônicos, como o coltan, é conhecida por violar os direitos humanos como o trabalho infantil e a exploração sistemática de populações que vivem em países subdesenvolvidos (Montague, 2002). Além das questões humanitárias relacionadas à mineração de coltan, o próprio processo de mineração pode ser perigoso para o meio ambiente de várias maneiras, geralmente poluindo ecossistemas próximos aos locais de mineração (Taffel, 2012). Outro problema humanitário envolvendo a exploração de mão-de-obra ocorre com os trabalhadores clicados (clickworking). O trabalho com click é um tipo de tarefa essencial para o treinamento de sistemas de IA. Geralmente a aprendizagem de máquina requer grandes quantidades de dados rotulados para se tornar proficiente em certas tarefas. Assim, os humanos são contratados para realizar tarefas digitais extremamente fáceis (como classificação de imagens) (Irani, 2016; Silberman et al, 2018). Normalmente o trabalho por clique não oferece salário mínimo de trabalho, pagando menos de 2 dólares por hora, e às vezes até cobrando comissões por cada transação feita. Além disso, os trabalhadores com clique têm dificuldade em receber pagamento, obter assistência técnica ou qualquer outro tipo de apoio das empresas para as quais trabalham (Harris, 2014). Para aqueles que acompanham os recentes avanços no campo da IA, sabe-se que um dos principais paradigmas no campo atual envolve o processamento de linguagem natural, e o uso de uma nova forma de arquitetura chamada "Transformer", proposta por Vaswani et al (2017). Em junho de 2020, OpenAI lançou GPT-3 (Generative Pre-Train Transformer 3), um transformador com 175 bilhões de parâmetros de linguagem. Em seu estudo, os autores mostraram a capacidade do GPT-3 de gerar amostras de textos como poemas, artigos e notícias, dos quais os avaliadores humanos tinham dificuldade, ou não eram capazes, de distinguir de artigos escritos por humanos2(Brown et al, 2020). Brown et al (2020) fornecem uma análise preliminar em seu estudo, onde relatam uma série de limitações e comportamentos antiéticos ou inseguros presentes em seu modelo. Nele, os autores demonstram vários enviesamentos presentes em GPT-3, reminiscente do caso "Tay bot" da Microsoft (Wolf, Miller, & Grodzinsky, 2017). Além disso, existe o potencial de aplicação maliciosa deste tipo de tecnologia, por exemplo, na geração de notícias falsas para desinformação em massa ou na geração de bots em plataformas como o Twitter, para torná-lo mais tendencioso. De acordo com a meta-análise de Hagendorff (2020), muito poucas diretrizes éticas mencionam o problema da engenharia social através do uso da IA. Não é segredo que líderes políticos fazem uso de "bots políticos", ou seja, geradores de texto automatizados que imitam usuários reais com propósitos políticos. Howard & Kollanyi (2016) 2 Aos interessados, é possível testar os modelos GPT-2 e GPT-3 na seguinte plataforma: https://play.aidungeon.io/main/landing 8 Pontos cegos na Ética de IA demonstraram em seu estudo, destinado a investigar o uso de bots políticos na plataforma Twitter durante o referendo britânico sobre a adesão à União Européia (#strongerin versus #brexit), que menos de 1% das amostras de contas (bots) geraram quase um terço de todas as mensagens sobre o referendo. No Brasil, o uso de propaganda computacional e bots políticos foi detectado durante o impeachment da ex-presidente Dilma Rousseff (Arnaudo, 2017). E mais atualmente, de acordo com o Bot Sentinel3, uma das hashtags mais utilizadas por bots no Twitter é "#BOLSONAROORGULHODOBRASIL", em 2o lugar. Em 1o lugar encontramos a hashtag "#TRUMP2020". Monteiro et al (2018) argumentam que a escassez de conjuntos de dados rotulados em português dificulta o treinamento de classificadores para detectar notícias falsas, algo que pode ser generalizado para qualquer idioma que não tenha grandes conjuntos de dados rotulados. Outro risco potencial raramente mencionado pelas diretrizes éticas publicadas é a criação de inteligência artificial avançada (AGI ou Singularidade). Embora uma grande parte da comunidade científica que trabalha no desenvolvimento da IA descarte ou ignore esta possibilidade, é importante enfatizar que há outra parte considerável da comunidade científica, representada por centros de pesquisa como o Centre for the Study of Existential Risk em Cambridge, o Future of Life Institute em Boston, e o Future of Humanity Institute em Oxford, que levantam a importância deste debate para o desenvolvimento a longo prazo de IA benéfica (Good, 1965; Kurzweil, 2005; Bostrom; 2014; Horvitz, 2014; Barrett & Baum, 2017; Tegmark, 2017; Sotala, 2018; Russel, 2019). IV. Militarização da IA O Armed Conflict Location & Event Data Project (ACLED) é um infográfico online interativo, constantemente atualizado, que mostra países onde há confrontos armados entre as forças do Estado e grupos civis/rebeldes. Ele mostra que a ocorrência de conflitos em nosso mundo é algo extremamente comum4. Mesmo durante a atual pandemia causada pelo novo coronavírus, há várias crises emergentes ocorrendo em lugares como Sahel, México, Iêmen, Índia, Somália, Irã, Afeganistão, Etiópia, Líbano, e até mesmo nos Estados Unidos, com os últimos tumultos contra a violência policial e o racismo estrutural (Nsaibia et al., 2020). Acrescentando ao nosso cenário atual, desde 2010 as principais superpotências da sociedade global têm se envolvido em uma corrida armamentista para desenvolver as melhores forças militares equipadas com IA (Geist, 2016; Maas, 2019; Roff, 2019), algo que tem sido negligenciado pelos atuais debates sobre a regulamentação da IA. À primeira vista, a militarização da IA parece contrária a toda a lista de princípios éticos produzidos pela indústria, academia, e governos. Paradoxalmente, estes mesmos governos, aliados à indústria de IA e instituições privadas, são os que mantêm o desenvolvimento de armas inteligentes autônomas como uma área de pesquisa e desenvolvimento ativo, algo que vai contra qualquer conceito de IA benéfica/prosocial (Floridi et al, 2018). Vários países já possuem programas para o desenvolvimento de 3 Disponível em: https://botsentinel.com/trending-topics/top-hashtags 4 Disponível em: https://acleddata.com/dashboard/#/dashboard 9 Pontos cegos na Ética de IA armas dotadas de IA. Garcia (2019) observa em sua análise da pesquisa e desenvolvimento de armas autônomas, que pelo menos sete países Estados Unidos, China, Rússia, Reino Unido, França, Israel e Coréia do Sul se destacam por seu substancial engajamento no desenvolvimento de armas autônomas inteligentes. Os Estados Unidos sendo o maior investidor na indústria militar mundial, de acordo com seu Departamento de Defesa5. Em 2018, os EUA lançaram o Joint Artificial Intelligence Center (JAIC) para acelerar o desenvolvimento das capacidades de IA em sistemas militares. Um dos projetos atualmente em desenvolvimento pelo Pentágono e pela Defense Advanced Research Projects Agency (DARPA) é o Projeto Maven, onde o aprendizado de máquinas é usado para desenvolver melhores técnicas para distinguir pessoas e objetos em vídeos de drones, o que os torna cada vez mais capazes de executar ataques a alvos específicos (Crofts & van Rijswijk, 2020). Seguindo os Estados Unidos, a China é o segundo maior investidor global em IA. A China aumentou gradualmente seus investimentos na indústria de IA, aproveitando sua coordenação interna entre o setor privado e as agências governamentais, incentivada pela criação da Military-Civil Fusion Development Commission em 20176, pretendendo tornar-se o líder mundial em desenvolvimento de inteligência artificial por volta de 20307. De acordo com Elsa Kania em sua revisão da literatura disponível sobre a expansão militar do Exército de Libertação Popular envolvendo o uso de IA: O Exército de Libertação Popular pode ter a capacidade de alavancar a IA para alcançar uma vantagem no futuro campo de batalha [...] Como os Estados Unidos e a China competem para inovar neste novo domínio tecnológico, as assimetrias entre suas abordagens podem resultar em dinâmicas inesperadas e desestabilizadoras. Na prática, mesmo diferenças potenciais entre a IA desenvolvida nos EUA e na China resultantes dos dados usados para treinar os algoritmos subjacentes e os parâmetros associados poderiam causar interações imprevistas no campo de batalha ou percepções errôneas (Kania, 2017, p. 44). Além de seu programa militar, a China tem uma política de vigilância em massa em seu território, supervisionando a vida de praticamente todos os cidadãos chineses. O monitoramento realizado pelo governo chinês utiliza mais de 200 milhões de câmeras digitais conectadas à Internet, onde sistemas inteligentes de reconhecimento facial auxiliados por outros tipos de tecnologia, tais como drones de vigilância, policiais autônomos, e grandes quantidades de dados adquiridos em plataformas de mídia social, garantem ao governo um sistema extremamente robusto para monitorar seus cidadãos. Em 2015, a China declarou sua 5 Summary of the 2018 Department of Defense Artificial Intelligence Strategy: harnessing AI to advance our security and prosperity, Washington, DC, pp. 7-8, 2018. Disponível em: https://media.defense.gov/2019/Feb/12/2002088963/-1/-1/1/Summary-of-DoD-AI-Strategy.pdf 6 Xi Jinping Presides Over the First Plenary Session of the Central Military-Civil Fusion Development Committee. Xinhua, June 20, 2017. Disponível em: http://news.xinhuanet.com/politics/201706/20/c_1121179676.htm 7 CCP State Council Releases the "National Innovation-Driven Development Strategy Guidelines. Xinhua, May 19, 2016. Disponível em: http://news.xinhuanet.com/politics/2016-05/19/c_1118898033.htm 10 Pontos cegos na Ética de IA intenção de construir uma rede nacional de vigilância por vídeo onipresente até 2020, totalmente conectada à Internet e operando ininterruptamente para garantir a segurança pública (Mozur, 2018). Além dos Estados Unidos e da China, outros países também estão financiando a militarização da tecnologia da IA. A Rússia em sua intervenção militar na Guerra Civil Síria utilizou pequenos veículos autônomos para missões de inteligência, vigilância, e reconhecimento (Sychev, 2018), e em 2017 a Rússia recusou a proposta da ONU de proibição de armas autônomas, declarando que as restrições seriam prejudiciais para a inovação8. As armas autônomas também permitem uma nova forma de "guerra ao terror", onde ataques remotos podem ser feitos sobre alegações duvidosas de "autodefesa antecipada", como ocorre em várias regiões do Oriente Médio. Haas & Fischer (2017) também argumentam que tecnologias como as desenvolvidas pelo Projeto Maven permitiram uma maior expansão de assassinatos direcionados, algo que poderia inevitavelmente cair nas mãos de grupos terroristas como o Estado Islâmico. Considerando todos os aspectos mencionados, e muitos outros que não foram cobertos, é impressionante que, segundo Hagendorff (2020), menos da metade dos guias de ética publicados nos últimos cinco anos mencionam o uso de IA para a guerra. V. Desigualdade da Riqueza A automação de processos que antes eram realizados por indivíduos humanos tem sido uma das principais fontes de desemprego tecnológico nos últimos dois séculos (Peters, 2017). Muitos empregos e formas de ocupação não duraram mais de um século em nossa sociedade, tais como telefonistas, datilógrafos, ascendedores de postes públicos, coletores de solo noturno, operadores de elevadores, cortadores de gelo, queimadores de fornos e muitas outras ocupações laborais. Atualmente, com o uso da IA empresas podem reduzir drasticamente sua necessidade de mão-de-obra humana para diminuir seus custos. Entretanto, a adoção desta política de gestão tem duas consequências óbvias: i. Acúmulo de riqueza para as empresas orientadas ao desenvolvimento da IA; ii. Uma população desempregada substituída por sistemas autônomos inteligentes se encontraria sem qualquer fonte de renda. Esta realidade é melhor resumida por Erik Brynjolfsson9 na seguinte citação: "É um dos segredos sujos da economia: o progresso tecnológico faz crescer a economia e cria riqueza, mas não há nenhuma lei econômica que diga que todos serão beneficiados". Uma pesquisa realizada 8 Engineering and Technology. Russia rejects potential UN 'killer robots' ban, official statement says. Published Friday, December 1, 2017. Disponível em: https://eandt.theiet.org/content/articles/2017/12/russia-rejects-potential-un-killer-robots-ban-officialstatement-says/ 9 Entrevista por Rotman, D. (2013). How technology is destroying jobs. [online] MIT Technology Review, June 12, 2013. Disponível em: https://www.technologyreview.com/2013/06/12/178008/howtechnology-is-destroying-jobs/ 11 Pontos cegos na Ética de IA por Frey and Osborne (2013) estimou a probabilidade da automação para 702 ocupações nos EUA. O resultado mostrou uma estimativa de que 47% dessas ocupações serão eliminadas pela tecnologia durante os próximos 20 anos. Como mencionado anteriormente, as grandes empresas de IA pagam centavos pelo tipo de trabalho essencial que torna a aprendizagem de máquinas eficiente e valiosa (clickwork), o que demonstra uma certa indiferença por parte das empresas com relação às noções de igualitarismo econômico e igualdade de renda. Recentemente, em maio de 2020, mais de 90 professores universitários foram demitidos do grupo Laureate, responsável por universidades como Anhembi Morumbi, o Centro Universitário da FMU, e outras universidades no Brasil. Os profissionais demitidos eram todos responsáveis pelo ensino de disciplinas em formato de educação à distância (EAD). O grupo Laureate substituiu estes profissionais por "monitores" e ferramentas autônomas para a revisão de provas. É importante ressaltar que estas demissões foram feitas num momento crítico, durante a pandemia do novo coronavírus (Domenici, 2020). A pandemia da COVID-19 está ajudando a acelerar a perda de empregos também em outros setores. Call centers, um setor que já está sendo rapidamente automatizado, devido à pandemia da COVID 2020 teve que fechar vários locais de trabalho por motivos de condições de trabalho inseguras. Fazendo com que várias empresas intensificassem o uso de chatbots e assistentes de IA (Hao, 2020). Em relação à desigualdade da riqueza gerada pela indústria de IA, como podemos distribuir os novos bens e serviços gerados por esta economia sustentada pela automação inteligente? Uma solução para este problema seria a instituição de UBIs (Universal Basic Income) (Russell et al, 2015), mas embora ela forneça uma solução para a questão do desemprego, a instituição em massa de UBIs pode gerar outros tipos de problemas. Justin Gest (2016) em seu livro "The new minority: White working-class politics in an age of immigration and inequality" descreve como o desemprego esta correlacionado com índices de suicídio, divórcio, homicídio, roubo, e outros problemas sociais relacionados à marginalização e exclusão. Uma proposta mais recente foi sugerida por O'Keefe et al (2020), chamada de "Windfall's Clause" . A cláusula é um compromisso legal ex ante onde as empresas na área de desenvolvimento de IA se comprometem a doar uma quantia significativa de qualquer lucro extremamente grande (sendo extremamente grande algo maior ou igual ao produto mundial bruto). A cláusula garante que qualquer grande lucro inesperado gerado, por exemplo, pelo desenvolvimento de IAG (inteligência artificial geral), será usado em parte para beneficiar a humanidade. Semelhante a uma cobrança de impostos, a Windfall's Clause é uma ferramenta legal que fornece às empresas interessadas em desenvolver IA avançada, uma maneira de mostrar seu compromisso com valores benéficos e pró-sociais. De acordo com os autores da cláusula, a motivação para este projeto é:  Reduzir os efeitos econômicos do desemprego tecnológico;  Mitigar a desigualdade de renda;  Estabilizar as relações sociais entre a indústria de IA e a comunidade global;  Fortalecer normas pró-sociais que incentivam o comportamento filantrópico. Entretanto, também podemos pensar que dado o estado atual da ética de IA, propostas como "UBI's para todos" e a "Windfall clause" não passam de ideais mencionados apenas como manobras publicitárias, e não como estratégias para reverter problemas reais. Além disso, a questão de saber se indivíduos ficariam felizes e realizados se não tivessem de 12 Pontos cegos na Ética de IA contribuir/trabalhar para a sociedade é uma questão existencial complexa. Para escritores como Voltarie10, "O trabalho nos salva de três grandes males: tédio, vício e necessidade". Dostoevsky11 mostra uma reflexão semelhante em seu trabalho "Notes from the Underground". Para estes dois autores, a idéia de que a abolição do trabalho humano trará florescimento à sociedade é, na melhor das hipóteses, uma suposição equivocada. VI. Falta de diversidade na ética de IA Um relatório intitulado "The Global AI Agenda" pelo MIT Technology Review Insights12 coletou dados mostrando como o uso de tecnologias envolvendo IA esta crescendo no continente latinoamericano. De acordo com o relatório, quase 80% das grandes empresas latino-americanas usam IA de alguma forma, e mais da metade das empresas entrevistadas (55%) cita o atendimento ao cliente (com chatbots) e sistemas de recomendação utilizados no comércio eletrônico como suas principais aplicações. No entanto, uma das principais limitações que as entrevistadas relataram foi a participação limitada da América Latina no desenvolvimento de estruturas de governança global envolvendo ética de IA. O domínio da Europa e da América do Norte no desenvolvimento de tais diretrizes, dificulta a integração de tais estruturas no contexto latino-americano. Carman e Rosman (2020) levantaram a mesma questão, no entanto, eles se concentraram no continente Africano. Para esses autores, o uso de tecnologias envolvendo IA e o estabelecimento de estruturas de governança estrangeira é uma questão delicada no contexto Africano, dada a longa história de imposição de valores externos no continente. Para preservar o pluralismo cultural e moral que guiará a questão ética envolvendo a IA, os países emergentes devem ter voz neste debate global, mas este não é o estágio em que a ética de IA se encontra. Na revisão de Jobin et al (2019), dos 84 documentos expostos, nenhum tinha qualquer ligação com qualquer organização na América do Sul, África ou Oriente Médio, mostrando que países correspondentes a mais da metade do globo estão sendo excluídos do debate sobre os princípios éticos que devem nortear a futura transformação de nossa sociedade. Também na meta-análise de Hagendorff (2020), nenhuma das diretrizes éticas publicadas recentemente teve origem nas regiões citadas. Outra tendência que Hagendorff aponta é a falta de representação das mulheres no debate ético sobre IA (na verdade, em toda a indústria de IA). 10 Voltaire. Candide. Published by Cramer, Marc-Michel Rey, Jean Nourse, Lambert, and others. 1759. 11 [...]Agora pergunto-lhe: o que podemos esperar do homem enquanto criatura dotada de tão estranhas qualidades? Faça chover sobre ele todos os tipos de bênçãos terrenas; submerja-o em felicidade até acima da cabeça, de modo que só pequenas bolhas apareçam na superfície dessa felicidade, como se em água; dê a ele uma prosperidade econômica tamanha que nada mais lhe reste para ser feito, exceto dormir, comer pão-de-ló e preocupar-se com a continuação da história mundial - mesmo assim, por pura ingratidão, por exclusiva perversidade, ele vai cometer algum ato repulsivo. Ele até mesmo arriscará perder o seu pão-de-ló e desejará intencionalmente o mais depravado lodo, o mais antieconômico absurdo, simplesmente a fim de injetar o seu fantástico e pernicioso elemento no âmago de toda essa racionalidade positiva. [...] (Dostoevsky, 1992 (1864), Chapter 8, p. 21). 12 MIT Technology Review Insigh. (2020). The global AI agenda: Latin America. The global AI agenda series. Disponível em: https://mittrinsights.s3.amazonaws.com/AIagenda2020/LatAmAIagenda.pdf 13 Pontos cegos na Ética de IA Excluindo as diretrizes éticas propostas pelo instituto de pesquisa AI Now13, uma organização deliberadamente liderada por mulheres, a proporção de autores femininos e masculinos é de 31,3%. Garcia (2019) também destaca que praticamente todo o hemisfério sul está sub-representado no debate sobre a governança da IA. Como a maioria dos países em desenvolvimento ainda não tem uma indústria de IA capaz de competir com os países mais desenvolvidos, o Sul Global se encontra dependendo da boa vontade de outros governos, em uma espécie de colonialismo tecnológico. Segundo Eugenio Garcia, conselheiro sênior do Escritório do Presidente da Assembleia Geral das Nações Unidas: [...]Os líderes e estudiosos do Sul Global não podem se dar ao luxo de ficar ociosos enquanto outros tomam decisões e permitem que a militarização da IA vá mais fundo, sem obstáculos, e cada vez mais mortífera. Os países em desenvolvimento não devem ser relegados ao papel de espectadores, usuários de tecnologia, ou (pior ainda) vítimas. Cabe a todos os estados dar um passo adiante e encontrar caminhos racionais para promover a IA segura, benéfica e amigável, em vez da IA perigosa, inimiga e bélica (Garcia, 2019, pp. 19-20). Um estudo conduzido por ÓhÉigeartaigh et al (2020) também se concentrou na subrepresentação dos países em desenvolvimento e na tensão atual entre os países líderes na corrida tecnológica, com a América do Norte e a Europa representando o Ocidente, e a China como o principal protagonista na Ásia Oriental. Os autores destacam duas possíveis causas principais desta tensão entre o Ocidente e o Oriente: a cultura competitiva que define todo o conceito de "corrida tecnológica" ao invés de uma cultura cooperativa, e as diferenças filosóficas entre as culturas ocidentais e orientais, o que causa uma percepção diferente dos valores e princípios éticos. Endosso as recomendações feitas por ÓhÉigeartaigh et al no final de seu estudo, onde os autores apontam que a Academia tem um papel fundamental a desempenhar na promoção de maior cooperação intercultural em questões relacionadas com a governança e a ética de IA. Estas recomendações são:  Exigir que as agendas de pesquisa envolvendo ética de máquina e governança de IA sejam fruto da cooperação internacional e intercultural;  Traduzir a literatura existente, especialmente os principais documentos relacionados à ética e à governança de IA, para que a barreira linguística não interfira com a participação intercultural neste debate;  Assegurar que as principais conferências de pesquisa sobre IA e Ética de Máquina sejam realizadas em continentes e países alternativos;  Estabelecer programas de intercâmbio para estudantes, como doutorados e pósdoutorandos, para incentivar a colaboração intercultural e a cooperação entre pesquisadores de diferentes culturas. 13 Disponível em: https://ainowinstitute.org/ 14 Pontos cegos na Ética de IA VII. Seria a Ética de IA eficiente? Seriam todas essas agendas de pesquisa e diretrizes éticas publicadas úteis para regulamentar a indústria de IA? Para Ryan Calo (2017), as diretrizes éticas acabam servindo apenas como uma estratégia de marketing, não mitigando riscos nem impondo consequências reais quando os princípios éticos são transgredidos. Como diz Calo: "[...] Vários esforços estão em andamento, dentro da indústria, do meio acadêmico, e de outras organizações, para resolver a ética de IA. Mas esses esforços provavelmente não podem substituir a elaboração de políticas" (Calo, 2017, pp. 407-408). Em um estudo controlado, McNamara, Smith, & Murphy-Hill (2018) exploraram se as diretrizes éticas têm algum efeito sobre a tomada de decisão de engenheiros de software. Em sua pesquisa, os autores avaliaram 63 estudantes de engenharia de software e 105 desenvolvedores profissionais de software, analisando se as diretrizes éticas da Associação para Máquinas de Computação14 (ACM) teriam alguma influência nos dilemas morais relacionados à produção de software. A pergunta que os autores procuraram responder foi: A presença de um código de ética influencia as decisões éticas relacionadas ao software? E a resposta foi: "Apesar de nosso objetivo declarado, não encontramos evidências de que o código de ética da ACM influencie a tomada de decisões éticas"(McNamara et al, 2018, p. 4). Vários estudos também apoiam a ideia de que as diretrizes éticas têm pouco ou nenhum efeito na tomada de decisão de profissionais de muitas áreas diferentes (Brief et al, 1996; Cleek & Leonard, 1998; Lere & Guamnitz, 2003; Osborn et al, 2009). No contexto da ética de IA, o que percebemos é que a ética está sendo mal utilizada, no sentido de que o propósito da ética não deve ser o de criar políticas brandas que sirvam para substituir legislação real. Esta ideia ressoa com várias críticas levantadas contra o estado atual da ética de IA: Jobin et al (2020, p. 389), "Especificamente, o envolvimento do setor privado no campo da ética de IA tem sido questionado por potencialmente usar políticas brandas de alto nível como uma forma de tornar um problema social, em algo técnico, ou para evitar completamente a regulamentação"; Hagendorff (2020, p. 99), "A ética de IA - ou a ética em geral - não tem mecanismos para reforçar suas próprias reivindicações normativas"; e Rességuier & Rodrigues (2020, p. 1), "A ética tem grandes dentes poderosos. Infelizmente, mal estamos usando-as na ética de IA - não é de se admirar então que a ética da IA seja chamada de desdentada". O ponto que quero reforçar é que o papel da ética não é ser uma versão branda da lei, mesmo que as legislações sejam baseadas em princípios éticos. Não é aí que a ética encontra seu verdadeiro poder. Assim como a teoria crítica e a literatura, a verdadeira aplicação da ética está em desafiar o status quo, buscando seus défices e pontos cegos. Os verdadeiros eticistas preocupados com o estado atual da indústria de IA não só devem reforçar a repetição e defesa dos mesmos conceitos já citados por inúmeros guias publicados, mas também procurar re(visitar) todos os valores que estão sendo omitidos. Questões como diversidade, representatividade, políticas anti-guerra, igualdade na distribuição de renda e riqueza, e a preservação de nosso sistema socioecológico, devem ser os principais focos da ética de IA. Quando utilizamos criticamente a ética, estas críticas podem se tornar legislação real, utilizando 14 ACM Code of Ethics and Professional Conduct. Disponível em: http://www.acm.org/binaries/content/assets/membership/images2/fac-stu-poster-code.pdf 15 Pontos cegos na Ética de IA as ferramentas e agentes legais corretos. As legislações então implicam em consequências reais, consequências que determinamos através de debates éticos reais. VIII. Conclusão A ética aplicada não deve ser usada ou manipulada em uma versão branda da lei. Este não é o papel da ética. Atualmente, vemos várias questões sendo omitidas do debate relacionado à ética de IA. Enquanto os problemas técnicos relacionados à aprendizagem da máquina, tais como privacidade e interpretabilidade, já têm uma forte formação literária, questões sociais como desigualdade de renda, desemprego tecnológico, efeitos colaterais políticos e ecológicos, a militarização da IA, e uma total falta de diversidade na indústria de IA e sua governança, são geralmente omitidos do atual debate ético. Assim como a teoria crítica, a ética de IA deve se concentrar em destacar os aspectos negligenciados de nossa sociedade e sua relação com a indústria de IA e desafiar suas estruturas de poder, para que a promessa de "IA benéfica para todos" possa ser cumprida. Referências Abadi, M., Chu, A., Goodfellow, I., McMahan, H.B., Mironov, I., Talwar, K., & Zhang, L. (2016). Deep Learning with Differential Privacy. CCS '16: Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications SecurityOctober 2016 Pages 308–318. Retrieved from https://doi.org/10.1145/2976749.2978318 Amodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J., & Mané, D. (2016). Concrete problems in AI safety. ArXiv. Retrieved from https://arxiv.org/abs/1606.06565 Arnaudo, D. (2017). Computational Propaganda in Brazil: Social Bots during Elections. S. Woolley, & P.N. Howard (Eds). Project on Computational Propaganda, Oxford, UK. Retrieved from https://comprop.oii.ox.ac.uk/research/computational-propaganda-in-brazil-social-botsduring-elections/ Awad, E., Dsouza, S., Kim, R., Schulz, J., Henrich, J., Shariff, A., Bonnefon, J.F., & Rahwan, I. (2018). The Moral Machine Experiment. Nature. 563. DOI: 10.1038/s41586-018-0637-6 Awad, E., Dsouza, S., Shariff, A., Rahwan, I., & Bonnefon, J.F. (2020). Universals and variations in moral decisions made in 42 countries by 70,000 participants. Proceedings of the National Academy of Sciences. DOI: 10.1073/pnas.1911517117. Barrett, A., & Baum, S. (2017). A Model of Pathways to Artificial Superintelligence Catastrophe for Risk and Decision Analysis. Journal of Experimental & Theoretical Artificial Intelligence, JETAI, 29(2), 397-414. Retrieved from https://arxiv.org/pdf/1607.07730 Baudrillard, J. (1994). Simulacra and Simulation. Michigan, EUA, University of Michigan Press. Boddington, P. (2017). Towards a code of ethics for artifcial intelligence. Springer International Publishing. DOI: 10.1007/978-3-319-60648-4 16 Pontos cegos na Ética de IA Bostrom, N. (2002). Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards. Journal of Evolution and Technology, 15 (3), 308–314. Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies. Oxford, UK. OUP. Brief, A.P., Dukerich, J.M., Brown, P.R., Brett, J.F. (1996). What's wrong with the treadway commission report? Experimental analyses of the effects of personal values and codes of conduct on fraudulent financial reporting. Journal of Business Ethics, 15(2), 183–198. Retrieved from https://doi.org/10.1007/BF00705586 Brown, T., Mann, B., Ryder, N. el al. (2020). Language Models are Few-Shot Learners. ArXiv. Retrieved from https://arxiv.org/pdf/2005.14165.pdf Butler, S. (1863, June 13). Darwin Among the Machines. The Press, Christchurch, New Zealand. Retrieved from https://web.archive.org/web/20060524131242/http://www.nzetc.org/tm/scholarly/teiButFir-t1-g1-t1-g1-t4-body.html Calhoun, C. (1995). Critical Social Theory: Culture, History, and the Challenge of Difference. Wiley-Blackwell. Calo, R. (2017). Artifcial intelligence policy: a primer and roadmap. SSRN Journal, 399–435. Retrieved from http://dx.doi.org/10.2139/ssrn.3015350 Carman, M., & Rosman, B. (2020). Applying a principle of explicability to AI research in Africa: should we do it? Ethics Inf Technol. Retrieved from https://doi.org/10.1007/s10676-02009534-2 Casilli, A.A. (2017). Digital labor studies go global: Toward a digital decolonial turn. International Journal of Communication, 11, 1934–3954. Retrieved from https://ijoc.org/index.php/ijoc/article/view/6349 Chalmers, D. (2010). The singularity: A philosophical analysis. Journal of Consciousness Studies, 17 (9-10), 9–10. Cleek, M.A., & Leonard, S.L. (1998). Can corporate codes of ethics influence behavior? Journal of Business Ethics, 17(6), 619–630. Retrieved from https://doi.org/10.1023/A:1017969921581 Crofts, P., & van Rijswijk, H. (2020). Negotiating 'Evil': Google, ProjectMaven and the Corporate Form. Law, Technology and Humans, 2(1), 75-90. Retrieved from https://doi.org/10.5204/lthj.v2i1.1313 Davis, M. (1992). Beyond Blade Runner: Urban Control, The Ecology of Fear. Open Media. Docherty, B.L. (2012). Losing Humanity: The Case Against Killer Robots. New York, USA, Human Rights Watch. Retrieved from https://www.hrw.org/report/2012/11/19/losinghumanity/case-against-killer-robots 17 Pontos cegos na Ética de IA Domenici, T. (2020, May 13). Após uso de robôs, Laureate agora demite professores de EAD. Publica, Agência de Jornalismo Investigativo. Retrieved from https://apublica.org/2020/05/apos-uso-de-robos-laureate-agora-demite-professores-de-ead/ Dostoevsky, F. (1992 [1864]). Notes from Underground. Mineola, New York, USA, Dover Publications Inc. Ekstrand, M.D., Joshaghani, R., & Mehrpouyan, H. (2018). Privacy for all: Ensuring fair and equitable privacy protections. Proceedings of the 1st Conference on Fairness, Accountability and Transparency (pp. 1–13). Floridi, L., Cowls, J., Beltrametti, M., Chatila, R., Chazerand, P., Dignum, V., et al. (2018). AI4People An ethical framework for a good AI society: Opportunities, risks, principles, and recommendations. Minds and Machines, 28(4), 689–707. Frey, C., & Osborne, M. (2013). The Future of Employment: How Susceptible Are Jobs to Computerisation? Technical Report, Oxford Martin School, University of Oxford, Oxford, UK. Retrieved from https://www.oxfordmartin.ox.ac.uk/downloads/academic/future-ofemployment.pdf Garcia, E.V. (2019). The Militarization of Artificial Intelligence: A Wake-Up Call for the Global South, SSRN Electronic Journal. Retrieved from http://dx.doi.org/10.2139/ssrn.3452323 Geist, E.M. (2016). It's already too late to stop the AI arms race-We must manage it instead. Bulletin of the Atomic Scientists, 72 (5), 318–321. DOI:10.1080/00963402.2016.1216672 Gest, J. (2016). The new minority: White working class politics in an age of immigration and inequality. Oxford, UK, Oxford University Press. Goldsmith, J., & Burton, E. (2017). Why teaching ethics to AI practitioners is important. Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (pp. 4863–4840). Retrieved from https://www.aaai.org/ocs/index.php/AAAI/AAAI17/paper/view/14271/13992 Good, I. (1965). Speculations concerning the first ultraintelligent machine‖. In F. Alt & M. Ruminoff (Eds.). Academic Press. Advances in Computers, 6, 31-88. Retrieved from https://doi.org/10.1016/S0065-2458(08)60418-0 Greene, D., Hofman, A.L., & Stark, L. (2019). Better, nicer, clearer, fairer: A critical assessment of the movement for ethical artifcial intelligence and machine learning. In Hawaii international conference on system sciences (pp. 1–10). DOI: 10.24251/HICSS.2019.258 Haas, M., & Fischer, S.C. (2017). The evolution of targeted killing practices: autonomous weapons, future conflict, and the international order. Contemporary Security Policy, 38(2), 281306. Retrieved from https://doi.org/10.1080/13523260.2017.1336407 Hagendorff, T. (2020). The Ethics of AI Ethics: An Evaluation of Guidelines. Minds and Machines, 30, 99–120. Retrieved from https://doi.org/10.1007/s11023-020-09526-7. 18 Pontos cegos na Ética de IA Hao, K. (2020, May 14). The pandemic is emptying call centers. AI chatbots are swooping in. MIT Technology Review. Retrieved from https://www.technologyreview.com/2020/05/14/1001716/ai-chatbots-take-call-center-jobsduring-coronavirus-pandemic/ Haraway, D.J. (1991). Simians, Cyborgs and Women: The Reinvention of Nature. London, UK, Routledge. Harris, M. (2014, December 3). Amazon's Mechanical Turk workers protest: "I am a human being, not an algorithm". The Guardian. Retrieved from http://bit.ly/2EcZvMS Horvitz, E. (2014). One-Hundred Year Study of Artificial Intelligence: Reflections and Framing. White paper, Stanford University, 2014. Retrieved from https://ai100.stanford.edu/sites/g/files/sbiybj9861/f/ai100_framing_memo_0.pdf Howard, P.N., & Kollanyi, B. (2016). Bots, #StrongerIn, and #Brexit: Computational propaganda during the UK-EU Referendum Working Paper 2016.1. Oxford, UK: Project on Computational Propaganda. Retrieved from http://dx.doi.org/10.2139/ssrn.2798311 Irani, L. (2016). The hidden faces of automation. XRDS: Crossroads, The ACM Magazine for Students, 23(2), 34–37. Retrieved from https://doi.org/10.1145/3014390 Jameson, F. (1991). Postmodernism, Or, The Cultural Logic of Late Capitalism. North Carolina, USA, Duke University Press. Jobin, A., Ienca, M., & Vayena, E. (2019). The global landscape of AI ethics guidelines. Nat Mach Intell, 1, 389–399. Retrieved from https://doi.org/10.1038/s42256-019-0088-2 Jurić, M., Šandić, A., & Brcic, M. (2020). AI safety: state of the field through quantitative lens. 43rd International Convention on Information and Communication Technology, Electronics and Microelectronics (MIPRO). Retrieved from https://arxiv.org/ftp/arxiv/papers/2002/2002.05671.pdf Kania, E. (2017). Battlefield singularity: artificial intelligence, military revolution, and China's future military power. Washington, DC, USA, CNAS. Retrieved from https://www.cnas.org/publications/reports/battlefield-singularity-artificial-intelligencemilitary-revolution-and-chinas-future-military-power Kurzweil, R. (2005). The Singularity Is Near: When Humans Transcend Biology. New York, USA, Viking Adult. Lere, J.C., & Gaumnitz, B.R. (2003). The Impact of Codes of Ethics on Decision Making: Some Insights from Information Economics. Journal of Business Ethics, 48, 365–379. Retrieved from https://doi.org/10.1023/B:BUSI.0000005747.37500.c8 Maas, M. (2019). How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons. Contemporary Security Policy, 40 (3), 285–311. DOI:10.1080/13523260.2019.1576464 19 Pontos cegos na Ética de IA Maxmen, A. (2018). Self-driving car dilemmas reveal that moral choices are not universal. Nature, 562 (7728), 469–470. DOI:10.1038/d41586-018-07135-0 Maynard, A. (2015). Navigating the fourth industrial revolution. Nature Nanotech 10, 10051006. Retrieved from https://doi.org/10.1038/nnano.2015.286 McNamara, A., Smith, J., & Murphy-Hill, E. (2018). Does ACM's code of ethics change ethical decision making in software development? ESEC/FSE 2018: Proceedings of the 2018 26th ACM Joint Meeting on European Software Engineering Conference and Symposium on the Foundations of Software Engineering (pp. 729–733). Retrieved from https://doi.org/10.1145/3236024.3264833 Mittelstadt, B., Russell, C., & Wachter, S. (2019). Explaining explanations in AI. In FAT* '19: Proceedings of the Conference on Fairness, Accountability, and Transparency (pp. 279–288). Retrieved from https://doi.org/10.1145/3287560.3287574 Montague, D. (2002). Stolen Goods: Coltan and Conflict in the Democratic Republic of Congo. SAIS Review, 22(1), 103–118. DOI:10.1353/sais.2002.0016. Monteiro, R., Santos, R., Pardo, T., Almeida, T., Ruiz, E., & Vale, O. (2018). Contributions to the Study of Fake News in Portuguese: New Corpus and Automatic Detection Results. Proceedings of the 13th International Conference, PROPOR 2018, September 24–26. Canela, Brazil. DOI: 10.1007/978-3-319-99722-3_33. Mozur, P. (2018, July 8). Inside China's Dystopian Dreams: A.I., Shame and Lots of Cameras. The New York Times. ISSN: 0362-4331. Retrieved from https://www.nytimes.com/2018/07/08/business/china-surveillance-technology.html Mulhall, D. (2002). Our molecular future: how nanotechnology, robotics, genetics, and artificial intelligence will transform our world. Amherst, NY, Prometheus Books. Nsaibia, H., Pellegrini, S., Sulz, M., Kamal, D., Lay, T. et al. (2020, August 18). Mid-Year update: 10 conflicts to worry about in 2020. Armed Conflict Location & Event Data Project (ACLED). Retrieved from https://acleddata.com/2020/08/18/mid-year-update-10-conflicts-to-worryabout-in-2020/ O'Keefe, C., Cihon, P., Flynn, C., Garfinkel, B., Leung, J., & Dafoe, A. (2020). The Windfall Clause: Distributing the Benefits of AI. Centre for the Governance of AI Research Report. Future of Humanity Institute, University of Oxford. Retrieved from https://www.fhi.ox.ac.uk/windfallclause/ ÓhÉigeartaigh, S.S., Whittlestone, J., Liu, Y., Zeng, Y., & Liu, Z. (2020).Overcoming Barriers to Cross-cultural Cooperation in AI Ethics and Governance. Philos. Technol. Retrieved from https://doi.org/10.1007/s13347-020-00402-x Osborn, M., Day, R., Komesaroff, P., & Mant, A. (2009). Do ethical Guidelines make a difference to decision-making?. Internal medicine journal, 39(12), 800–805. Retrieved from https://doi.org/10.1111/j.1445-5994.2009.01954.x 20 Pontos cegos na Ética de IA Peters, M.A. (2017). Technological unemployment: Educating for the fourth industrial revolution. Educational Philosophy and Theory, 49(1), 1–6. DOI:10.1080/00131857.2016.1177412 Rességuier, A., & Rodrigues, R. (2020). AI ethics should not remain toothless! A call to bring back the teeth of ethics. Big Data & Society, 1-5. Retrieved from https://doi.org/10.1177/2053951720942541 Roff, H. (2019). The frame problem: The AI "arms race" isn't one". Bulletin of the Atomic Scientists, 75 (3), 95–98. DOI:10.1080/00963402.2019.1604836 Rosa, H. (2010). High-Speed Society: Social Acceleration, Power, and Modernity. USA, Pennsylvania State University Press. Russel, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. London, UK. Penguin. Russell, S., Dewey, D., & Tegmark, M. (2015). An Open Letter: Research Priorities for Robust and Beneficial Artificial Intelligence. Open Letter. Signed by 8,600 people. Retrieved from https://futureoflife.org/data/documents/research_priorities.pdf Silberman, M.S., Tomlinson, B., LaPlante, R., Ross, J., Irani, L., & Zaldivar, A. (2018). Responsible research with crowds. Communications of the ACM, 61(3), 39–41. DOI: 10.1145/3180492 Soares, N. (2016). Value Learning Problem. In Ethics for Artificial IntelligenceWorkshop at 25th International Joint Conference on Artificial Intelligence (IJCAI-2016) New York, NY, USA 9–15. Soares, N., Fallenstein, B., Yudkowsky, E., & Armstrong, S. (2015). Corrigibility. In Artificial Intelligence and Ethics, ed. T. Walsh, AAAI Technical Report WS-15-02. Palo Alto, CA: AAAI Press. Sotala, K. (2018). Disjunctive scenarios of catastrophic AI risk. In R. Yampolskiy (Ed.). Artificial Intelligence Safety and Security (Chapter 22, pp. 315-337). Florida, EUA, CRC Press. Sychev, V. (2018). The threat of killer robots. The UNESCO Courier, n. 3, Artificial intelligence: the promises and the threats (pp. 25-28), Paris, France. Retrieved from https://unesdoc.unesco.org/ark:/48223/pf0000265211 Taffel, S. (2012). Escaping Attention: Digital Media Hardware, Materiality and Ecological Cost. Culture Machine, 13. Retrieved from http://svr91.edns1.com/~culturem/index.php/cm/article/view/468 Tally, R. (2009). Radical Alternatives: The Persistence of Utopia in the Postmodern. In A.J. Drake (Ed.) New Essays on the Frankfurt School of Critical Theory (p. 109), Newcastle. Cambridge Scholars Publishing. Tegmark, A. (2017). Life 3.0: Being human in the age of artifcial intelligence. New York, USA. Alfred A. Knopf. 21 Pontos cegos na Ética de IA Turner, A., Smith, L., Shah, R., & Tadepalli, P. (2020). Optimal Farsighted Agents Tend to Seek Power. ArXiv. Retrieved from https://arxiv.org/pdf/1912.01683.pdf Vaswani, A., Shazeer, N., Parmar, N et al. (2017). Attention is all you need. NIPS'17: Proceedings of the 31st International Conference on Neural Information Processing Systems (pp. 59986008). Virilio, P. (1997). Open Sky. London, UK, Verso. Wolf, M., Miller, K., & Grodzinsky, F. (2017). Why we should have seen that coming: comments on microsoft's tay experiment, and wider implications. ACM SIGCAS Computers and Society, 47(3), 54–64. Sobre o autor Corrêa, N. K é doutorando em filosofia e mestre em engenharia elétrica pela Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS). Atualmente trabalhando como pesquisador na área de ética de máquinas na Universidade PUCRS no Brasil. Ele possui interesse acadêmico na área de alinhamento moral entre IA e humanos. Corrêa, N. K. é Doutorando em Filosofia e Mestre em Engenharia Elétrica pela PUCRS. Atualmente trabalhando na área de ética de IA e alinhamento de valores.