1 Éthique de la recherche en robotique Rapport n° 1 de la CERNA Commission de réflexion sur l'Éthique de la Recherche en sciences et technologies du Numérique d'Allistene La robotique, comme plus largement le numérique, débouche sur de multiples usages aux déploiements parfois aussi massifs qu'inattendus, tel l'essor actuel des drones civils. Dans ce contexte évolutif, il serait vain d'énoncer de nouvelles normes éthiques qui pourraient vite s'avérer inadéquates. Mieux vaut équiper le monde scientifique pour que la dimension éthique devienne indissociable de l'activité de recherche, dans les communautés et les esprits. Le présent avis émet à cet effet quelques préconisations à l'attention des établissements et un ensemble de préconisations ancrées dans la recherche à l'attention des scientifiques. D'une manière générale, la CERNA préconise en particulier que les établissements ou institutions de recherche se dotent de comités d'éthique en sciences et technologies du numérique, traitant au cas par cas les questions opérationnelles, à l'instar des sciences de la vie ; que des actions de sensibilisation et d'accompagnement soient menées auprès des chercheurs ; que les réflexions éthiques relatives aux projets susceptibles d'avoir un impact direct sur la société impliquent tous les acteurs concernés. Les préconisations sont d'abord illustrées à travers trois cas d'usage : les robots auprès des personnes et au sein des groupes, les robots dans le contexte médical et les robots dans la défense et la sécurité. Puis elles sont formulées selon trois thèmes propres à la robotique: l'autonomie et les capacités décisionnelles, l'imitation du vivant et l'interaction affective et sociale avec les humains, et la réparation et l'augmentation de l'humain par la machine. Cet avis destiné aux roboticiens et à leurs tutelles, est aussi accessible aux non spécialistes, aidés en cela par un lexique. Rapport accessible sur http://cerna-ethics-allistene.org Couv.dos carré.indd 1 29/10/14 14:45 2 3 Les membres de la CERNA Max Dauchet, Professeur émérite, université de Lille 1. Président de la CERNA Bernard Alaux, Directeur de CAP SCIENCES CCSTI Aquitaine, membre du conseil national de la culture scientifi que, technique et industrielle Christine Balagué, Institut Mines-Télécom, Vice-Présidente du Conseil National du Numérique Isabelle Bloch, Professeur, Institut Mines-Télécom Danièle Bourcier, Directeur de recherche émérite, CNRS, membre du Comité d'Ethique du CNRS (COMETS) Pierre-Antoine Chardel, Professeur de philosophie sociale et d'éthique à Télécom Ecole de Management (Institut Mines-Télécom) et directeur de recherche à l'Université Paris Descartes Raja Chatila, Directeur de recherche, CNRS. Président de la « Robotics and Automation Society » de l'IEEE. Directeur de l'ISIR Institut des Systèmes Intelligents et de Robotique, Université Pierre et Marie Curie, CNRS Jean-Michel Cornu, Directeur scientifi que de la Fondation Internet Nouvelle Génération (FING), Chief Visionary Offi cer de la plateforme internationale Imagination for People sur l'innovation sociale Gilles Dowek, Directeur de recherche, Inria. Directeur scientifi que adjoint d'Inria Chantal Enguehard, Maître de conférences, Université de Nantes. Vice Présidente de CREIS-TERMINAL Jean-Gabriel Ganascia, Professeur, Université Pierre et Marie Curie (Paris VI). Membre du groupe de travail OnLife, Communauté Européenne. Membre du COMETS Alexei Grinbaum, Chercheur, CEA. Coordinateur pour la France de l'Observatoire européen des nanotechnologies Claude Kirchner, Directeur de recherche Inria. Conseiller du Président Claire Lobet-Maris, Professeur, Université de Namur Joseph Mariani, Directeur de recherche, CNRS Guillaume Piolle, Enseignant chercheur, SUPELEC Alice René, Responsable pour la réglementation Bioéthique au CNRS. Membre du Comité National Consultatif pour les Sciences de la Vie et de la Santé (CCNE) Catherine Tessier, Maître de recherche, ONERA Sophie Vulliet-Tavernier, Directeur des relations avec les publics et la recherche Commission Nationale de l'Informatique et des Libertés En favorisant la recherche et les innovations dans le domaine du numérique, Allistene, l'alliance des sciences et technologies du numérique, accompagne les mutations économiques et sociales liées à la diffusion des technologies numériques. L'alliance a pour but d'assurer une coordination des différents acteurs de la recherche dans les sciences et technologies du numérique, afi n d'élaborer un programme cohérent et ambitieux de recherche et de développement technologique. Elle permet d'identifi er des priorités scientifi ques et technologiques communes et de renforcer les partenariats entre les opérateurs publics (universités, écoles, instituts), tout en créant de nouvelles synergies avec les entreprises. Créée en décembre 2009, Allistene regroupe en tant que membres fondateurs la CDEFI, le CEA, le CNRS, la CPU, Inria et l'Institut MinesTélécom. Ses membres associés sont l'INRA, l'INRETS et l'ONERA. Ses objectifs : • Coordonner les acteurs de la fonction programmatique autour de priorités scientifi ques et technologiques, • Élaborer des programmes nationaux répondant à ces priorités et des modalités pour la mise en oeuvre de ces programmes, • Renforcer les partenariats et les synergies entre l'ensemble des opérateurs de la recherche du domaine, universités, écoles, instituts, et aussi les entreprises en particulier au sein des pôles de compétitivité du numérique, • Prolonger les priorités et programmes nationaux dans les différentes initiatives européennes et internationales relevant du domaine. Site internet : www.allistene.fr Couv.dos carré.indd 2 29/10/14 14:45 1CERNA Éthique de la recherche en robotique Table des matières Résumé ............................................................................................................................... 5 Préambule ........................................................................................................................... 7 Avis sur l'éthique de la recherche en robotique .............................................................. 8 Texte de la saisine : Éthique de la recherche en robotique ......................................... 8 Composition du groupe de travail Robotique .............................................................. 8 Personnalités auditionnées ............................................................................................ 8 Introduction ..................................................................................................................... 9 I. Définition du robot ...................................................................................................... 12 II. Évolution du marché de la robotique ....................................................................... 14 III. Les robots dans la société ........................................................................................ 15 Insertion dans la société ............................................................................................ 15 Respect de la vie privée ............................................................................................. 16 Aspects juridiques ...................................................................................................... 16 IV. Illustration des préconisations en trois cas d'usage .............................................. 17 Cas d'usage 1 : les robots auprès des personnes et au sein des groupes ............. 17 Des robots auprès des personnes : robots compagnons et domestiques ............. 17 Des robots au sein des groupes ................................................................................ 19 Les robots didactiques et de recherche ................................................................. 19 Les robots de téléprésence ..................................................................................... 19 Les véhicules autonomes ........................................................................................ 20 Cas d'usage 2 : les robots dans le contexte médical ................................................ 21 Robots d'assistance aux chirurgiens ......................................................................... 21 Prothèses ..................................................................................................................... 22 Automates de régulation biologique ......................................................................... 24 Stimulateurs cardiaques ............................................................................................. 24 Pompe à insuline et pancréas artificiel ...................................................................... 24 Stimulation cérébrale .................................................................................................. 25 Nano-robots pour la médecine .................................................................................. 25 Cerna.indd 1 28/10/14 14:26 4 1 Éthique de la recherche en robotique Rapport n° 1 de la CERNA Commission de réflexion sur l'Éthique de la Recherche en sciences et technologies du Numérique d'Allistene La robotique, comme plus largement le numérique, débouche sur de multiples usages aux déploiements parfois aussi massifs qu'inattendus, tel l'essor actuel des drones civils. Dans ce contexte évolutif, il serait vain d'énoncer de nouvelles normes éthiques qui pourraient vite s'avérer inadéquates. Mieux vaut équiper le monde scientifique pour que la dimension éthique devienne indissociable de l'activité de recherche, dans les communautés et les esprits. Le présent avis émet à cet effet quelques préconisations à l'attention des établissements et un ensemble de préconisations ancrées dans la recherche à l'attention des scientifiques. D'une manière générale, la CERNA préconise en particulier que les établissements ou institutions de recherche se dotent de comités d'éthique en sciences et technologies du numérique, traitant au cas par cas les questions opérationnelles, à l'instar des sciences de la vie ; que des actions de sensibilisation et d'accompagnement soient menées auprès des chercheurs ; que les réflexions éthiques relatives aux projets susceptibles d'avoir un impact direct sur la société impliquent tous les acteurs concernés. Les préconisations sont d'abord illustrées à travers trois cas d'usage : les robots auprès des personnes et au sein des groupes, les robots dans le contexte médical et les robots dans la défense et la sécurité. Puis elles sont formulées selon trois thèmes propres à la robotique: l'autonomie et les capacités décisionnelles, l'imitation du vivant et l'interaction affective et sociale avec les humains, et la réparation et l'augmentation de l'humain par la machine. Cet avis destiné aux roboticiens et à leurs tutelles, est aussi accessible aux non spécialistes, aidés en cela par un lexique. Rapport accessible sur http://cerna-ethics-allistene.org Couv.dos carré.indd 1 29/10/14 14:45 2 Assistance aux personnes en situation de faiblesse et surveillance des patients .. 25 Cas d'usage 3 : les robots dans la défense et la sécurité ........................................... 27 Les drones et robots de surveillance, de reconnaissance, de renseignement ....... 27 Les drones et robots armés ......................................................................................... 28 V. Préconisations générales de la CERNA ...................................................................... 30 CONTEXTE .................................................................................................................... 30 PRÉCONISATIONS ........................................................................................................ 31 [GEN-1] Expertise et expression d'opinion .............................................................. 31 [GEN-2] Comités d'éthique opérationnels d'établissements .................................. 31 [GEN-3] Initiatives des établissements sur les aspects juridiques ......................... 31 [GEN-4] Sensibilisation et soutien du chercheur par les établissements .............. 31 [GEN-5] Données personnelles ................................................................................. 31 [GEN-6] Prévention d'attaque des systèmes numériques ...................................... 31 [GEN-7] Conduite de projet ....................................................................................... 32 [GEN-8] Documentation ............................................................................................ 32 [GEN-9] Communication publique ........................................................................... 32 VI. Les préconisations en robotique selon trois thèmes ............................................... 33 L'autonomie et les capacités décisionnelles ..................................................................... 33 CONTEXTE ....................................................................................................................... 33 PRÉCONISATIONS ........................................................................................................... 34 [AUT-1] Reprises en main ............................................................................................ 37 [AUT-2] Décisions à l'insu de l'opérateur ................................................................... 34 [AUT-3] Influences sur le comportement de l'opérateur ........................................... 34 [AUT-4] Limites des programmes ............................................................................... 34 [AUT-5] Caractérisation d'une situation ...................................................................... 34 [AUT-6] Prévisibilité du système humain-robot ......................................................... 35 [AUT-7] Traçage et explications ................................................................................... 35 L'imitation du vivant et l'interaction affective et sociale avec les humains ................... 35 CONTEXTE ....................................................................................................................... 35 PRÉCONISATIONS ........................................................................................................... 37 Cerna.indd 2 28/10/14 14:26 3CERNA Éthique de la recherche en robotique Assistance aux personnes en situation de faiblesse et surveillance des patients .. 25 Cas d'usage 3 : les robots dans la défense et la sécurité ........................................... 27 Les drones et robots de surveillance, de reconnaissance, de renseignement ....... 27 Les drones et robots armés ......................................................................................... 28 V. Préconisations générales de la CERNA ...................................................................... 30 CONTEXTE .................................................................................................................... 30 PRÉCONISATIONS ........................................................................................................ 31 [GEN-1] Expertise et expression d'opinion .............................................................. 31 [GEN-2] Comités d'éthique opérationnels d'établissements .................................. 31 [GEN-3] Initiatives des établissements sur les aspects juridiques ......................... 31 [GEN-4] Sensibilisation et soutien du chercheur par les établissements .............. 31 [GEN-5] Données personnelles ................................................................................. 31 [GEN-6] Prévention d'attaque des systèmes numériques ...................................... 31 [GEN-7] Conduite de projet ....................................................................................... 32 [GEN-8] Documentation ............................................................................................ 32 [GEN-9] Communication publique ........................................................................... 32 VI. Les préconisations en robotique selon trois thèmes ............................................... 33 L'autonomie et les capacités décisionnelles ..................................................................... 33 CONTEXTE ....................................................................................................................... 33 PRÉCONISATIONS ........................................................................................................... 34 [AUT-1] Reprises en main ............................................................................................ 37 [AUT-2] Décisions à l'insu de l'opérateur ................................................................... 34 [AUT-3] Influences sur le comportement de l'opérateur ........................................... 34 [AUT-4] Limites des programmes ............................................................................... 34 [AUT-5] Caractérisation d'une situation ...................................................................... 34 [AUT-6] Prévisibilité du système humain-robot ......................................................... 35 [AUT-7] Traçage et explications ................................................................................... 35 L'imitation du vivant et l'interaction affective et sociale avec les humains ................... 35 CONTEXTE ....................................................................................................................... 35 PRÉCONISATIONS ........................................................................................................... 37 [IVI-1] Utilité au regard des finalités ........................................................................... 37 [IVI-2] Frontière vivant artefact ................................................................................. 37 [IVI-3] Étude des effets ................................................................................................. 37 [IVI-4] Interaction enfant-robot .................................................................................... 37 [IVI-5] Évaluation .......................................................................................................... 37 [IVI-6] Communication ................................................................................................. 38 La réparation et l'augmentation de l'humain par la machine ......................................... 38 CONTEXTE ....................................................................................................................... 38 PRÉCONISATIONS ........................................................................................................... 39 [RAH-1] Éthique médicale ........................................................................................... 39 [RAH-2] Autonomie et intégrité de l'individu ............................................................ 40 [RAH-3] Réversibilité de l'augmentation .................................................................... 40 [RAH-4] Discrimination induite par l'augmentation .................................................. 40 Conclusion ........................................................................................................................... 41 ANNEXES ............................................................................................................................ 42 I. Instances et initiatives en éthique de la robotique .................................................... 42 II. Lexique ......................................................................................................................... 44 Apprentissage ............................................................................................................... 44 Autonomie et automatisme ......................................................................................... 45 Autonomie et interaction avec l'être humain ............................................................. 46 Capteurs ........................................................................................................................ 47 Communication et interaction ..................................................................................... 48 Complexité .................................................................................................................... 48 Décision, raisonnement, planification ........................................................................ 49 Déterminisme et indéterminisme ............................................................................... 50 Distanciation morale .................................................................................................... 50 Exosquelette ................................................................................................................. 51 Opérateur et Utilisateur ............................................................................................... 51 Perception, Traitement des signaux, acquisition et interprétation de données ...... 51 Programmes de conduite morale ............................................................................... 52 Cerna.indd 3 28/10/14 14:26 4 Représentation des connaissances ............................................................................. 52 Robot et robotique : frontières et choix de définition ................................................ 52 Robot complet, robot intégré ...................................................................................... 54 Robotique ...................................................................................................................... 54 Systèmes multi-robots ................................................................................................. 54 Traçabilité et traçage .................................................................................................... 55 III. La CERNA ....................................................................................................................... 56 Ses missions ................................................................................................................. 56 Comment est traitée une saisine ................................................................................. 56 Cerna.indd 4 28/10/14 14:26 5CERNA Éthique de la recherche en robotique Résumé La robotique, comme plus largement le numérique, débouche sur de multiples usages aux déploiements parfois aussi massifs qu'inattendus, tel l'essor actuel des drones civils. Dans ce contexte évolutif, il serait vain d'énoncer de nouvelles normes éthiques qui pourraient vite s'avérer inadéquates. Mieux vaut équiper le monde scientifique pour que la dimension éthique devienne indissociable de l'activité de recherche, dans les communautés et les esprits. Le présent avis émet à cet effet quelques préconisations à l'attention des établissements et un ensemble de préconisations ancrées dans la recherche à l'attention des scientifiques. D'une manière générale, la CERNA préconise en particulier que les établissements ou institutions de recherche se dotent de comités d'éthique en sciences et technologies du numérique, traitant au cas par cas les questions opérationnelles, à l'instar des sciences de la vie ; que des actions de sensibilisation et d'accompagnement soient menées auprès des chercheurs ; que les réflexions éthiques relatives aux projets susceptibles d'avoir un impact direct sur la société impliquent tous les acteurs concernés. Les préconisations sont d'abord illustrées à travers trois cas d'usage : les robots auprès des personnes et au sein des groupes, les robots dans le contexte médical et les robots dans la défense et la sécurité. Puis elles sont formulées selon trois thèmes propres à la robotique: l'autonomie et les capacités décisionnelles, l'imitation du vivant et l'interaction affective et sociale avec les humains, et la réparation et l'augmentation de l'humain par la machine. Le chercheur doit prémunir les systèmes qu'il conçoit contre les effets indésirables, celà prévaut d'autant plus que les robots sont dotés d'une autonomie croissance. La confiance que l'on peut placer dans un robot, les possibilités et limites de celui-ci et du couple qu'il forme avec l'utilisateur, la reprise en main, le traçage – c'est-à-dire la possibilité de rendre compte du comportement sont à considérer du point de vue éthique dans la conception du robot. Par l'imitation du vivant et l'interaction affective, le robot peut brouiller les frontières avec l'humain et jouer sur l'émotion de manière inédite. Au-delà de la prouesse technologique, la question de l'utilité d'une telle ressemblance doit se poser, et l'évaluation interdisciplinaire de ses effets doit être menée, d'autant plus que ces robots seraient placés auprès d'enfants ou de personnes fragiles. La forme androïde que prennent parfois les robots soulève craintes et espoirs démesurés, amplifiés par les annonces médiatiques et touchant parfois aux idéologies et aux croyances. Le roboticien connaît lui avec exactitude l'état de la science et des technologies en la matière, de leurs proximités ou de leurs écarts avec ce que perçoit le public. Il occupe en cela une position privilégie pour éclairer les débats par une communication appropriée, et il ne doit se prononcer, en tant qu'expert, que sur ce qui relève de son domaine de compétence professionnelle. Cerna.indd 5 28/10/14 14:26 6 La réparation de l'humain, à travers les prothèses bioniques par exemple, relève a priori de l'éthique médicale. Cependant elle peut conduire à une augmentation de capacité, volontaire ou non, ou à une altération d'autres fonctions. La préservation de l'autonomie de l'individu réparé et de son intégrité est donc à prendre en compte par le chercheur. Il en va de même de la réversibilité de l'augmentation, de son impact sur l'individu, sans entrer dans les considérations sur l'augmentation vue par certains mouvements comme une amélioration voire un pas vers le dépassement de l'humain. Cet avis destiné aux roboticiens et à leurs tutelles, est aussi accessible aux non spécialistes, aidés en cela par un lexique. Cerna.indd 6 28/10/14 14:26 7CERNA Éthique de la recherche en robotique Préambule En robotique comme dans le numérique en général, le foisonnement et la rapidité de déploiement des usages issus de l'innovation contribuent à la complexité de l'interaction entre l'offre technologique et l'appropriation sociale, et réduit de ce fait la portée des prévisions scientifiques sur les conséquences de la recherche. Cette relative imprévisibilité des usages ne doit pas dédouaner les scientifiques, mais doit au contraire motiver la réflexion éthique et la recherche d'attitudes et de méthodes adaptées. En effet les chercheurs doivent avoir à l'esprit que leurs travaux transforment de facto la société et peut-être l'Homme, comme l'ont fait beaucoup d'outils et de techniques depuis la maîtrise du feu, même si ce processus n'est pas toujours prévisible. Ainsi si l'on ne saurait attribuer aux seuls chercheurs la responsabilité de l'impact potentiel de leurs travaux, ceux-ci doivent être conscients qu'ils sont partie prenante d'une responsabilité collective. Le monde de la recherche doit organiser en son sein et d'une manière transdisciplinaire la prise en compte de la dimension éthique, et contribuer aux débats publics, afin que la science demeure un facteur de progrès et que les croyances infondées et l'irrationnel ne conduisent pas à une défiance à son égard. Dans ce contexte, les avis de la CERNA dont la vocation est de se prononcer sur l'éthique de la recherche en sciences et technologies du numérique visent à inciter et aider les chercheurs à la vigilance éthique « chemin faisant » plutôt qu'à émettre des prescriptions normatives qui seraient vite obsolètes. Dans leur formulation, les préconisations s'adressent « au chercheur ». Ce singulier désigne autant le chercheur que les communautés et les établissements scientifiques. La démarche éthique doit en effet être partagée au sein d'un groupe, au sein du monde scientifique et de la société. Par ailleurs, ces préconisations n'envisagent que des perspectives plausibles du point de vue de la robotique, afin de ne pas nourrir la confusion avec ce qui relève de la science-fiction. Cerna.indd 7 28/10/14 14:26 8 Avis sur l'éthique de la recherche en robotique Texte de la saisine : Éthique de la recherche en robotique La recherche sur les systèmes autonomes et les robots constitue un domaine important des sciences du numérique. Son impact sur la société à travers une vaste gamme d'applications techniques promet de modifier plusieurs secteurs industriels et économiques et s'étend jusqu'aux aspects privés de la vie humaine. L'utilisation des robots à des fins militaires, de soins palliatifs, de soins pour les enfants ou afin d'accroître le plaisir dans une pratique de divertissement pose d'ores et déjà des problèmes éthiques. Sur le plan de la recherche, cela demande de réfléchir aux limites de l'autonomie des robots, de leur pouvoir décisionnel, de l'affectivité intégrée et de la simulation des émotions par une machine. On recensera de tels cas concrets et on se demandera dans quelle mesure et de quelle façon le chercheur doit intégrer les contraintes éthiques, y compris les problèmes envisageables à l'avenir, aux stades de définition et d'exécution de son projet de recherche. On se posera la question de responsabilité du chercheur pour les comportements et les actions d'un robot ou d'un système autonome dont il a assumé la conception. On analysera la pertinence de la législation en vigueur et on formulera des recommandations en vue de l'évolution des normes juridiques. Composition du groupe de travail Robotique Raja Chatila, CERNA, animateur du groupe Max Dauchet, CERNA Laurence Devillers, Professeur à l'Université Paris-Sorbonne IV, LIMSI-CNRS Jean-Gabriel Ganascia, CERNA Alexeï Grinbaum, CERNA Catherine Tessier, CERNA Personnalités auditionnées Jean-Christophe Baillie, Directeur scientifique, Société Aldebaran Robotics David Cohen, Chef du service de psychiatrie de l'enfant et de l'adolescent de l'Hôpital Pitié-Salpétrière Nathanaël Jarrassé, Chercheur à l'Institut des Systèmes Intelligents et de Robotique ISIR , Université Pierre et Marie Curie et CNRS Christophe Leroux, Chef de projet R&D en robotique, CEA-LIST Nathalie Nevejans, Maître de Conférences en droit privé, faculté de droit, Université de Valenciennes et du Hainaut-Cambraisis Pierre-Yves Oudeyer, Directeur de recherche à Inria, responsable du projet Flowers FLOWing Epigenetic Robots and Systems Catherine Pélachaud, Directeur de recherche au CNRS, Laboratoire Traitement et Communication de l'Information LTCI, Telecom-PariTech et CNRS Thierry Pichevin, enseignant -chercheur au Pôle Ethique et environnement juridique du Centre de Recherche des écoles de Saint-Cyr Coëtquidan Guillaume Pinto, Directeur de la Technologie, société Parrot Cerna.indd 8 28/10/14 14:26 9CERNA Éthique de la recherche en robotique Introduction Les robots1 alimentent régulièrement l'actualité. Le plan France Robots Initiatives lancé en mars 2013 conjointement par le ministère du redressement productif et le ministère de l'enseignement supérieur et de la recherche évoque en prologue que la robotique « peut être la prochaine grande révolution industrielle, comparable à l'Internet, avec un marché estimé pour la seule robotique de service, à 100 milliards d'euros en 2020 par la Commission Européenne, un marché multiplié par 30 en 10 ans ». La recherche en robotique2 couvre un ensemble de sujets contribuant à comprendre les principes et à réaliser les fonctions qui permettent de donner à une machine, qui sera appelée robot, des capacités de perception, de décision, d'action et d'interaction adaptées à son environnement et aux tâches pour lesquelles elle est conçue. La robotique doit sa progression considérable depuis quelques années, aussi bien sur le plan de la recherche que sur celui des applications et des usages, à la conjonction de trois facteurs technologiques : • des capteurs (caméras, télémètres, centrales inertielles, capteurs d'effort, de contact, etc.) plus performants, miniaturisés et à coût de plus en plus réduit; • des processeurs toujours plus rapides et de la mémoire de plus en plus disponible; • des composants « mécatroniques » (moteurs, microcontrôleurs) et des matériaux permettant la construction de machines intégrées plus légères et plus précises. Ces facteurs ont permis des avancées importantes de la recherche dans les domaines de la perception, de la représentation de l'espace, de la reconnaissance de scènes objets , humains, situations - , de la planification du mouvement et des actions ainsi que sur les architectures de contrôle, c'est-à-dire l'intégration de ces différentes fonctions. Ces progrès sur les capacités opérationnelles ont favorisé à leur tour les recherches sur les capacités cognitives (prise de décision, autonomie, apprentissage, interaction avec les humains, détection et expression d'émotions). De plus, le partage de données, de logiciels et le développement de plateformes communes entre différents centres de recherches ont accéléré l'identification des méthodes les plus performantes et les mises en oeuvre expérimentales. 1 Le terme robot, formé à partir d'un radical slave signifiant corvée ou servage, apparaît pour la première fois en 1920 dans la pièce de théâtre Rossum's Universal Robots, de Karel Čapek. 2 Un lexique (situé en annexe) principalement destiné aux non spécialistes définit et illustre les termes utilisés dont certains ont un sens commun et un sens en robotique. Leur première occurrence dans le texte est en italique. Cerna.indd 9 28/10/14 14:26 10 Cet essor de la robotique s'accompagne d'initiatives spécifiques à l'éthique de ce secteur3 et a conduit en France l'alliance Allistene à saisir la CERNA. La saisine spécifie en particulier de réfléchir sur les « limites de l'autonomie des robots, de leur pouvoir décisionnel, de l'affectivité intégrée et de la simulation des émotions par une machine » pour dire « dans quelle mesure et de quelle façon le chercheur doit intégrer les contraintes éthiques, y compris les problèmes envisageables à l'avenir, aux stades de définition et d'exécution de son projet de recherche ». La commission s'est d'abord attachée (chapitre I) à élaborer une définition du robot et de la robotique qui soit opérationnelle pour ses réflexions, afin de délimiter le plus clairement possible le champ des débats et l'objet des préconisations. Cette définition s'appuie à la fois sur les définitions classiques fondées sur les fonctionnalités et sur des cas d'usage pratiques. Un point rapide du marché de la robotique et de ses tendances fournit ensuite quelques ordres de grandeur en nombre et en prix selon les secteurs (chapitre II). L'évolution actuelle de la robotique conduit à ce que les robots, à l'origine confinés dans les usines de production, diffusent dans la société tant pour des services professionnels que pour les particuliers. Cette tendance renforce la dualité d'objet technologique et social du robot (chapitre III). Le présent avis se concrétise par un ensemble de préconisations qui sont d'abord illustrées avant d'être formulées. Afin de faciliter le va-et-vient entre les deux points de vue, un code de trois lettres entre crochets étiquette ces préconisations, dont le code figure aussi en table des matières. Ainsi les préconisations sont illustrées à travers trois cas d'usage (chapitre IV)4 : • Les robots auprès des personnes et des groupes : ils peuvent évoluer pour des services multiples en milieu régi par le droit commun, ouvert (lieux publics comme la rue) ou partiellement ouvert (comme des locaux particuliers: musées, magasins, salons, etc.). Ils peuvent être conçus pour avoir des aspects androïdes et des capacités à agir sur l'émotion afin de susciter les interactions des humains avec eux. • Les robots médicaux : ils sont utilisés en milieu contrôlé et selon les règles d'éthique médicale. Les robots militaires : qu'ils soient ou non autonomes, ils sont régis par le Droit International Humanitaire et font l'objet de travaux sous l'égide de l'ONU. 3 Voir en annexe. 4 Les quelques références à des robots existants y sont données à titre d'illustration, leur choix ne correspond à aucune volonté de promotion ni de dénigrement de ces produits. Cerna.indd 10 28/10/14 14:26 11CERNA Éthique de la recherche en robotique Les robots industriels, déployés depuis des décennies sur des sites de production selon des protocoles stricts d'action et d'interaction, ne soulèvent pas de questions éthiques spécifiques pour le chercheur, étant entendu que les importantes questions d'impact sur l'organisation du travail sont hors du champ du présent avis. Quelques préconisations, élaborées à l'occasion de cette saisine, s'avèrent dépasser le cadre de la robotique. Elles sont énoncées au chapitre V. Les préconisations propres à la robotique sont ensuite formulées au chapitre VI selon trois spécificités scientifiques du domaine: • L'autonomie et les capacités décisionnelles. • L'imitation du vivant et l'interaction affective et sociale avec les humains. • La réparation et l'augmentation de l'humain. Cerna.indd 11 28/10/14 14:26 12 I. Définition du robot La commission a adopté une définition du robot en s'appuyant à la fois sur les fonctionnalités classiques et des cas d'usage. Cette définition permet de clarifier les capacités du robot, la forme qu'il peut prendre, la distribution ou l'intégration en une seule entité et les propriétés de matérialité ou de virtualité. Le robot est défini comme une machine mettant en oeuvre et intégrant : • Des capacités d'acquisition de données avec des capteurs à même de détecter et d'enregistrer des signaux physiques. • Des capacités d'interprétation des données acquises permettant de produire des connaissances. • Des capacités de décision qui, partant des données ou des connaissances, déterminent et planifient des actions. Ces actions sont destinées à réaliser des objectifs fournis le plus souvent par un être humain, mais qui peuvent aussi être déterminés par le robot lui-même, éventuellement en réaction à des événements. • Des capacités d'exécution d'actions dans le monde physique à travers des actionneurs, ou à travers des interfaces. Le robot peut également présenter : • Des capacités de communication et d'interaction avec des opérateurs ou des utilisateurs humains, avec d'autres robots ou des ressources via un réseau comme l'Internet. • Une capacité transversale aux précédentes, l'apprentissage, qui permet au robot de modifier son fonctionnement à partir de son expérience passée. Le robot est considéré dans cette définition comme étant une entité matérielle et non uniquement logicielle. Cette définition exclut ainsi les agents logiciels ou les « bots » qui traitent des données à grande vitesse. Les capacités du robot à se mouvoir, agir, interagir et décider de lui-même, lui confèrent une autonomie. On distingue souvent l'autonomie opérationnelle, liée aux capacités de perception et d'action, de l'autonomie décisionnelle, qui inclut la capacité de raisonnement sur la perception et l'action pour effectuer des choix non triviaux. La complexité de l'environnement, celle de la tâche à effectuer, celle de la décision influencent le degré d'autonomie réalisable. On note qu'il existe un continuum entre l'automate déterministe totalement prévisible (par exemple le métro automatique) et le robot autonome évoluant dans un environnement complexe. Des incertitudes sont toujours associées aux processus d'acquisition, d'interprétation et d'exécution du robot, ce qui peut rendre partiellement imprévisibles ses décisions et ses actions. La capacité d'apprentissage peut y contribuer également. Cerna.indd 12 28/10/14 14:26 13CERNA Éthique de la recherche en robotique Le traçage du comportement du robot peut permettre de pallier les limites de la prévisibilité en expliquant ce comportement ainsi que les dysfonctionnements éventuels. Les explications doivent être élaborées à plusieurs niveaux selon qu'elles s'adressent à des experts de la robotique, à des opérateurs ou des utilisateurs. Elles sont un facteur de qualité et de confiance et contribuent à instruire la répartition des responsabilités en cas de préjudice. Il faut enfin souligner que la recherche en robotique n'est pas nécessairement orientée vers la réalisation d'un robot complet intégré. Des fonctions robotiques relatives aux capacités énoncées précédemment peuvent être incluses dans un système qui n'est pas à proprement parler un robot complet intégré mais qui en présente des capacités partielles. Ainsi un exosquelette, une prothèse de main actionnée par des connexions nerveuses ou le système de parking automatique d'une voiture bénéficient de fonctions robotiques. Il en est de même des robots utilisés aujourd'hui en chirurgie qui sont essentiellement manipulés par un être humain, mais dont la conception et la commande précise sont issues des travaux des roboticiens. Une voiture entièrement autonome est considérée en revanche comme un robot complet intégré. Enfin, la robotique traite aussi de systèmes multi-robots. Il s'agit de la coordination entre plusieurs robots pour effectuer une tâche donnée ou partager l'espace (par exemple pour la recherche et le sauvetage en sécurité civile), ainsi que des essaims constitués d'un nombre élevé de robots, en général identiques et relativement simples, mais qui peuvent exhiber des comportements collectifs (par exemple la collecte et le regroupement d'objets sur une zone). Cerna.indd 13 28/10/14 14:26 14 II. Évolution du marché de la robotique5 Le marché civil des robots est en 2014 de l'ordre de 10 à 20 milliards d'euros selon que l'on considère le robot nu ou équipé de son environnement logiciel deux tiers en robots industriels et un tiers en robots de service6. Le marché militaire, difficile à évaluer, peut être estimé à 5 à 10 milliards. Il est à souligner que le nombre de robots vendus et leur coût unitaire sont d'ordres de grandeur différents selon les secteurs. En 2012, il a été vendu 180 000 robots industriels, avec des coûts unitaires se mesurant en centaines de milliers d'euros. Parmi les robots de service, les robots médicaux sont les plus coûteux, il en a été vendu la même année 1300 à environ un million d'euros pièce ; en ce qui concerne les 8700 autres robots professionnels vendus, le coût moyen est de 10 000 à 20 000 euros. Enfin, pour les 4 millions de robots personnels, le coût tombe à quelques centaines d'euros l'unité, ce qui s'explique en particulier par le fait que les trois quarts sont des robots aspirateurs. Le marché des robots industriels est le plus ancien, les robots sont exploités sur les chaînes de montage depuis un demi-siècle. De plus en plus de secteurs industriels robotisent leur production, l'automobile, l'électronique et la chimie demeurant les plus gros utilisateurs. Pour les robots professionnels de service, le premier marché est le secteur médical. Les principaux autres secteurs sont l'agriculture (en particulier les robots de traite) et la sylviculture, la logistique, le nettoyage et la maintenance, la construction et le démantèlement (en particulier dans le domaine nucléaire), la surveillance, la sécurité et le sauvetage, l'exploration (espace, profondeurs marines) et l'enseignement et la recherche scientifique. En ce qui concerne les robots personnels, ce sont actuellement pour la plupart des robots domestiques (nettoyage, tonte de pelouses, entretien de piscines, etc.) et de loisirs (jouets). Enfin, ces toutes dernières années ont vu l'irruption massive des drones tant militaires que professionnels ou grand public7. Des drones apparaissent en premier lieu dans la surveillance agricole, la sécurité civile, la couverture médiatique d'événements. Tous ces marchés sont en progression, et les projections annoncent des facteurs multiplicatifs de 3 à 10 d'ici 2020, avec une part croissante des robots de service. Parmi ceux-ci, certains prédisent l'émergence de services comme l'aide aux personnes âgées ou handicapées sur le plan individuel, et la surveillance environnementale et les transports intelligents (véhicules et régulation de trafic) sur le plan collectif. 5 Sources : World Robotics – département statistiques de l'IFR, International Federation of Robotics et Commission Européenne, projet SPARC, Horizon 2020. 6 La définition normalisée ISO-8373 2012 des robots distingue, hors domaine militaire, les robots industriels et les robots de service. Les robots industriels sont ceux qui sont dédiés à la production, les robots de service recouvrent aussi bien les services professionnels que l'usage par les particuliers. 7 La société française Parrot déclare avoir vendu 700 000 exemplaires sur ce marché. Cerna.indd 14 28/10/14 14:26 15CERNA Éthique de la recherche en robotique III. Les robots dans la société Insertion dans la société Parmi les machines comptabilisées actuellement comme robots de service, la plupart sont conçues pour des tâches spécialisées et ont une autonomie limitée dans un contexte restreint d'utilisation. C'est le cas de tous les robots de service professionnels actuellement en exploitation. En ce qui concerne les robots vendus aux particuliers, ce sont essentiellement des robots d'entretien (sols, pelouses, piscines) ou des robots jouets. Pour l'avenir, un nombre croissant de recherches sont menées pour insérer dans des milieux ouverts des robots dotés d'une autonomie plus importante, de capacités d'interaction avec les humains plus élaborées, de capacités d'apprentissage accrues, ce qui ouvre des perspectives d'usages nouveaux. De plus des robots androïdes sont apparus il y a quelques années et sont perfectionnés au fil des versions. Ils peuvent être programmés pour danser, saisir des objets, imiter des gestes, jouer au football. Ils peuvent communiquer et interagir, de façon encore rudimentaire, par le geste ou la parole. Certains sont dotés de mimiques d'émotion. Ces robots sont actuellement achetés par des collectivités et utilisés pour des recherches – y compris médicales ou à des fins éducatives. D'autres robots, souvent plus grands et montés sur roues pour des questions de stabilité, sont expérimentés comme aides à la personne, notamment auprès des personnes âgées en milieu spécialisé. Enfin, la ressemblance parfaite avec des visages, des mimiques et des comportements humains est recherchée dans certains laboratoires. Toutes ces avancées, relayées et parfois amplifiées par les médias, accréditent aux yeux du public, et non sans raison sur le plan scientifique, que des robots pourront bientôt évoluer dans la société parmi les humains. Or, lorsque les robots sont conçus en fonction de leur insertion dans un environnement social, ils ne peuvent plus être considérés comme de simples objets techniques autonomes mais comme des systèmes sociotechniques. D'autre part, même si, perçu dans son ensemble, un robot peut rester nettement différentiable d'un être vivant, l'imitation de quelque trait naturel (notamment la voix ou l'aspect humain) lui confère une place particulière dans le processus d'interaction sociale8. En conséquence, les questions d'éthique et de responsabilité ne portent pas uniquement sur l'objet technique en tant que tel, sur sa conception et sa fiabilité, mais elles doivent aussi prendre en considération le couplage entre l'objet, les personnes avec lesquelles il interagit et l'organisation sociale dans laquelle il s'insère. 8 Dans l'Antiquité, une statue dotée d'yeux, ou un artefact capable de parler, étaient « vivants » et provoquaient des réactions comparables à celles des « vrais » êtres vivants. Cerna.indd 15 28/10/14 14:26 16 Il importe donc de spécifier la destination d'un projet de robot dès sa conception : à qui ce robot s'adresse, dans quels domaines il pourrait être utilisé, quels sont les acteurs concernés. Ce travail de réflexivité préalable est indispensable pour pouvoir délibérer en toute connaissance de cause des choix qui pourront être faits, d'autant plus que, comme dans la plupart des secteurs du numérique, les innovations issues de la recherche en robotique peuvent pénétrer la société de manière massive et inattendue. Ces considérations ont conduit à la formulation des préconisations [GEN-7,8,9]. Respect de la vie privée Certains robots ont la capacité de capter des données personnelles (photos ou vidéos de personnes, voix, paramètres physiologiques, géolocalisation...), par exemple des robots de gardiennage et de surveillance, des robots d'assistance ou encore des drones9. Leur déploiement soulève alors les questions liées à la protection de la vie privée et des données personnelles. S'il n'est pas possible de prémunir à sa conception un robot d'un usage inapproprié ou illégal des données qu'il capte, le chercheur doit néanmoins veiller à ce que le système robotique facilite le contrôle de l'usage des données. Cette problématique étant commune à d'autres systèmes informatiques, par exemple l'Internet des objets, elle fait ici l'objet d'une préconisation générale [GEN-5]. Aspects juridiques Le cadre légal existant permet d'analyser un bon nombre de questions juridiques relatives à la robotique, toutefois la question de la nécessité de normes nouvelles fait actuellement débat. À titre d'exemple, certains avancent l'idée que les robots pourraient posséder des droits, d'autres de doter les robots d'une personnalité juridique particulière. La saisine formulée par Allistene sollicite une analyse de la législation en vigueur et des recommandations en vue de l'évolution des normes juridiques. Le projet européen RoboLaw traite de ces aspects principalement sous l'angle socio-économique et des usages, ainsi que le Groupe de Travail « Éthique, Juridique, Normalisation et Réglementation pour la Robotique » de France Robot Initiative10. De telles recommandations au niveau amont de la recherche seraient prématurées pour un domaine dont les usages sont en pleine éclosion, outre le fait qu'elles seraient contraires à l'esprit non normatif de l'avis. Néanmoins, étant donné que la robotique conduit au fil de ses développements à réexaminer les questions juridiques, comme c'est le cas pour l'ensemble du numérique, la CERNA préconise que les établissements et autres acteurs de la recherche concernés mettent en place des groupes de travail et des projets de recherche interdisciplinaires incluant notamment des numériciens (ici des roboticiens) et des juristes (préconisation [GEN-3]). 9 « Drones, innovations, vie privée et libertés individuelles ». La lettre innovation et prospective de la CNIL, n° 06, décembre 2013. 10 Le rapport de France Robot n'est pas paru au jour de publication du présent avis. Pour une rapide présentation du rapport final RoboLaw voir l'annexe I. Cerna.indd 16 28/10/14 14:26 17CERNA Éthique de la recherche en robotique IV. Illustration des préconisations en trois cas d'usage11 Cas d'usage 1 : les robots auprès des personnes et au sein des groupes Des robots auprès des personnes : robots compagnons et domestiques Des expériences de recherche sur les robots compagnons ou domestiques se multiplient, en particulier à destination des personnes âgées. De nombreux projets sont consacrés à ce sujet, comme les projets européens GIRAFFPlus12 et MOBISERV13, ou encore le projet français ROMEO214 (voir Figure 1). 11 Une enquête a été menée en 2012 dans chaque pays de l'union européenne sur leur perception de 4 tâches pouvant être confiées à un robot (EU, Special Eurobarometer 382, Public attitudes towards robots). Les réponses étaient quantifiées par un score de 0 (rejet) à 10 (plébiscite). Les deux chiffres indiquent respectivement les réponses de l'Europe et de la France. On constate une forte acceptation des robots industriels, et un rejet des robots de compagnie pour les enfants et les personnes âgées : Having a robot assist you at work (e.g.: in manufacturing) 6.1, 5.9 Having a medical operation performed on you by a robot 3.9, 4.1 Having your dog walked by a robot 3.1, 2.8 Having your children or elderly parents minded by a robot 2.0, 1.5 12 www.giraffplus.eu/ 13 www.mobiserv.info/ 14 http://projetromeo.com/ Figure 1 : De gauche à droite, le robot Kompaï du projet européen MOBISERV et le robot ROMEO du projet français ROMEO2 Figure 2 : Nao, robot programmable de 58 cm de la société Aldebaran © Aldebaran Robotics / Photo ZEILT Production © M ob is er v pr oj ec t, S m ar t H om es © Inria / Photo H. Raguet Cerna.indd 17 28/10/14 14:26 18 Les recherches actuelles visent à ce que les robots interagissent par la voix et l'image, qu'ils puissent assurer la télé-présence de proches, la surveillance, et effectuer des tâches simples (comme déclencher sur ordre une télécommande, lancer un appel, se placer quelque part voire apporter quelque chose, ou rappeler à l'utilisateur ce qu'il doit faire). On vise à les doter de reconnaissance vocale et de certaines capacités d'apprentissage comme la reconnaissance de lieux, d'objets ou de personnes. Les prototypes actuels sont dotés de capacités encore limitées, notamment en termes d'action et d'autonomie, qu'il est essentiel d'évaluer [AUT-4]. Cependant la situation évolue vite, et l'on cherche maintenant à intégrer une certaine capacité à reconnaître les émotions et à les mimer. Certains robots « généralistes » de démonstration pourraient ouvrir la voie à des robots compagnons capables de faire le ménage, la cuisine, voire les commissions15. L'accroissement de l'autonomie de tels robots va de pair avec l'étendue des services qu'ils peuvent rendre et soulève des questions éthiques particulières. Par exemple, il est technologiquement réalisable de doter un robot de la capacité d'effectuer les gestes de secourisme et même de la capacité d'estimer dans une certaine mesure s'il doit en prendre l'initiative. Cependant, il y aura des risques que le robot interprète mal la situation et intervienne à mauvais escient. Il importe donc d'être vigilant sur les limites de la perception auditive et visuelle [AUT-4] ainsi que de la caractérisation de la situation par le robot [AUT-5], et aussi de prévoir un excellent traçage [AUT-7] du passage du robot en mode sauvetage, tant pour l'analyse et l'amélioration du comportement du robot que pour des raisons de responsabilité. L'interaction sociale humain-robot pose la question cruciale de la confiance, tout particulièrement pour les robots assistants mais également pour le travail en équipe humain-robot. Pour que l'interaction soit viable et productive, il est nécessaire que les utilisateurs puissent avoir confiance dans les robots avec lesquels ils entrent en contact. Un des buts des chercheurs en robotique sociale est d'essayer d'empêcher un déficit de confiance de la part des utilisateurs mais également d'empêcher une confiance trop aveugle dans le robot. L'évaluation du niveau de confiance des utilisateurs envers les comportements et performances du robot est également un axe nécessaire de recherche [IVI-5]. Il est possible de programmer des règles de conduite morale afin d'encadrer le comportement du robot, sachant que ces règles seront forcément rudimentaires [AUT4]. Une façon élémentaire de le faire est que le robot n'effectue certaines actions que si elles sont validées par un dialogue avec l'opérateur ou l'utilisateur. La reprise en main [AUT-1] par l'opérateur se posera alors différemment selon que l'on est en milieu spécialisé avec opérateur sur place ou en milieu privatif et avec opérateur distant. La reprise en main par l'utilisateur diffère selon que celui-ci est ou non défaillant physiquement ou dans son jugement. Dans tous les cas, les capacités du robot et leurs limites devront être étudiées en conséquence dès la conception du projet [GEN-7]. Afin d'éviter toute rupture de compréhension sur ce sujet entre le concepteur, le fabriquant, le distributeur, l'opérateur et l'usager, la qualité de la documentation [GEN-8] accompagnant le robot 15 Actuellement, de tels robots ne peuvent pas encore s'affranchir d'un environnement de techniciens. Cerna.indd 18 28/10/14 14:26 19CERNA Éthique de la recherche en robotique sera essentielle. Il importera de toujours considérer les situations critiques, comme le cas où tout échange avec un humain est impossible et que le robot a interprété la situation comme nécessitant probablement une intervention d'urgence. La question de l'utilité d'une ressemblance au vivant pour de tels robots doit se poser pour chaque projet [IVI-1]. On remarque à ce sujet que les concepteurs des robots développés actuellement comme robots de compagnie ou d'assistance n'ont pas donné à leurs machines un aspect proche du vivant, éludant ainsi la question éthique du brouillage de la frontière entre vivant et artefact [IVI-2]. Cependant la voie qui s'ouvre vers la robotique affective nécessite une vigilance soutenue quant aux effets [IVI-3] qui doivent être évalués au fur et à mesure [IVI-5]. Ces préconisations valent d'autant plus que les utilisateurs ciblés sont d'abord les personnes âgées voire les enfants [IVI-4]. En effet, si l'introduction de robots auprès des personnes âgées pour veiller sur elles, les aider voire les distraire est envisagée avec constance, particulièrement au Japon, l'usage de « robots nounous » ayant les mêmes fonctions auprès des enfants est également évoquée16. Or, selon certaines études, il est vraisemblable que ces deux catégories de personnes ont tendance à anthropomorphiser les robots et à s'y attacher davantage que l'ensemble de la population17. Des robots au sein des groupes Les robots didactiques et de recherche À cause de leur coût et de leur complexité d'exploitation, des robots comme Nao d'Aldebaran (Figure 2), ou DARwIn en open source, sont surtout présents dans les laboratoires et les établissements d'enseignement. Cet usage ne peut être qu'encouragé, car il aide les chercheurs de différentes disciplines à se familiariser avec la réalité de la robotique androïde. Il importe néanmoins d'être attentif à partager dans la communauté scientifique les retours d'expérience et de veiller à une communication appropriée vers le grand public [GEN-9]. Les robots de téléprésence Des robots de téléprésence, comme Double de Double Robotics (Figure 3) ou les robots de la classe Q de Anybots, apparaissent à partir de 1000 € sur le marché. Ils peuvent être mobiles et représenter à distance une personne de manière plus ou moins figurative pour différents usages : événementiel, visite de musée, suivi de cours à l'école à distance, télésurveillance, télétravail, formation professionnelle à distance, interventions en milieu hostile. Pour l'instant, le principe est simple: l'utilisateur prend le contrôle d'un robot situé sur un autre site géographique souvent via l'Internet depuis un ordinateur, le robot pouvant être doté d'une autonomie de déplacement ou être totalement téléopéré et représenter cette personne. 16 Actuellement seuls des robots jouets sont commercialisés. Ils associent souvent les aspects ludique et pédagogique. Ils sont soumis aux normes applicables aux jouets, notamment ils doivent rester d'une taille et d'une force n'en faisant pas une menace physique, et ils doivent pouvoir être débranchés comme de simples appareils [AUT-1]. 17 N.Epley, A.Waytz, and J.T. Caciopo, « On seeing humain: A three factor theory of anthropomorphism », Psychol. Revue, vol 114, n°4, pp. 864-887, 2007. Cerna.indd 19 28/10/14 14:26 20 Le fait qu'un robot avatar représente un élève ou un collègue pose la question de l'évolution des rapports sociaux en classe ou sur le lieu de travail. Par ailleurs, le comportement d'une foule face à un incident ou une panique risque d'être différent selon que les instructions sont données directement par des personnes ou à travers des robots d'accueil et d'orientation. Ces exemples illustrent la nécessité de conduire les projets de téléprésence en concertation avec les acteurs et les utilisateurs potentiels afin d'éclairer au mieux les choix [GEN-7]. Si, de plus, on recherche la plus grande ressemblance possible avec l'humain, même avec une autonomie réduite, comme le fait au Japon Hiroshi Ishiguro (Figure 4), les interrogations éthiques sur les finalités d'un tel projet [IVI-1] et sur ses effets [IVI-2 et 3] s'imposent. En outre, la conception de ces robots doit intégrer l'exigence de confidentialité des données personnelles traitées par ces robots [GEN-5] et de protection contre une prise en main malveillante au sens informatique [GEN-6]. Les véhicules autonomes Des engins robotisés sont expérimentés dans des services urbains comme le nettoyage. Ils évoluent à très faible vitesse sur des itinéraires balisés et leur introduction sera sans doute très progressive. En revanche, les développements de voitures autonomes comme Google Car visent une circulation sur route ouverte aussi sûre sinon plus que par conduite humaine. Même si cela devenait le cas en termes de statistiques, des situations telles que se retrouver face au risque de percuter un piéton ou de mettre en péril le passager se produiraient inévitablement, soulevant toutes les questions relatives à l'autonomie [AUT] et aux systèmes sociaux-techniques [GEN-7,8,9]. C'est là un exemple de question éthique née d'un progrès technologique, que le scientifique doit éclairer, mais dont la réponse appartient à la société toute entière. Figure 3 : robot de téléprésence Double Figure 4 : L'actroïde Gémoïd HI-1 d'Hiroshi Ishiguro Laboratory © D ou bl e R ob ot ic s © A rs E le ct ro ni ca F lic kr C

C B YN C -N D Cerna.indd 20 28/10/14 14:26 21CERNA Éthique de la recherche en robotique Cas d'usage 2 : les robots dans le contexte médical Dans le grand public et la presse, on parle beaucoup de l'usage des robots pour la santé. Cela recouvre des dispositifs extrêmement variés tant par leurs fonctions et les technologies mises en oeuvre que par les questions d'ordre éthique qu'ils soulèvent. Dans tous les cas ces questions doivent être traitées dans le contexte de l'éthique médicale et de ses instances, en veillant à ce que les roboticiens y soient associés autant que nécessaire [RAH-1]. Robots d'assistance aux chirurgiens Ce sont des télémanipulateurs couplés à des dispositifs endoscopiques qui facilitent l'exécution des gestes classiques réalisés en chirurgie – section, hémostase, suture, fermeture des parois, etc. – avec les instruments usuels – écarteurs, bistouris, pinces, lasers, porte-aiguilles, etc. Ils reconstituent, à distance, au moyen d'un écran de vision stéréoscopique, le champ opératoire, puis ils offrent au chirurgien la possibilité d'actionner, toujours à distance, un ou plusieurs « bras » munis d'interfaces motorisées. Les mouvements des instruments étant télécommandés par le chirurgien au moyen de manettes, le robot n'« opère » pas à proprement parler, puisqu'il n'a pas d'autonomie. Il se pourrait toutefois qu'à l'avenir ces robots contrôlent et contraignent les mouvements, de façon à éviter une erreur. De plus, certaines opérations, comme les sutures, sont effectuées de façon partiellement automatique. Les systèmes robotisés font l'objet d'évaluations cliniques comparatives avec les modes classiques dans plusieurs branches de la chirurgie comme la chirurgie abdominale endoscopique (coelioscopie), la chirurgie digestive, la chirurgie gynécologique, l'urologie18. Il faut être attentif à ce que ces retours d'expérience soient diffusés par des canaux scientifiques indépendants des fabricants de ces robots19. Le système da Vinci de la société Surgical est commercialisé depuis plus de dix ans (Figure 5). D'autres systèmes sont à l'étude, par exemple les robots « Amadeus » (Titan Inc.) et « Raven » (Université de Washington), mais il semble qu'ils n'aient pas encore été expérimentés de façon systématique. 18 Exemple d'application en chirurgie pulmonaire : Florian Augustin, Johannes Bodner, Heinz Wykypiel, Christoph Schwinghammer, Thomas Schmid, Initial experience with robotic lung lobectomy: report of two different approaches, Surg Endosc (2011) 25:108–113 DOI 10.1007/s00464-010-1138-3 19 Il existe d'ores et déjà de nombreuses publications portant sur l'évaluation de ces assistants robotisés. En voici quelques unes : Thavaneswaran P et al.Robotic-assisted surgery for urological, cardiac and gynaecological procedures, ASERNIP-S Report No. 75, ASERNIP-S REVIEW OF ROBOTIC-ASSISTED SURGERY – MAY 2009, Adelaide, South Australia Medical Advisory Secretariat. Computer assisted surgery using telemanipulators: an evidence based analysis. Ontario Health Technology Assessment Series 2004;4(1). On peut aussi consulter une publication récente de l'APHP (Assistance Publique des Hôpitaux de Paris) : Lettre n°21 du Pôle Innovation et Veille Technologique (PIVTCEDIT), point sur le système de chirurgie assistée par robot da Vinci, pp. 4-7, http://portail-web.aphp.fr/cedit/IMG/pdf/Cedit-lettre_de_veille_n21_Juin_2012_.pdf Figure 5 : Système chirurgical da Vinci ® © 2 01 4 I nt ui tiv e S ur gi ca l, In c. Cerna.indd 21 28/10/14 14:26 22 À ces systèmes polyvalents, on doit ajouter des systèmes moins chers et plus spécialisés qui se restreignent à une seule fonction de la chirurgie. L'intérêt du patient et l'économie de la santé sont pris en compte dans les décisions de robotisation et prêtent à débat. En effet, d'une part les robots chirurgicaux ont un coût extrêmement élevé qui freine leur diffusion, bien qu'ils permettent souvent une chirurgie moins invasive réduisant les durées d'hospitalisation, d'autre part il importe que les évaluations cliniques confirment l'intérêt pour les patients de l'introduction de ces robots. Du point de vue de l'éthique de la robotique proprement dite, il faut veiller au bon fonctionnement du système chirurgien-robot [AUT-6], à l'influence que pourrait avoir le robot sur le comportement et le sentiment de responsabilité du chirurgien [AUT3] et sur les conditions de reprise en main du chirurgien ou du robot [AUT-1]. Il s'agit ici d'une illustration critique des préconisations citées, puisque la vie du patient peut en dépendre. Prothèses Les prothèses visent à épauler des organes défaillants, voire à les remplacer. Leur usage est ancien, tel celui de la jambe de bois, et l'on a retrouvé des prothèses datant de l'antiquité. Cependant les technologies actuelles multiplient les possibilités. Au delà de la simple réparation qui restitue des fonctions naturelles indigentes, par exemple une locomotion, une préhension ou une perception défaillante, les technologies laissent entrevoir la possibilité d'une augmentation, qui procure des fonctions nouvelles et/ou démultipliées. L'augmentation n'est pas un sujet médical et est évoquée dans une partie ultérieure de ce document, cependant une réparation pourrait non intentionnellement conduire à une augmentation de capacité20. Le patient pourrait ne pas percevoir cette augmentation de capacité comme un avantage [RAH-4] aussi faudrait-il veiller, autant que faire se peut, à la réversibilité du dispositif [RAH-3]. La question se pose notamment pour les membres artificiels et la simulation cérébrale présentés ci-après. Membres artificiels Les applications robotiques portant sur ce que l'on appelle les prothèses neurales ou les membres bioniques se caractérisent par un couplage au système nerveux du patient21. D'ores et déjà, il existe des mains, des bras ou des jambes artificielles qui se commandent directement par l'influx nerveux. Plus précisément, les nerfs du moignon d'un organe amputé sont détournés vers des capteurs. Après avoir été détectés et traités, les signaux servent à la commande d'organes motorisés. On espère même un jour être en mesure de faire un retour sur les nerfs à partir des organes artificiels pour procurer l'équivalent de sensations. 20 Ce n'est pas le cas du coureur Oscar Pistorius, qui s'équipait de prothèses spécifiques pour la compétition, inutilisables dans la vie courante. 21 Pour un survol illustré, voir un article publié par la revue National Geographic sur le sujet en 2010: Josh Fischman, Bionics, national geographic January 2010, pp. 35-53 (http://ngm.nationalgeographic.com/2010/01/ bionics/fischman-text) Cerna.indd 22 28/10/14 14:26 23CERNA Éthique de la recherche en robotique Perception artificielle Toujours en utilisant les principes des prothèses neurales selon lesquels des dispositifs artificiels se greffent sur l'appareil nerveux, on conçoit des organes de perception artificielle, par exemple des réseaux de capteurs optiques qui se connectent aux nerfs de la rétine22 ou des implants cochléaires pour l'audition23. Dans tous les cas, ces dispositifs procurent des sensations, certes dégradées, mais qui, par couplage au système nerveux, autorisent la construction d'une perception. Cette perception modifiée ne doit pas affecter l'intégrité du patient en perturbant ses fonctions cognitives [RAH 2]. Organes internes artificiels Cette dernière préconisation vaut de même pour l'implantation de différents organes artificiels, comme le coeur ou les sphincters. Depuis quelques temps, on évoque la possibilité de réaliser des coeurs artificiels totaux pour traiter l'insuffisance cardiaque en les substituant aux coeurs défaillants. Des prototypes sont en cours d'évaluation en Australie. Les coeurs SynCardia se composent d'une pompe pneumatique connectée à une console externe ; les systèmes AbioCor s'implantent en totalité dans le corps24. Des implantations d'un coeur artificiel total, CARMAT25, ont déjà eu lieu en France (Figure 6). Pour le traitement de l'incontinence urinaire, on a mis au point des sphincters artificiels qui permettent, par action manuelle d'une pompe, de vider la vessie. Des alternatives, comme les pompes hydrauliques intelligentes qui seraient commandées par contraction de certains muscles, se développent aujourd'hui. 22 Évaluation d'une prothèse épirétinienne et de son acte d'implantation, Rapport d'évaluation technologique, Haute Autorité de la Santé, ISBN 978-2-11-128572-9, décembre 2012. 23 Traitement de la surdité par pose d'implants cochléaires ou d'implants du tronc cérébral, rapport d'évaluation technologique, Haute Autorité de la Santé, mai 2007. 24 Health Policy Advisory Committee on Technology, Total artificial heart for end-stage refractory biventricular heart failure, 11/04/2012, http://euroscan.org.uk/technologies/technology/view/1914 25 Susan Young, The Latest Artificial Heart: Part Cow, Part Machine, A French company is preparing to test a complex artificial heart that combines biology with machinery, MIT Tech Review, May 30, 2013 Figure 6 : Coeur artificiel Carmat © C ar m at Cerna.indd 23 28/10/14 14:26 24 Automates de régulation biologique En sus de ces organes artificiels, qui se substituent aux organes naturels, on conçoit des systèmes de régulation biologique appelés parfois aussi, par abus de langage, des organes artificiels, lorsqu'ils accomplissent des fonctions qui pallient les déficiences d'organes naturels. La régulation biologique peut être soit électrique, comme pour le stimulateur cardiaque, soit d'ordre chimique, comme pour le pancréas artificiel. Stimulateurs cardiaques Les stimulateurs cardiaques équipent un nombre considérable de patients. Rien qu'en France, on implante aujourd'hui plus de 40000 stimulateurs cardiaques par an. Ils régulent les stimulations électriques en fonction de l'activité cardiaque qu'ils mesurent. Pompe à insuline et pancréas artificiel La pompe à insuline et le pancréas artificiel visent, tous deux, à pallier les défaillances du pancréas en injectant de l'insuline. Les pompes à insuline injectent un taux prédéterminé d'insuline, tout au long de la journée, en se fiant seulement à une courbe donnée par avance. En revanche, les pancréas artificiels procèdent à une mesure biologique au moyen de laquelle ils calculent le taux d'insuline à injecter. Il a été expérimenté qu'il est possible de prendre le contrôle à distance d'un simulateur cardiaque ou d'une pompe à insuline, posant ainsi le problème d'une cybercriminalité d'un type bien particulier. La sécurité informatique de ces systèmes robotisés contre les attaques est donc à prendre en considération [GEN-6]. Stimulation cérébrale La stimulation cérébrale prend de plus en plus d'ampleur aujourd'hui, même si elle reste, le plus souvent, à un stade expérimental26. On distingue deux types de stimulation cérébrale. Stimulation cérébrale profonde Des électrodes implantées dans différentes aires du cerveau, localisées de manière précise, diminuent de façon significative les symptômes moteurs qui affectent les patients atteints de certaines formes graves de la maladie de Parkinson. Notamment conduits depuis trente ans en France, à Grenoble, ces travaux sont maintenant validés par de nombreuses études. Stimulateurs magnétiques trans-crâniens D'autres travaux font état de l'utilisation de la stimulation magnétique transcrânienne répétitive (rTMS) pour traiter certaines dépressions sévères et certaines anorexies en stimulant les zones du cerveau associées à la régulation de l'humeur. La société Neurostar commercialise, dès à présent, de tels stimulateurs. 26 Le CCNE – Comité Consultatif National d'Éthique pour les Sciences de la Vie et de la Santé – a un rédigé un avis sur le sujet. Il s'agit de l'Avis N°122 Recours aux techniques biomédicales en vue de «neuro-amélioration » chez la personne non malade: enjeux éthiques, décembre 2013. Cerna.indd 24 28/10/14 14:26 25CERNA Éthique de la recherche en robotique Nano-robots pour la médecine Plusieurs travaux font état d'applications possibles de la nano-robotique à la médecine comme l'utilisation de nano-sphères capables de détecter des tumeurs ou des infections et de transporter des substances thérapeutiques actives à travers l'organisme, en ciblant précisément l'endroit de leur délivrance. L'intervention d'objets au sein du corps humain d'une taille leur permettant de pénétrer les cellules voire d'interférer avec le génome est envisagée. Cette perspective, qui demeure hypothétique en robotique27, a suscité des débats hâtifs dans le cadre des nanotechnologies. Assistance aux personnes en situation de faiblesse et surveillance des patients Contrairement aux robots médicaux considérés précédemment, il s'agit ici de robots proches des robots compagnons ou domestiques et qui sont non physiquement intrusifs. Ces robots sont destinés aux personnes n'étant pas en possession de toutes leurs facultés physiques ou intellectuelles, par exemple des personnes âgées dépendantes (Romeo228) ou des patients atteints de maladie de Parkinson à un stade avancé. On envisage aussi de mettre de tels robots à disposition d'enfants à des fins thérapeutiques, par exemple pour des enfants souffrants de dysfonctionnements psychiques comme des Troubles du Spectre Autistique (TSA)29. Ces robots munis de capteurs peuvent comprendre des phrases, éventuellement parler et mimer des réactions affectives de façon à susciter des émotions. Certains d'entre eux surveillent et prennent des informations nécessaires pour lancer des alertes, ou peuvent faciliter les traitements en assurant une délivrance régulière et fiable de médicaments. Ce sont aussi des présences affectives que l'on imagine précieuses pour les personnes isolées. Quelques-uns contribuent aux soins et des études expérimentales sont menées pour évaluer le bénéfice médical dans chaque cas particulier, par exemple comme outil de médiation pour enfants autistes (notamment avec le robot Nao) ou comme présence affective pour les personnes âgées (où le robot Paro en forme de phoque est expérimenté depuis une dizaine d'années). Le recours aux robots répond soit à des besoins thérapeutiques, pour améliorer la qualité des soins et/ou de la vie, soit à des considérations socio-économiques. Ainsi les robots peuvent aussi aider à maintenir l'autonomie de la personne aussi longtemps que possible, tout en autorisant une surveillance jugée nécessaire. L'arbitrage entre d'un côté l'utilité thérapeutique, l'apport affectif, la qualité de vie et l'autonomie de la personne et, d'un autre côté, les facteurs économiques, la violation de l'intimité et l'intrusion dans la vie privée relève très certainement d'une réflexion éthique qu'il convient d'engager en concertation avec des médecins et des chercheurs en sciences du numérique et en sciences humaines et sociales. L'impact sur l'affectivité du patient doit être évalué [IVI-5]. La communication auprès du public doit ici être particulièrement mesurée [GEN-9], étant donnés le caractère sensible de l'usage et la perception floue qu'a le public des capacités d'un robot en la matière. 27 Les liposomes et autres vecteurs de livraison ciblée, développés en médecine ou en cosmétologie, relèvent des nanotechnologies mais pas de la robotique dans les perspectives actuelles. 28 Par exemple le projet français PSI ROMEO2 www.projetromeo.com 29 Par exemple le projet ALIZ-E du 7e programme-cadre européen http://www.aliz-e.org/. Cerna.indd 25 28/10/14 14:26 26 Plus généralement les préconisations évoquées plus haut pour les robots compagnons et domestiques s'appliquent, et les différents exemples mettent en évidence que la catégorie d'utilisateurs conditionne pour beaucoup les paramétrages du robot en termes d'autonomie et d'interactions, selon le niveau de validité physique et de plénitude de moyens psychiques des personnes. Ce dernier point illustre l'importance de prendre en compte les finalités et les conditions d'usage du robot dès sa conception [GEN-7]. Remarque : on pourrait mentionner les automates de surveillance des patients, qui assurent le suivi des enregistrements et lancent des alertes lorsque nécessaire. La structure de ces automates est simple : des capteurs amplifient les signaux, puis les envoient à des processeurs qui les interprètent et, si besoin, lancent une alerte physique, par exemple une sonnerie ou un message électronique. Cependant, leurs actions – essentiellement activations d'alarmes – n'étant pas matérielles, ces machines ne sont pas considérées comme étant des robots. Cerna.indd 26 28/10/14 14:26 27CERNA Éthique de la recherche en robotique Cas d'usage 3 : les robots dans la défense et la sécurité Les robots de défense et de sécurité sont des robots qui sont à l'heure actuelle téléopérés ou supervisés par des opérateurs, c'est-à-dire des professionnels qui ont une certaine connaissance du fonctionnement des robots et qui sont partie prenante dans les décisions relatives à leurs actions. On peut distinguer les robots non armés destinés à la surveillance, à la reconnaissance, au renseignement, des robots armés. Les drones et robots de surveillance, de reconnaissance, de renseignement Ces engins sont équipés de capteurs (caméras, capteurs infrarouges, lasers...) et agissent en tant qu'oeil déporté permettant de mieux observer, d'observer plus loin et plus longtemps, d'observer des sites difficilement accessibles ou potentiellement dangereux. L'objectif du recueil d'informations est de mieux prévenir (les défaillances, comportements anormaux, accidents, attaques) pour mieux mettre en oeuvre les moyens d'action et de réaction. Les contextes d'utilisation sont les inspections d'ouvrages d'art (barrages, ponts, monuments, lignes à haute tension) (Figure 7 à gauche), la surveillance des zones maritimes (pollution, piraterie), la surveillance de grands rassemblements (événements sportifs, manifestations...), le renseignement militaire, les prises d'otages (renseignement, détournement d'attention) (Figure 7 à droite). Figure 7 : À gauche, drone d'inspection Novadem ; à droite, Throwbot® X, robot de reconnaissance tactique utilisé par la police ou l'armée © d ro ne U 13 0 – N ov ad em © R ec on R ob ot ic s, In c. Cerna.indd 27 28/10/14 14:26 28 Les microrobots et microdrones constituent une classe particulière de tels engins (Figure 8). Ils sont de petite taille, sont porteurs de capteurs (optiques, acoustiques...) voire d'éléments actifs (brouillage, explosifs) et peuvent s'infiltrer discrètement dans les bâtiments à des fins de renseignement, d'espionnage, de piratage des communications, de destruction de matériel. Ils peuvent être conçus comme ressemblant à des arthropodes, ce qui pose la question de la confusion possible entre être vivant et robot (IVI-2). Par rapport à des caméras de surveillance, les robots offrent de grandes possibilités de déplacement des capteurs et une prévisibilité réduite (balayage possiblement aléatoire). Par rapport à des moyens d'observation aéroportés classiques (avions ou hélicoptères habités), ils permettent des missions plus longues, à une distance plus proche des lieux d'intérêt, dans des lieux à risque ou encombrés, avec une mobilité accrue. Les drones et robots armés Ces engins sont équipés d'armes (Figure 9). L'objectif est de traiter les cibles sans risque pour la partie qui met en oeuvre ces robots, à distance voire à très grande distance d'une riposte potentielle. Les contextes d'utilisation sont les interventions militaires, la lutte anti-terroriste, la défense des frontières. Si actuellement ces engins sont téléopérés et soumis à l'aval de la chaîne de commandement pour la décision d'ouverture de feu, une évolution vers la décision autonome de tir sur la base d'une évaluation de situation autonome réalisée entièrement par les logiciels embarqués, sans intervention humaine, n'est pas impossible. Figure 8 : Microdrones RoboBees © K ev in M a an d Pa kp on g C hi ra ra tt an an on , H ar va rd U ni ve rs ity Figure 9 : À gauche, matériel d'élimination d'objets détonants de l'Armée de Terre : Le robot radio-télécommandé Packbot 510 possède plusieurs caméras orientables ; à droite, robot armés de l'armée américaine JB .T ab on e © A rm ée d e Te rr e (© U .S . A rm y / P ho to S gt . L or ie J ew el l Cerna.indd 28 28/10/14 14:26 29CERNA Éthique de la recherche en robotique De manière générale sur ce type de robots, l'éloignement ou la moindre présence de l'opérateur dans le processus de décision amènent le chercheur à étudier des capacités accrues de reconnaissance de situation et de décision automatiques, les risques associés étant des erreurs de perception (AUT-4), la mauvaise appréciation de l'incertitude (AUT5), la difficulté à programmer le jugement de bon sens, contextuel ou moral (AUT-4), l'opacité des décisions et actions de la machine30 (AUT-2, AUT-7), la difficulté à prévoir le comportement du système humain-robot (AUT-6). Ces capacités accrues de la machine peuvent aussi favoriser des dérives de l'opérateur vers des comportements indésirables de type biais de confiance ou distanciation morale (« moral buffer »)31 (AUT-3) et posent la question des possibilités de reprises en main que l'opérateur peut ou non effectuer sur la machine et inversement (AUT-1). Mais a contrario, le statut protégé de l'opérateur du fait de son éloignement du théâtre des opérations doit lui permettre de conserver plus de sang-froid et de réflexion dans ses actions. Ces questions sont cruciales dans le cas de robots armés. 30 N. D. Sarter, D. D. Woods, C .E. Billings – Automation surprises. Handbook of Human Factors and Ergonomics, 2nd ed., Wiley, 1997. 31 M.L. Cummings, M.L. – Automation and accountability in decision support system interface design, Journal of Technology Studies, vol 32:1, 2006. Cerna.indd 29 28/10/14 14:26 30 V. Préconisations générales de la CERNA CONTEXTE Les préconisations générales relatives à la conduite intègre et responsable dans le monde de la recherche n'ont pas de déclinaison propre à la robotique et ne sont pas traitées ici. On peut signaler à ce sujet le guide publié en 2014 par le CNRS32. Les préconisations qui suivent, élaborées à l'occasion du présent avis, valent pour les sciences et technologies du numérique en général, certaines pouvant même avoir une portée plus large. La préconisation [GEN-1], qui fait écho aux chartes de déontologie de la plupart des établissements, est particulièrement prégnante pour le numérique, celui-ci remettant en cause quelques repères traditionnels de la société avec une forte exposition médiatique. La préconisation [GEN-2] concerne autant les établissements, qu'elle incite à se doter de comités opérationnels d'éthique33, que les chercheurs, qu'elle incite à consulter ces comités. La saisie au cas par cas de tels comités aidera la communauté scientifique à trouver ses marques dans le sens des meilleures pratiques éthiques. Une telle instance est particulièrement pertinente dans le domaine du numérique, dont les implications des recherches touchent fréquemment à l'humain et à la société, comme c'est le cas en sciences du vivant. La préconisation [GEN-3] recommande aux établissements de se doter d'espaces pluridisciplinaires d'étude de l'impact des évolutions technologiques sur les cadres juridiques. Le but de la préconisation [GEN-4] est que le chercheur ne se sente pas seul et démuni, et qu'il perçoive dès l'amont d'un projet l'intégration de la dimension éthique comme un enrichissement de ses travaux et non comme une contrainte. Il importe pour un système informatique que l'on puisse contrôler et réguler l'usage des données personnelles [GEN-5]. Pour des robots autonomes, comme les drones, cette question peut prendre des formes particulières. Un système informatique doit notamment faciliter le traçage de l'usage des données, le droit à l'oubli, le respect 32 Un guide pour promouvoir une recherche intègre et responsable, Comité d'éthique du CNRS (Comets), septembre 2014. http://www.cnrs.fr/comets/IMG/pdf/guide_promouvoir_une_recherche_inte_gre_et_responsable_8septembre2014. pdf 33 On peut distinguer deux fonctions assurées par les comités d'éthique de la recherche, la fonction opérationnelle et la fonction consultative. Les comités d'éthique opérationnels traitent de questions réglementaires. C'est le cas des Institutional Review Board (IRB), qui sont indépendants et doivent recevoir une accréditation de l'US Office for Human Research Protection. Au niveau des établissements, les comités opérationnels traitent au cas par cas les questions de déontologie ou de responsabilité engageant l'établissement, comme le Coerle d'Inria (Comité opérationnel d'évaluation des risques légaux et éthiques). Les comités consultatifs sont saisis ou s'autosaisissent de sujets éthiques sur lesquels ils émettent des avis. Ils peuvent aussi proposer/mener des actions de réflexion, sensibilisation, formation. C'est le cas de la CERNA. La plupart des universités étrangères possèdent un comité d'éthique qui joue les deux rôles. Les comités d'éthique sont nés autour de la protection des personnes et de leurs données. Le second aspect, celui des données, prend de plus en plus d'importance avec le développement du numérique. Ces dernières années les champs se diversifient : agroalimentaire ; environnement, énergie et développement durable. Cerna.indd 30 28/10/14 14:26 31CERNA Éthique de la recherche en robotique de l'anonymat, la confidentialité des données, la sécurisation des transmissions et des stockages. Le chercheur doit se tenir informé de l'évolution du cadre réglementaire34 , 35. Les risques de prise de contrôle malveillant de systèmes robotiques existent plus généralement pour tous les systèmes informatiques. Cependant, dans le cas des robots, ils peuvent avoir une conséquence physique directe [GEN-6]. Les trois dernières préconisations concernent en premier lieu les projets sociauxtechniques aux objectifs recélant un impact possible sur l'humain ou la société [GEN-7,8,9]. PRÉCONISATIONS [GEN-1] Expertise et expression d'opinion Lorsque le chercheur s'exprime en public sur une question de société relative à son activité professionnelle, il doit distinguer son intervention experte de l'expression de son opinion personnelle. [GEN-2] Comités d'éthique opérationnels d'établissements Il est recommandé que les établissements se dotent de comités opérationnels d'éthique en sciences et technologies du numérique. [GEN-3] Initiatives des établissements sur les aspects juridiques Il est recommandé que les établissements et autres acteurs concernés mettent en place des groupes de travail et des projets de recherche interdisciplinaires ouverts à l'international et incluant des chercheurs et des juristes pour traiter des aspects juridiques des usages de la robotique. [GEN-4] Sensibilisation et soutien du chercheur par les établissements Il est recommandé que les établissements et autres acteurs concernés mettent en place des actions de sensibilisation et de soutien auprès des chercheurs et des laboratoires de recherche dans le numérique. Lors de l'élaboration et dans la conduite de ses projets le chercheur saisira, si nécessaire, le comité opérationnel d'éthique de son établissement. [GEN-5] Données personnelles Lors de la conception d'un système numérique ayant la capacité de capter des données personnelles, le chercheur se demandera si ce système peut être équipé de dispositifs facilitant le contrôle de sa conformité à la réglementation lors de sa mise en usage. [GEN-6] Prévention d'attaque des systèmes numériques Le chercheur veillera à prendre en compte l'exposition potentielle de ses recherches et prototypes à des attaques numériques malicieuses. 34 Guide « Informatique et Libertés » pour l'enseignement supérieur et la recherche. Édition 2011, édité conjointement par l'AMUE, la CNIL et la CPU. http://www.cnil.fr/fileadmin/documents/Guides_pratiques/Guide_AMUE_2011.pdf 35 Cahiers IP et Lettres IP http://www.cnil.fr/linstitution/ip/. Publications de la Direction de l'Innovation et de la Prospective de la CNIL, Cerna.indd 31 28/10/14 14:26 32 [GEN-7] Conduite de projet Si le chercheur considère que le projet vise un développement pouvant avoir un impact important sur la vie des utilisateurs, il veillera à délibérer dès la conception du projet avec les acteurs et les utilisateurs potentiels afin d'éclairer au mieux les choix scientifiques et technologiques. [GEN-8] Documentation Le chercheur veillera à documenter l'objet ou le système conçu et à en exposer les capacités et les limites. Il sera attentif aux retours d'expérience à tous les niveaux, du développeur à l'utilisateur. [GEN-9] Communication publique Le chercheur veillera à faire une communication mesurée et pédagogique sachant que les capacités des objets et systèmes qu'il conçoit peuvent susciter des questionnements et des interprétations hâtives dans l'opinion publique. Cerna.indd 32 28/10/14 14:26 33CERNA Éthique de la recherche en robotique VI. Les préconisations en robotique selon trois thèmes L'autonomie et les capacités décisionnelles CONTEXTE L'autonomie d'un robot est sa capacité à fonctionner indépendamment d'un opérateur humain ou d'une autre machine en exhibant des comportements non triviaux dans des environnements complexes et variables. Les programmes régissant le comportement d'un robot autonome sont conçus pour interpréter les informations issues de ses capteurs, déterminer les actions les plus pertinentes en fonction de cette interprétation et de ses connaissances préalables, et calculer quand et avec quelles ressources ces actions seront effectuées. Il convient de distinguer les robots qui sont supervisés par un opérateur, c'est-à-dire un professionnel du domaine d'application qui interagit avec le robot pour la mise en oeuvre de ses fonctions, et les robots sans opérateur qui interagissent avec un utilisateur, c'est-à-dire une personne qui bénéficie des fonctions du robot sans en connaître la mise en oeuvre. Le chercheur doit donc concevoir l'autonomie non pas pour les robots comme artefacts isolés d'un contexte, mais au sein d'un système constitué du robot et de l'humain, que celui-ci soit opérateur ou utilisateur. Dans le cas du robot supervisé par un opérateur, l'autonomie du robot est un continuum allant de situations où l'humain prend toutes les décisions jusqu'à des situations où celles-ci sont déléguées au robot, l'humain conservant le plus souvent la possibilité d'intervenir. Dans les situations intermédiaires, certaines fonctions sont réalisées par le robot (par exemple la navigation d'un drone) tandis que d'autres le sont par l'humain (par exemple l'interprétation des images prises par les caméras du drone). Se pose alors la question du partage de l'autorité, c'est-à-dire quel agent (humain ou robot) détient, à un moment donné, le pouvoir décisionnel et le contrôle sur une fonction donnée. Dans ce cadre, la question des reprises en main [AUT-1] est centrale : quand et comment l'opérateur peut-il, ou doit-il, reprendre la main sur des actions contrôlées par la machine ? Réciproquement, la machine peut-elle ou doit-elle reprendre la main sur des actions contrôlées par l'opérateur ou les empêcher, dans quelles circonstances (opérateur « diminué » par la charge de travail, le stress, l'émotion...) et sur quelles bases objectives? Si le contexte d'utilisation du robot (par exemple nécessité de réaction rapide, difficultés de communication avec l'opérateur) est tel que au moins momentanément toutes les décisions lui sont déléguées, sans intervention possible de l'humain, la question se pose de la pertinence et de la fiabilité des connaissances et algorithmes [AUT-5] qui fondent ces décisions et de leurs limites [AUT-4] (par exemple, sur quelles bases un engin robotisé armé déciderait-il d'ouvrir le feu ?) Cerna.indd 33 28/10/14 14:26 34 Dans le cas d'un robot interagissant avec un utilisateur, sans opérateur, au sein de la sphère privée en particulier, l'autonomie du robot réside dans l'ensemble des fonctions que le robot peut exhiber et dont bénéficie l'utilisateur. Dans ce cadre, la question du débrayage de certaines de ces fonctions, voire de la mise hors service du robot par l'utilisateur, est centrale : quand et comment l'utilisateur peut-il éteindre des fonctions du robot, voire le robot lui-même ? Le robot peut-il ou doit-il empêcher ces extinctions, dans quelles circonstances et sur quelles bases objectives [AUT-1]? Plus généralement, il importe que le système humain-robot ait un comportement prévisible et robuste, aussi complexe soit-il. Ceci nécessite notamment que l'humain puisse avoir confiance sans biais [AUT-3] dans le comportement du robot [AUT-2], et de prendre en compte les possibles défaillances du système [AUT-6]. Enfin, il importe d'avoir une trace du comportement du robot permettant d'analyser les causes d'un dysfonctionnent, tant pour l'amélioration du robot que pour d'éventuelles recherches de responsabilités en cas de préjudice [AUT-7]. PRÉCONISATIONS [AUT-1] Reprises en main Le chercheur doit se poser la question des reprises en main que l'opérateur ou l'utilisateur peut effectuer (au détriment du robot) et que la machine peut effectuer (au détriment de l'humain), des circonstances qui les permettent ou les rendent obligatoires. Il doit également étudier la possibilité ou non laissée à l'humain de « débrayer » les fonctions autonomes du robot. [AUT-2] Décisions à l'insu de l'opérateur Le chercheur doit faire en sorte que les décisions du robot ne soient pas prises à l'insu de l'opérateur afin de ne pas créer de ruptures dans sa compréhension de la situation (c'est-à-dire afin que l'opérateur ne croie pas que le robot est dans un certain état alors qu'il est dans un autre état). [AUT-3] Influences sur le comportement de l'opérateur Le chercheur doit être conscient des phénomènes de biais de confiance, c'est-à-dire la tendance de l'opérateur à s'en remettre aux décisions du robot, et de distanciation morale (« Moral Buffer ») de l'opérateur par rapport aux actions du robot. [AUT-4] Limites des programmes Le chercheur doit être attentif à évaluer les programmes de perception, d'interprétation et de prise de décision et à en expliciter les limites. En particulier, les programmes qui visent à conférer une conduite morale au robot sont soumis à de telles limites. [AUT-5] Caractérisation d'une situation En ce qui concerne les logiciels d'interprétation du robot, le chercheur doit évaluer jusqu'à quel point ceux-ci peuvent caractériser correctement une situation et discriminer entre plusieurs situations qui semblent proches, surtout si la décision d'action prise par Cerna.indd 34 28/10/14 14:26 35CERNA Éthique de la recherche en robotique l'opérateur ou par le robot lui-même est fondée uniquement sur cette caractérisation. Il faut en particulier évaluer comment les incertitudes sont prises en compte. [AUT-6] Prévisibilité du système humain-robot De manière plus globale, le chercheur doit analyser la prévisibilité du système humainrobot considéré dans son ensemble, en prenant en compte les incertitudes d'interprétation et d'action, ainsi que les défaillances possibles du robot et celles de l'opérateur, et analyser l'ensemble des états atteignables par ce système. [AUT-7] Traçage et explications Le chercheur doit intégrer des outils de traçage dès la conception du robot. Ces outils doivent permettre d'élaborer des explications, même limitées, à plusieurs niveaux selon qu'elles s'adressent à des experts de la robotique, à des opérateurs ou à des utilisateurs. L'imitation du vivant et l'interaction affective et sociale avec les humains CONTEXTE L'imitation du naturel et du vivant L'approche biomimétique consiste à imiter le vivant pour le comprendre ou pour s'en inspirer. Dans le premier cas, elle accroît nos connaissances en confrontant la réalité biologique à des réalisations techniques qui en reproduisent certains aspects, comme le fait la simulation numérique sur le plan immatériel. Dans le second cas, elle suggère de nouvelles solutions à l'ingénieur qui cherche à atteindre l'efficacité de la nature avec un plus ou moins grand succès. Certains programmes de recherche en robotique participent de cette approche avec une visée scientifique et/ou technologique. C'est par exemple le cas des microdrones dont le vol s'inspire de celui des insectes, ou des robots à pattes, parce qu'un robot muni de six pattes est plus agile pour intervenir sur un terrain escarpé et accidenté qu'un robot à roues. Toute imitation du vivant incite à comparer la réalisation artificielle au prototype naturel. Cette comparaison peut mettre en lumière le degré de ressemblance, la performance accrue ou diminuée du robot par rapport au prototype, ou encore l'éventualité du transfert involontaire au robot de certaines caractéristiques du prototype. Par exemple, on projettera plus facilement des attributs du vivant à un robot à pattes qu'à un robot à roues. Ce transfert peut amener à solliciter l'imaginaire pour brouiller la frontière entre l'artificiel et le naturel comme le pratiquent le cinéma et parfois les médias [IVI4]. Pour toutes ces raisons, les chercheurs doivent s'interroger sur l'utilité et les effets de la ressemblance au vivant [IVI-1] et prendre soin de communiquer clairement sur ce point auprès du public [IVI-6]. Cerna.indd 35 28/10/14 14:26 36 Remarque : à propos de la ressemblance avec l'humain, l'hypothèse de la « Vallée de l'étrange », introduite par Masahito Mori en 197036 , évoque le malaise des humains face à des entités presque semblables à eux, mais pas à s'y tromper. Depuis lors cette hypothèse fait régulièrement l'objet de travaux, en sciences cognitives comme en sociologie, sans que des protocoles expérimentaux permettent de la conforter ou de l'infirmer définitivement. L'émotion, l'affectivité et l'attachement On distingue dans le terme émotion trois composantes : • une expression physiologique, • le sentiment qui est interne, • et une composante comportementale. L'affectivité désigne la faculté d'éprouver des émotions. Il est possible d'éprouver des émotions en face d'un robot comme en face de n'importe quel objet. Donner aux robots des capacités affectives se décline sous trois aspects technologiques37 : la capacité du robot de manifester ce qui chez les humains correspondrait à des émotions (ce qu'on appellera par abus de langage exprimer des émotions), de reconnaître des expressions émotionnelles chez les humains, et enfin de raisonner en tenant compte des informations relatives aux émotions. On qualifie d'« affectif » un robot ayant ces capacités. Un robot doté de telles capacités a une façon différente d'interagir avec chaque individu. Bien évidemment la ressemblance du robot avec l'humain ou avec l'animal contribue à susciter l'émotion, mais d'autres voies sont utilisées comme des mimiques schématisées, des intonations de son ou de voix, un aspect de peluche. Il est même constaté que l'humain projette des relations affectives avec des robots dépourvus de capacités affectives comme les robots de déminage ou encore les robots aspirateurs qui fonctionnent de manière autonome. Engager l'utilisateur dans une interaction avec un robot doté de capacités affectives, faire qu'il prenne du plaisir à interagir avec lui, faire qu'il ait confiance en lui, sont des buts de la robotique d'assistance. L'attachement est un lien affectif qui résulte de l'attention à l'autre, qui tisse un lien intime entre l'individu et l'objet de son attention. Peu d'expériences ont été menées sur l'utilisation à long terme de robots assistants/compagnons affectifs [IVI-5]. On peut s'interroger sur les conséquences d'un éventuel attachement aux robots, par exemple une dépendance aux machines au détriment des contacts humains [IVI-3]. Il est important pour les chercheurs de prendre conscience de ces risques, notamment pour les personnes 36 M.Mori, Bukimi no tani [The uncanny valley] Energy, 7 (1970) pp. 33-35. 37 K. Scherer, T. Bänziger, E. Roesch – Blueprint for Affective Computing a source book, Oxford University Press, 2010 Cerna.indd 36 28/10/14 14:26 37CERNA Éthique de la recherche en robotique fragiles et les enfants [IVI-4].38 PRÉCONISATIONS [IVI-1] Utilité au regard des finalités Le chercheur étudiera, au regard des fonctions utiles du robot, la pertinence et la nécessité de susciter des émotions et la pertinence et la nécessité de l'aspect ou du comportement biomimétiques, notamment dans les cas de forte ressemblance visuelle ou comportementale entre un robot et un être vivant. Dans les cas où l'apparence ou la voix humaines sont imitées, le chercheur s'interrogera sur les effets que pourrait avoir cette imitation, y compris hors des usages pour lesquels le robot est conçu. [IVI-2] Frontière vivant artefact Si une ressemblance quasi parfaite est visée, le chercheur doit avoir conscience que la démarche biomimétique peut brouiller la frontière entre un être vivant et un artefact. Le chercheur consultera sur ce brouillage le comité opérationnel d'éthique de son établissement. [IVI-3] Étude des effets Pour les projets de recherche qui ont trait au développement de la robotique affective, le chercheur s'interrogera sur les répercussions éventuelles de son travail sur les capacités de socialisation de l'utilisateur. [IVI-4] Interaction enfant-robot Pour les projets qui mettent en présence des enfants et des robots, le chercheur doit se poser la question de l'impact de l'interaction enfant-robot sur le développement des capacités émotionnelles de l'enfant, tout particulièrement dans la petite enfance. [IVI-5] Évaluation Pour les projets de recherche relatifs à des robots susceptibles d'avoir des effets sur l'affectivité des utilisateurs et de susciter leur attachement, le chercheur devra élaborer un protocole de conception et d'évaluation en veillant à impliquer les compétences multidisciplinaires nécessaires et des utilisateurs potentiels. 38 Notre vie affective se déroule dans un environnement social. Les émotions primaires comme la peur, la colère ou la joie apparaissent au cours de la première année de la vie de l'enfant. Même ces émotions peuvent être considérées comme sociales car elles émergent dans des situations qui sont influencées par l'entourage familial. Les émotions liées à la conscience de soi comme l'embarras, la honte, la culpabilité, ou encore l'empathie, la fierté, font leur apparition au cours de la deuxième année de la vie de l'enfant. Ces émotions requièrent la capacité cognitive d'auto-réflexion et de représentation mentale du « moi ». Pendant sa troisième année de vie, l'enfant commence à assimiler les normes, les règles et les objectifs fixés par les personnes de son entourage. Cette capacité l'amène à vivre sous des formes plus pondérées les émotions telles que l'embarras ou la culpabilité mais aussi la colère ou la peur. Ce que l'enfant apprend pendant les premières années de sa vie le rendra capable d'anticiper et d'interpréter le comportement affectif d'autrui et de prévoir une réponse en interaction. Cerna.indd 37 28/10/14 14:26 38 [IVI-6] Communication Le chercheur doit être prudent dans sa communication sur les capacités émotionnelles des robots et sur l'imitation de la nature et du vivant, notamment parce que l'expression des émotions, au sens humain, par un robot, est un leurre, et parce que l'imitation du vivant peut amener, volontairement ou pas, à prêter à l'artefact des caractéristiques du vivant. La réparation et l'augmentation de l'humain par la machine CONTEXTE La robotique dans le secteur médical La médecine et la chirurgie sont des champs d'application importants de la robotique. Les robots médicaux et chirurgicaux, les organes artificiels et les automates de régulation biologique sont considérés par les agences nationales et internationales de produits de santé comme des Dispositifs Médicaux et sont évalués à ce titre. Ces agences procèdent à des études coût-bénéfice, montrant que les systèmes robotisés offrent un apport au patient, au personnel médical et à la société. D'une façon générale, les règles de l'éthique médicale s'appliquent; il faut veiller à ce que les compétences technologiques puissent éclairer les débats des instances du secteur de la santé39 [RAH-1]. Les dispositifs à vocation réparatrice restituent, au moins partiellement, des fonctions absentes comme, par exemple, la motricité pour les jambes artificielles, la préhension pour les bras et les mains artificielles. En cela, ils accroissent l'autonomie de la personne. Éventuellement, ils lui permettent de survivre et de conserver son intégrité. Il importe néanmoins de veiller à ce que ces dispositifs ne diffusent pas des informations sur la vie intime des personnes en question [GEN-5] et qu'ils n'engendrent pas de nouvelles vulnérabilités40 [RAH-2]. De la réparation à l'augmentation Si le rôle de la robotique dans le secteur de la santé est essentiellement réparateur ou palliatif, il arrive toutefois que les mêmes dispositifs – ou des dispositifs très similaires – relèvent non de la simple suppléance de fonctions défaillantes, mais de l'augmentation, c'est-à-dire de l'octroi de facultés nouvelles, dont l'humain ne dispose pas naturellement41. 39 Actuellement les Comités de Protection des Personnes 40 On peut penser, par exemple, aux possibilités de piratage de dispositifs électroniques comme les stimulateurs cardiaques qui ont été mises en évidence par le célèbre hacker Barnaby Jack : voir Mort du hacker Barnaby Jack, détrousseur de distributeurs, Le Monde.fr, 29.07.201, mis à jour le 05.08.2013, http://www.lemonde.fr/disparitions/ article/2013/07/29/mort-du-hacker-barnaby-jack-detrousseur-de-distributeur_3454728_3382.html 41 Dans son avis n° 122 de février 2014 intitulé Recours aux techniques biomédicales en vue de « neuroamélioration » chez la personne non malade: enjeux éthiques, le CCNE évoque le transhumanisme et incidemment la robotique. Ce rapport insiste sur la vision fragmentée de l'humain que suppose la démarche d'amélioration. On note également les avis du Groupe européen d'éthique n° 20 "Ethical aspects of ICT implants in the human body", qui préconise une régulation de la recherche sur les implants, et n°21 "Ethical aspects of nanomedicine" ainsi que l'étude du STOA du Parlement européen "Human Enhancement" (2009). L'étude de la National Science Foundation "Ethics of Human Enhancement" (2009) énumère les enjeux de société soulevés par l'augmentation de l'humain et les différentes opinion, elle prône une délibération de la société sur ces sujets. Cerna.indd 38 28/10/14 14:26 39CERNA Éthique de la recherche en robotique À titre d'illustration, certains dispositifs, comme les exosquelettes, peuvent être utilisés pour aider les tétraplégiques, ou pour augmenter les capacités des ouvriers de force ou, surtout, des soldats. Se posent alors des questions concernant : • La généralisation des usages de tels dispositifs par des personnes non déficientes pour obtenir des performances accrues dans la vie quotidienne [RAH-4]. • La réversibilité de ces usages : la personne « augmentée » pourra-t-elle se défaire des dispositifs, le souhaitera ou le redoutera-t-elle, à cause d'une accoutumance psychologique ou physiologique [RAH-3] ? • Le regard des autres et de la société sur la personne augmentée [RAH4]. Ces interrogations rejoignent le débat autour de ce que l'on appelle les « technologies convergentes », objet de controverses depuis quelques années comme en témoignent, par exemple, aux Etats-Unis le rapport NSF/DOC de 2002 « Converging Technologies for Improving Human Performance: Nanotechnology, Biotechnology, Information Technology and Cognitive Science » qui met l'accent sur les possibilités technologiques d'augmentation des capacités humaines, et en Europe le rapport de la Commission Européenne de 2004 « Converging Technologies – Shaping the Future of European Societies » qui inclut les sciences humaines et sociales, dans un dessein plus vaste associant l'environnement et la mobilité, la qualité de la vie, l'éducation aussi bien que les technologies médicales. Les discours des mouvements « trans-humanistes » et « post-humanistes », ébauchés depuis plusieurs décennies par certains courants de pensée et par la littérature de science-fiction, qui annoncent et/ou promeuvent l'apparition d'une espèce nouvelle « posthumaine » de cyborgs, êtres mi-humains mi-robots, sont alimentés par ces concepts de convergence et les alimentent à leur tour. Sans préjuger de la pertinence des prédictions « post-humanistes », le chercheur en robotique ne doit se prononcer, en tant qu'expert, que sur ce qui relève de son domaine de compétence professionnelle [GEN-1]. PRÉCONISATIONS [RAH-1] Éthique médicale Les chercheurs en robotique réparatrice ou d'assistance doivent appliquer, en coordination avec les professionnels de santé, les aidants et les patients, les principes d'éthique en usage dans le secteur médical afin d'arbitrer entre les exigences d'efficacité et de sécurité des soins, celles d'autonomie et d'intégrité de la personne et, enfin, de protection de la vie privée. Ce sont là des questions qui relèvent de l'éthique et non uniquement du droit en cela qu'elles demandent à être arbitrées dans chaque cas particulier et qu'elles ne reçoivent pas de réponse générale. Pour en traiter, il faudra prendre avis auprès de comités opérationnels d'éthique des sciences médicales et veiller à ce que les compétences technologiques y soient étroitement associées. Cerna.indd 39 28/10/14 14:26 40 [RAH-2] Autonomie et intégrité de l'individu Dans le cas des organes robotisés à vocation réparatrice, le chercheur aura le souci de la préservation de l'autonomie de l'individu équipé, à savoir de la maîtrise qu'il conservera autant que faire se peut sur ses actions, et de la conservation de l'intégrité des fonctions autres que celles concernées par la réparation. [RAH-3] Réversibilité de l'augmentation Dans le cas des dispositifs robotisés visant l'augmentation, le chercheur veillera à la réversibilité de celle-ci : les dispositifs doivent être amovibles sans dommage pour la personne, autrement dit, sans que la personne perde l'usage de ses fonctions initiales. [RAH-4] Discrimination induite par l'augmentation Le chercheur se posera la question de l'incidence de l'augmentation des facultés et des capacités humaines induites par les dispositifs qu'il développe sur le comportement social de ceux qui en bénéficient ainsi que, symétriquement, de ceux qui n'en bénéficient pas. Cerna.indd 40 28/10/14 14:26 41CERNA Éthique de la recherche en robotique Conclusion Lorsque le robot sort du laboratoire pour interagir avec des personnes dans un contexte social, il cesse d'être un simple objet matériel et devient un système socio-technique. Côté société, la robotique a la particularité, au sein d'un monde numérique perçu comme immatériel, de concevoir des engins, les robots, facilement mis en scène pour concrétiser des espoirs et des craintes amplifiés par les médias et la science-fiction, de manière souvent vague et parfois démesurée. Côté science, les roboticiens connaissent les possibilités mais aussi les limites théoriques de leur discipline, ils savent par exemple qu'il est impossible d'équiper un robot autonome de règles éthiques parfaitement adéquates, que le traçage absolu de son comportement est inaccessible. L'attitude éthique du roboticien est de faire le lien entre les deux aspects, ce qu'il ne peut réaliser qu'en délibérant avec les autres sciences, notamment celles de l'homme et de la société, et avec les acteurs et usagers. À cet égard, les préconisations formulées ici ne constituent pas un ensemble de principes achevés que chaque chercheur devrait s'évertuer isolément à mettre en oeuvre, mais des balises pour un cheminement collectif de questionnement que ce document entend promouvoir. Cette démarche, loin d'être une entrave à la recherche, est un accompagnement nécessaire pour que la science demeure porteuse de progrès et perçue comme telle par la société. Les établissements de recherche français ont un rôle déterminant d'incitation et de soutien dans cette installation de la démarche éthique en robotique et plus largement en sciences et technologies du numérique. Cerna.indd 41 28/10/14 14:26 42 ANNEXES I. Instances et initiatives en éthique de la robotique Seules les initiatives spécifiques à la robotique sont répertoriées ici. Projets Européens EURON Roboethics project (2005-2007) Réseau européen http://www.roboethics.org/ ETHICBOTS Emerging Technoethics of Human Interaction with Communication, Bionic, and robOTic systems. Coordination Action. FP6 (2005-2007) http://ethicbots.na.infn.it/index.php EuRobotics FP7(2010-2012), il en est né une association du même nom http://www.eurobotics-project.eu/cms/upload/PDF/euRobotics_Deliverable_D.3.2.1_ ELS_IssuesInRobotics.pdf Les questions d'éthique sont traitées dans l'optique d'une éthique appliquée professionnelle comme le présent avis de la CERNA. L'étude considère quelques usages : assistance aux personnes âgées ou handicapées, sécurité, jouets, sexe, augmentation. Elle préconise de veiller au respect de la vie privée et à la dignité, ainsi qu'à l'égalité d'accès à ces robots. Robolaw (2012-2014, CPFP7) Regulating Emerging Robotic Technologies in Europe: Robotics facing Law and Ethics http://www.robolaw.eu/ Rapport final http : / /www.robo law.eu/RoboLaw_f i l es/documents/ robo law_d6 .2_ guidelinesregulatingrobotics_20140922.pdf Ce projet, qui a bénéficié d'un soutien de 1,5 M€ de la Commission Européenne, a publié son rapport final le 22 septembre 2014, et l'a présenté le surlendemain à la commission des lois du Parlement Européen. RoboLaw préconise de sécuriser le développement de la robotique en Europe en l'accompagnant juridiquement au cas par cas de manière non dissuasive. Cette démarche est illustrée par l'étude de quatre usages conclus par des propositions : • Véhicules autonomes : un débat de société et une évaluation des avantages et des risques sont des préalables à leur mise en service, les problèmes soulevés en termes d'assurance doivent être résolus. Cerna.indd 42 28/10/14 14:26 43CERNA Éthique de la recherche en robotique • Robots chirurgicaux : les chirurgiens doivent être accrédités par une instance européenne; une évaluation indépendante doit être instaurée et les outils de traçage prévus en conséquence. La concurrence doit être favorisée; • Prothèses : la prescription doit être encadrée; • Robots d'assistance aux personnes vulnérables : ils doivent être définis juridiquement. Dans tous les cas, l'accent est mis sur la nécessité d'étudier l'impact sur le comportement humain du système humain-robot, et d'évaluer les dispositifs. Dans les usages qui touchent à la santé, les instances de certification du matériel médical doivent être adaptées, ainsi que les critères de normalisation (ESO, ISO), qui ne prennent actuellement pas en compte la spécificité de la robotique. La création d'une instance européenne ou internationale de standardisation en robotique est suggérée. Afin d'encourager le développement de la robotique, un fond de compensation est préconisé dans le but d'alléger les risques financiers liés à la responsabilité parfois difficile à cerner des fabriquants. RoboLaw considère que l'état des technologies et leur évolution prévisible ne justifient pas la création d'une nouvelle catégorie juridique entre l'homme et la machine. Cependant le robot pourrait avoir un statut pour traiter les questions spécifiques de responsabilité à l'image de la personnalité morale des entreprises. Organisations Danish Council of Ethics http://www.etiskraad.dk/da-DK/Temauniverser/Homo-Artefakt/Anbefalinger/ Udtalelse%20om%20sociale%20robotter.aspx?sc_lang=en Ce comité est généraliste, mais la référence pointe l'étude sur les robots sociaux et les technologies de réparation/augmentation. Les préconisations ont été nourries d'une large consultation, et celle concernant les « technologies cyborg » est exprimée sous forme de controverse entre partisans d'une régulation souple et partisans d'une régulation stricte, face aux enjeux relatifs aux possibles effets bénéfiques ou néfastes pour la société et l'avenir de l'homme. Concernant les robots sociaux, une réglementation est préconisée pour les robots privés auprès des enfants et des personnes fragiles. IEEE Robotics and Automation Society Technical Committee on Robot Ethics http://www.ieee-ras.org/robot-ethics La branche Robotics & Automation Society d'IEEE (plus grande association professionnelle au monde pour les sciences et technologies du numérique) dispose d'un Comité technique "Robot Ethics" et a publié en 2011 un numéro spécial d'IEEE Robotics & Automation Magazine (Vol.18, N° 1) consacré à l'éthique de la robotique. Cerna.indd 43 28/10/14 14:26 44 II. Lexique Apprentissage Le terme « apprentissage » est utilisé dans plusieurs sens en robotique : • L'apprentissage de lieux, d'objets, de l'environnement, etc. dans le sens de l'acquisition de données à travers les capteurs et de construction de représentations ou modèles internes. Par exemple la construction d'une carte de l'environnement à partir de perceptions successives par un robot qui explore son milieu est souvent désignée par le terme « apprentissage » de l'environnement. • L'apprentissage de concepts abstraits. Il s'agit ici de traitements effectués en particulier par des traitements logiques ou probabilistes ou par des réseaux de neurones pour structurer, regrouper, classifier ou catégoriser des représentations en modèles plus abstraits. Ainsi, plusieurs représentations d'un type d'objet peuvent être regroupées pour définir une catégorie donnée. Par exemple les représentations de plusieurs chaises de formes différentes vues sous divers angles peuvent être regroupées pour définir la catégorie « chaise ». Malgré cela, il n'existe pas aujourd'hui de système capable d'apprendre des concepts génériques, ce qui permettrait par exemple de reconnaître qu'un objet donné est une chaise sans l'avoir jamais vu auparavant. Dans ce contexte, la « compréhension de scènes » est l'un des sujets de recherche les plus difficiles. • L'apprentissage de nouvelles capacités ou l'amélioration de capacités existantes. Il s'agit ici de tirer parti de l'expérience du robot pour acquérir ou améliorer une capacité donnée. Par exemple des algorithmes d'apprentissage par renforcement peuvent permettre à un robot d'apprendre à éviter des obstacles en défavorisant les mouvements amenant à une collision avec l'obstacle et en favorisant le choix de mouvements sans collision. Le robot peut apprendre ainsi des actions qu'il ne savait pas effectuer, ou qu'il savait effectuer de manière peu performante, de manière progressive après plusieurs expériences. C'est ainsi que l'on réalise des robots capables de jouer au ping-pong, de jongler, d'ouvrir une porte en appuyant correctement sur sa poignée, etc. On distingue plusieurs méthodes d'apprentissage, comme l'apprentissage supervisé, dans lequel le processus est guidé par le « tuteur » qui fournit des exemples des solutions correctes ou incorrectes. Dans l'apprentissage par renforcement en revanche, le robot ne découvre qu'après son action si celle-ci était correcte ou non. Les algorithmes d'apprentissage sont souvent limités par la complexité de la tâche, la taille et la diversité des données et des situations. Les recherches visent à les rendre plus rapides, plus efficaces et plus généraux. L'apprentissage ne doit pas être confondu avec le « conditionnement » (comme dans le cas du chien de Pavlov) qui consiste à associer des signaux différents d'une manière plus ou moins complexe, ni avec « l'adaptation » qui est en fait la capacité qui résulte de l'apprentissage (un système qui apprend est capable d'adaptation), mais qui peut aussi être pré-programmée en décrivant à l'avance des conditions différentes guidant Cerna.indd 44 28/10/14 14:26 45CERNA Éthique de la recherche en robotique le choix des actions. Donc une certaine adaptabilité est possible sans apprentissage comme l'illustrent les colonies d'insectes ou les essaims de robots, cependant l'émergence de capacités d'apprentissage s'est révélé un avantage décisif dans l'évolution. Autonomie et automatisme L'autonomie d'un robot est sa capacité à fonctionner indépendamment d'un opérateur humain ou d'une autre machine en exhibant des comportements non triviaux dans des environnements complexes et variables. Dans le but de distinguer l'automatisme de l'autonomie, cette définition souligne explicitement l'importance de la complexité de l'environnement et des tâches à exécuter. Pour mieux cerner cette notion, il convient d'introduire la notion d'autonomie opérationnelle qui concerne les capacités d'action et celle d'autonomie décisionnelle qui concerne comme son nom l'indique la prise de décision. Quelques exemples permettent de mieux éclairer la différence entre elles : • Les robots chirurgicaux sont désignés par le terme robots, essentiellement parce qu'ils sont constitués de systèmes articulés mécaniques complexes dont la conception et la commande font appel aux méthodes et techniques de la robotique. La caméra endoscopique dont ils sont munis transmet l'image au chirurgien qui manipule des manettes commandant les mouvements du robot. Hormis la régulation du mouvement pour éviter les tremblements ou limiter les gestes brusques, ils ne possèdent ni autonomie opérationnelle ni autonomie décisionnelle. • Un métro automatique n'est pas considéré comme étant un robot. Son action est réduite au contrôle de sa vitesse le long des rails (accélération / freinage). Il ne possède pas de représentation sur son environnement, mais uniquement l'information sur sa position issue de la détection de son passage devant des cellules photoélectriques. Donc nulle variabilité et peu de quantité d'information. Son autonomie opérationnelle est très limitée. Il s'agit d'un automatisme fonctionnant selon une logique totalement déterminée. • Un pilote automatique d'avion n'est pas un robot. Il s'agit d'un ensemble de programmes mettant en oeuvre des mécanismes d'asservissement bouclés (un asservissement est un système de commande bouclé par rétroaction, qui corrige l'action en fonction de mesures sur l'état du système) pour contrôler la trajectoire de l'avion en trois dimensions selon un cap et une altitude définis, en corrigeant les perturbations dues principalement au vent. Plus complexe que le métro automatique à cause d'un environnement moins maîtrisé, il possède seulement une autonomie opérationnelle. Il ne peut décider de lui-même de modifier la route de l'avion ou sa destination. • Un drone dans les applications militaires actuelles ne possède pas d'autonomie décisionnelle. Il est sous le contrôle à distance d'un être humain à qui sont transmises les images qu'il acquiert. Il inclut cependant un pilote automatique pour se déplacer entre une séquence de points de passage programmés et possède ainsi une autonomie opérationnelle. Cerna.indd 45 28/10/14 14:26 46 • Les véhicules d'exploration planétaire tels que Spirit, Opportunity ou Curiosity sur Mars sont des robots qui ont une autonomie opérationnelle pour une partie limitée de leur mission : quand il s'agit de franchir une distance (relativement courte) en évitant des rochers et en négociant correctement des accidents de terrain. Pour cela ils mettent en oeuvre des traitements permettant de classer le terrain en zones navigables ou non et de calculer une trajectoire sûre. Ce calcul fournit la trajectoire la plus courte et la plus sûre. On peut dire qu'à ce niveau il y a un début d'autonomie décisionnelle limitée. Mais les objectifs sont fournis par le centre de contrôle sur la Terre et les trajectoires sont simulées auparavant à partir des modèles de terrain. • Sur Terre, des robots capables de se mouvoir de manière autonome sur des terrains accidentés et difficiles existent au niveau expérimental ainsi que dans certaines applications militaires. Les capacités portent sur la perception du terrain et sa modélisation, le calcul et le contrôle de la trajectoire. Il s'agit pour l'essentiel d'autonomie opérationnelle et éventuellement d'autonomie décisionnelle limitée. • Une voiture autonome (sans conducteur) doit être capable de percevoir et de distinguer les autres véhicules, les piétons et les objets sur la route, parfois dans des conditions climatiques difficiles avec peu de visibilité. Elle doit décider de l'évitement, de l'arrêt, éventuellement du changement d'itinéraire pour atteindre une destination en fonction de conditions réelles. Il s'agit d'un robot à la fois dotée d'autonomie opérationnelle et décisionnelle. • Les robots humanoïdes commercialement disponibles sont capables de se tenir et de se déplacer en position bipède et de contrôler plusieurs dizaines d'actionneurs. Ceci est une capacité opérationnelle. Mais ils ont aussi des capacités de perception, d'interprétation ou de décision très limitées, en particulier dans les interactions avec les humains. En conclusion, les capacités d'autonomie des robots portent surtout actuellement sur l'autonomie opérationnelle. L'autonomie décisionnelle, issue de systèmes utilisant des méthodes d'intelligence artificielle, est un objectif de recherche et n'existe pour l'essentiel que dans des systèmes expérimentaux. Autonomie et interaction avec l'être humain Les programmes régissant le comportement d'un robot autonome sont conçus pour interpréter les informations issues de ses capteurs, déterminer les actions les plus pertinentes en fonction de cette interprétation et de ses connaissances préalables, et calculer quand et avec quelles ressources ces actions seront effectuées. Il convient de distinguer les robots qui sont supervisés par un opérateur, c'est-à-dire un professionnel du domaine d'application qui interagit avec le robot pour la mise en oeuvre de ses fonctions, et les robots sans opérateur qui interagissent avec un utilisateur, c'est-à-dire une personne qui bénéficie des fonctions du robot sans en connaître la mise en oeuvre. Le chercheur doit donc concevoir l'autonomie non pas pour les robots comme artefacts isolés d'un contexte, mais au sein d'un système constitué du robot et de l'humain, que celui-ci soit opérateur ou utilisateur. Cerna.indd 46 28/10/14 14:26 47CERNA Éthique de la recherche en robotique Dans le cas du robot supervisé par un opérateur, l'autonomie du robot est un continuum allant de situations où l'humain prend toutes les décisions jusqu'à des situations où celles-ci sont déléguées au robot, l'humain conservant le plus souvent la possibilité d'intervenir. Dans les situations intermédiaires, certaines fonctions sont réalisées par le robot (par exemple un drone navigue de manière autonome entre des positions déterminées) tandis que d'autres le sont par l'humain (par exemple l'interprétation des images prises par les caméras du drone). Se pose alors la question du partage de l'autorité, c'est-à-dire de savoir quel agent (humain ou robot) détient, à un moment donné, le pouvoir décisionnel et le contrôle sur une fonction donnée. Dans ce cadre, la question des reprises en main est centrale : quand et comment l'opérateur peut-il, ou doit-il, reprendre la main sur des actions contrôlées par la machine ? Réciproquement, la machine peut-elle ou doit-elle reprendre la main sur des actions contrôlées par l'opérateur ou les empêcher, dans quelles circonstances et sur quelles bases objectives (par exemple si un opérateur est « diminué » par la charge de travail, le stress, l'émotion, etc.) ? Si le contexte d'utilisation du robot (par exemple nécessité de réaction rapide, difficultés de communication avec l'opérateur) est tel qu'au moins momentanément, toutes les décisions lui sont déléguées, sans intervention possible de l'humain, la question se pose de la pertinence et de la fiabilité des connaissances et des algorithmes qui fondent ces décisions et de leurs limites (par exemple, à partir de quelles connaissances un engin robotisé armé déciderait-il d'ouvrir le feu ?) Capteurs Un capteur est un dispositif permettant de mesurer un phénomène physique. Il fournit un signal – en général un courant électrique – en relation avec la mesure de ce phénomène. Exemples : • Un microphone mesure les vibrations de l'air et fournit un courant exprimant leurs variations. • Une caméra est composée d'éléments photosensibles qui mesurent l'intensité lumineuse dans une longueur d'onde donnée ; l'ensemble des signaux issus de ces éléments, disposés de manière précise, compose une image. • Un télémètre laser est un dispositif composé de diodes qui émettent une onde électromagnétique dans une longueur d'onde donnée (dans le domaine optique) et qui mesure l'onde réfléchie par les objets qui l'entourent. Le calcul du temps écoulé entre l'émission et la réception fournit une distance et l'ensemble des mesures compose une « image » de distance. • Un capteur d'effort mesure une force ou une pression exercée sur son extrémité. • Un capteur inertiel mesure une accélération à partir de laquelle on peut calculer la vitesse et le déplacement de l'engin qui porte le capteur. Cerna.indd 47 28/10/14 14:26 48 Communication et interaction Il s'agit ici de la communication et de l'interaction entre plusieurs robots ou entre robots et humains. Dans le premier cas, deux ou plusieurs robots peuvent échanger des informations sur l'environnement ou sur leurs états et leurs plans d'action, ce qui leur permettra de se coordonner et d'achever des tâches de manière coopérative. La communication peut être aussi réduite, simple et locale, par exemple un signal d'orientation, comme dans le cas de la robotique en essaim. Cependant ce signal peut permettre de faire émerger un comportement collectif, le mouvement global de l'essaim. La communication et l'interaction Humain(s)-robot(s) est un domaine de recherche qui explore les principes et les méthodes permettant une interaction « naturelle » pour l'être humain avec la machine à travers la communication verbale, l'interprétation des gestes, des attitudes, des expressions du visage ou de l'orientation du regard. Il s'agit donc de faire en sorte que la machine puisse mieux comprendre les humains et leurs comportements afin de mieux s'y adapter. On parle d'interaction cognitive. On peut aussi y ajouter l'interaction physique quand il y a un contact direct ou à travers un objet – et dans ce cas la mesure des forces exercées fait partie des paramètres de l'interaction. Complexité La complexité algorithmique est une notion liée à la difficulté de la résolution d'un problème, mesurée par le temps de calcul ou la taille de l'espace mémoire, nécessaires à la production d'une solution. La complexité se mesure en fonction de la taille de l'ensemble des données d'entrées définissant le problème. Si l'on retient la mesure en fonction du temps, on parlera ainsi de complexité linéaire (respectivement exponentielle) si le temps de calcul est une fonction linéaire (respectivement exponentielle) de la taille des données d'entrée. La complexité d'un problème est caractérisée par celle de l'algorithme connu le plus rapide pour le résoudre. Dans le contexte de la robotique, les différents traitements liés aux fonctions de perception, de commande, de décision, etc., sont effectués par des algorithmes auxquels s'applique la définition ci-dessus. La réduction de la complexité, en réduisant la taille des données (par structuration ou abstraction par exemple) et en élaborant des algorithmes efficaces, est indispensable pour réaliser des robots capables d'opérer dans le monde réel. Il s'agit là d'une question centrale et permanente de la recherche en robotique et dans le domaine du numérique de manière générale. La complexité d'un robot est donc d'autant plus grande qu'il est doté de capacités d'actions et d'interactions variées traitant de problèmes complexes. D'autre part, plus l'environnement y compris humain avec lequel le robot interagit est complexe au sens commun du terme, plus le robot devra être complexe pour réaliser un tâche assignée. Cerna.indd 48 28/10/14 14:26 49CERNA Éthique de la recherche en robotique Décision, raisonnement, planification Un robot peut être programmé sous la forme d'un ensemble d'automatismes, des réactions réflexes préétablies et pré-codées, permettant de produire des actions élémentaires à partir de signaux simples (NB : ceci est une manière de réduire la complexité). Un tel robot, purement « réactif » peut par exemple accélérer/décélérer à partir d'une perception réduite seulement à la lecture d'un capteur simple comme un détecteur de lumière. La décision du robot est dans ce cas inexistante et le comportement est uniquement régi par les conditions perçues. Ceci ne l'empêchera pas d'avoir des comportements qui peuvent paraître élaborés à l'observateur. Par exemple en faisant varier l'éclairage dans son espace, le robot exhibera des comportements différents, simplement par construction, sans que ceux-ci soient le résultat de décisions explicites. Cependant il sera difficile pour un tel robot d'anticiper ses actions futures et d'agir en ayant une efficacité globale. À l'autre extrême, le robot peut être muni de capteurs multiples et différents (caméras, télémètres, ...) fournissant une information riche et variée permettant une perception de l'environnement élaborée à partir de la fusion de plusieurs sources sensorielles. Ses actions peuvent mettre en jeu, de manière coordonnée, des dizaines d'actionneurs et de degrés de liberté, par exemple pour la saisie et la manipulation d'objets. Pour effectuer des tâches complexes, un tel robot a besoin de mécanismes de prise de décision permettant d'effectuer des choix parmi plusieurs actions possibles, d'anticiper le résultat de ces actions, et de planifier leur séquencement de la manière la plus optimale possible. Pour cela il utilisera des algorithmes de calcul géométrique pour la planification du mouvement. Pour les décisions portant sur des représentations plus abstraites comme par exemple « prendre le stylo noir dans le 3e tiroir en haut du bureau » il faut mettre en oeuvre des raisonnements déductifs basés sur la logique des prédicats, ou sur le raisonnement probabiliste bayésien pour évaluer et choisir les actions les plus appropriés en fonction d'une prévision de son état futur et des conséquences de ses actions. Le raisonnement dans le sens utilisé ici consiste à effectuer des inférences fondées sur la logique mathématique pour déduire un fait à partir d'autres faits connus (par exemple : « si A implique B, et B implique C, alors A implique C ») ou sur le calcul probabiliste si ces faits ne sont pas déterministes. À partir des données acquises et interprétées et de connaissances relatives au domaine (modèles intégrant des lois physiques, des règles, des contraintes), les algorithmes de décision effectuent des choix entre plusieurs possibilités, choix qui peuvent comporter des calculs probabilistes. En effet, il faut souligner que des incertitudes sont toujours associées aux processus d'acquisition et d'interprétation des données et que l'exécution des actions peut aussi être imprécise voire échouer car toutes les interactions de la machine avec son milieu ne peuvent être parfaitement connues et modélisées. Ceci peut rendre partiellement imprévisibles les décisions et les actions du robot. De plus l'environnement peut être très complexe et son évolution pas toujours parfaitement prévisible. C'est à cause de cela que des mécanismes de raisonnement probabilistes (ou similaires) sont souvent utilisés dans de nombreux systèmes de décision en robotique. Cerna.indd 49 28/10/14 14:26 50 La planification consiste à définir quelles séquences d'actions sont les mieux à même de satisfaire les objectifs ou d'atteindre un but donné, compte tenu des ressources nécessaires pour leur exécution (comme l'énergie ou la durée), des contraintes d'ordonnancement dans le temps et des incertitudes qui entachent les données et les connaissances. Le résultat de la planification est : soit un plan d'actions construit sous des hypothèses d'évolution déterministe du robot et de son environnement il sera alors susceptible d'être adapté ou recalculé si la réalité invalide les hypothèses (par exemple, le robot rencontre un obstacle imprévu) ; soit une « politique » qui spécifie les actions à réaliser dans plusieurs scénarios envisageables en fonction de leurs probabilités. En général ces mécanismes de décisions et de raisonnement ont une complexité algorithmique qui n'est pas compatible avec la réaction en temps réel. C'est pour cela que les robots possèdent le plus souvent un système de décision ayant une composante réactive permettant de répondre aux événements par des mécanismes de réaction bouclés sur les capteurs (donc des sortes d'automatismes), et une composante délibérative leur permettant de raisonner de manière plus globale et de planifier leurs actions. Ces composantes sont organisées de manière cohérente dans ce que l'on appelle une architecture de contrôle. Une conclusion s'impose à travers ces exemples : à ce jour les robots capable d'effectuer des actions non triviales dans des environnements un tant soit peu complexes, sont essentiellement des prototypes de laboratoire qui possèdent des fonctions plus ou moins élaborées et partielles. Dans les applications réelles, il s'agit toujours de systèmes relativement limités, en particulier au niveau des capacités de perception ou de décision, et opérant dans des conditions limitées avec des scénarios bien validés. Leur autonomie décisionnelle est réduite mais leur autonomie opérationnelle peut être importante si leur environnement et leurs actions sont bien définis et programmés. Déterminisme et indéterminisme Un événement est déterministe si son occurrence est certaine. Il est indéterministe si son occurrence a une valeur de probabilité. Le raisonnement déterministe fait appel aux règles de la logique mathématique, alors que le raisonnement indéterministe utilise la théorie des probabilités ou d'autres formalismes permettant de représenter et de traiter l'incertitude. Distanciation morale L'interface (par exemple l'écran) entre l'opérateur et un robot qui a la capacité de blesser ou de tuer (armes, robots médicaux) peut créer une distanciation morale de l'opérateur vis-à-vis des actions du robot qu'il supervise, c'est-à-dire un désengagement moral par rapport aux actions effectuées (par exemple, une moindre considération des conséquences des actions) et une diminution du sentiment de responsabilité. Un élément clé de la distanciation morale est l'éloignement qu'il soit effectif ou induit par l'interface entre l'opérateur et le robot. Cerna.indd 50 28/10/14 14:26 51CERNA Éthique de la recherche en robotique Exosquelette Un exosquelette est une sorte de « carapace » articulée et motorisée dont un être humain peut s'équiper pour démultiplier ses forces et porter des poids élevés (plusieurs dizaines de kg) ou parcourir des distances importantes avec moins de fatigue. L'effort est fourni par les moteurs qui équipent les membres articulés métalliques qui épousent ceux de l'utilisateur. L'utilisateur doit s'adapter à utiliser un tel appareil dont la commande peut exploiter les signaux myologiques. Opérateur et Utilisateur Dans ce document, un opérateur est un être humain non spécialiste de robotique mais ayant reçu une formation appropriée pour utiliser et contrôler un robot dans un domaine d'application dont il est spécialiste. Un utilisateur n'a reçu en revanche aucune formation particulière et n'est pas non plus spécialiste, au sens propre du terme, du domaine d'utilisation du robot. Exemples : • Une personne achetant un robot aspirateur et le mettant en oeuvre dans son domicile est un utilisateur. Un agent de nettoyage mettant en oeuvre un robot de nettoyage est un opérateur. • Un conducteur d'engins de chantier utilisant un robot de construction est un opérateur. • Un militaire contrôlant un robot sur le champ de bataille ou un drone (même si ce dernier n'est pas un robot complet) est un opérateur. • Un chirurgien guidant un robot pendant une opération est un opérateur. • Un propriétaire d'une voiture autonome sera un opérateur si le futur permis de conduire comporte une formation particulière pour la (des)activation des fonctions autonomes. Sinon il est utilisateur. Perception, Traitement des signaux, acquisition et interprétation de données Les capteurs fournissent des signaux bruts qui sont ensuite traités par des algorithmes spécifiques pour élaborer des représentations plus ou moins complexes. Deux images brutes sont par exemple mises en correspondance pour donner une image tridimensionnelle. Des traitements pour la reconnaissance d'objets appliqués à celle-ci peuvent localiser et identifier des éléments particuliers dans l'environnement pour servir à la planification d'actions du robot. Dès ce stade, des incertitudes apparaissent. Les méthodes d'extraction des données utiles parmi les données brutes sont déterminées par la finalité du robot. Ainsi les informations visuelles et auditives retenues d'une scène par un robot voiture autonome ou par un robot domestique dans un appartement ne sont pas nécessairement issues des mêmes traitements, même si les approches théoriques sous-jacentes peuvent être parfois identiques. Cerna.indd 51 28/10/14 14:26 52 L'interprétation des données, et plus généralement l'interprétation de scènes, qui comportent différents objets en lien les uns avec les autres, et de situations, c'est à dire de scènes évolutives dans le temps et l'espace, est un problème difficile non résolu. Il faut prendre en compte en général non seulement une grande quantité d'informations issues des capteurs mais aussi des connaissances contextuelles qui peuvent modifier radicalement l'interprétation. Programmes de conduite morale Il s'agit d'algorithmes de décision dont les choix seraient guidés par des règles ou des principes moraux (par exemple : les règles du droit international humanitaire visant à limiter les effets des conflits armés). Les difficultés de mise en oeuvre de tels algorithmes résident dans l'instanciation de règles et principes généraux dans le contexte d'évolution du robot et dans l'interprétation des données qui conduit à la décision par l'application de ces règles et principes (par exemple : discrimination entre un combattant et un non-combattant). Représentation des connaissances Les données issues de ses capteurs sont les éléments de base d'une construction par le robot de représentations internes du monde qui l'entoure – qui deviennent des connaissances. Pour les robots, des algorithmes et des règles de représentation sont utilisés pour ces constructions. Bien entendu, des représentations autres que spatiales sont utilisées pour d'autres fonctions : par exemple l'état du jeu pour un robot joueur d'échecs, les symptômes de panne pour un robot réparateur, la disposition des joueurs sur le terrain et leur dynamique pour un robot footballeur. Plus les connaissances à acquérir sont complexes, plus il est fait appel à des données issues de différents types de capteurs pour les construire. Robot et robotique : frontières et choix de définition La propriété de matérialité du robot est couramment admise par les roboticiens, elle exclut les agents purement logiciels (comme les bots, ou web robots), tels : • Les agents conversationnels, qui peuvent dialoguer en langage naturel avec les humains, notamment sur internet. • Les bots qui font des enchères à haute fréquence dans le secteur boursier. • Les logiciels qui collectent et analysent des données comme les systèmes de surveillance de paramètres physiologiques de patients, ou des logiciels de reconnaissance. Il est commun, en particulier dans les médias, d'utiliser le terme « robot » de manière abusive pour désigner toutes sortes de logiciels de traitement de l'information présentant peu ou prou de l'intelligence. Les problèmes scientifiques abordés pour le développement de tels logiciels ne relèvent pas de la robotique et les questions éthiques qu'ils peuvent poser sont de nature différente et communes à tout le numérique. Cerna.indd 52 28/10/14 14:26 53CERNA Éthique de la recherche en robotique La définition du « robot » adoptée dans ce document traite de machines matérielles présentant des capacités de mouvement et d'action et intégrant des capacités plus ou moins développées d'acquisition et d'interprétation de données, de décision et de planification. Il s'agit donc d'une machine dotée d'une certaine intelligence artificielle (produite par des programmes informatiques) agissant dans le monde physique. La faculté de mouvement est considérée comme nécessaire, mais non suffisante, pour déterminer si une machine est un robot. Cette propriété implique un déplacement de tout ou partie de la machine pour exercer une action dans, ou sur, l'environnement dans lequel elle est située, voire sur elle-même. Ainsi un robot doit être capable, selon sa forme et sa conception, de se mouvoir d'un lieu à un autre en évitant les obstacles et en négociant les difficultés de terrain, de toucher, de manipuler et de déplacer des objets ou d'actionner des mécanismes. On appellera donc robot une machine matérielle mettant en oeuvre et intégrant : • Des capacités d'acquisition de données par des capteurs à même de détecter et d'enregistrer des signaux physiques. • Des capacités d'interprétation des données acquises permettant de produire des connaissances. • Des capacités de décision qui, partant des données ou des connaissances, déterminent et planifient des actions. Ces actions sont destinées à réaliser des objectifs fournis le plus souvent par un être humain, mais qui peuvent aussi être déterminés par le robot lui-même, éventuellement en réaction à des événements. • Des capacités d'exécution d'actions dans le monde physique à travers des actionneurs, ou à travers des interfaces. Le robot peut également présenter : • Des capacités de communication et d'interaction avec des opérateurs ou des utilisateurs humains, avec d'autres robots ou des ressources via un réseau comme l'Internet. • Une capacité transversale aux précédentes, l'apprentissage, qui permet au robot de modifier son fonctionnement à partir de son expérience passée. Ce qui est désigné ci-dessus par « capacité » est produit par des programmes informatiques qui s'exécutent sur des ordinateurs (ou processeurs) pour traiter les informations, effectuer des calculs plus ou moins complexes, ou produire les commandes des actionneurs. Ces programmes sont organisés dans un système ayant une architecture informatique cohérente permettant aux diverses composantes informatiques d'échanger des informations, en respectant des contraintes d'ordre et de temps de traitement. La quantité et la variabilité des données acquises par les capteurs et celles des situations dans lesquelles se trouve la machine, ainsi que celles des actions qu'elle peut effectuer, sont déterminantes pour qualifier une machine de « robot » ou « d'automate ». Intervient donc ici la notion de complexité (cf. définition). Cerna.indd 53 28/10/14 14:26 54 Enfin, le robot peut être totalement autonome dans ses prises de décision, c'est-à-dire sans aucune intervention humaine, ou bien partiellement ou totalement sous le contrôle d'un être humain, ce qui complique d'autant la définition. Il faudra donc aussi distinguer l'autonomie de l'automatisme. Robot complet, robot intégré Un robot complet est un robot présentant l'ensemble des capacités de perception, de décision et d'action mises en oeuvre conjointement. Ainsi, aujourd'hui, un robot chirurgical est un ensemble de systèmes mécaniques élaborés et possède des programmes de commande et des asservissements précis. Il ne prend en revanche aucune décision et n'interprète pas son environnement. Il se trouve totalement sous le contrôle du chirurgien qui le manipule à distance. Ce n'est donc pas un robot complet. Les robots complets, parmi les exemples fournis ci-dessus, sont relativement rares. Un robot intégré présente dans un même corps matériel toutes les fonctions. Il n'est pas intégré s'il utilise des capteurs externes, par exemple des caméras réparties dans l'environnement, ou des calculateurs distants. Des fonctions robotiques peuvent faire partie d'un engin qui est par ailleurs totalement sous le contrôle d'un être humain. Par exemple la fonction de parking automatique dont sont équipés certains modèles de voitures est une fonction robotique, mais le reste de la conduite du véhicule est humain. Robotique Les préconisations de ce document s'adressent en premier lieu aux chercheurs en robotique. La définition de la robotique adoptée ici est nécessairement très large afin de couvrir l'ensemble des questions scientifiques et technologiques soulevées par les projets dans ce domaine. La robotique est ainsi définie comme l'ensemble des sujets contribuant à comprendre les principes et à réaliser les fonctions qui permettent de donner à une machine des capacités de perception, de décision, d'action et d'interaction adaptées à son environnement et aux tâches pour lesquelles elle a été conçue. Cela va donc de la conception mécanique à la programmation de techniques et d'algorithmes relevant de l'intelligence artificielle. Systèmes multi-robots Plusieurs robots peuvent interagir ensemble en se coordonnant pour mener des missions conjointes. Des interactions locales très simples peuvent produire un comportement collectif cohérent comme c'est le cas pour les robots en essaim. Les recherches dans ce domaine portent principalement sur la caractérisation des communications dans un voisinage limité donné entre de nombreux robots simples, possédant peu ou pas de capacités décisionnelles individuelles, afin de faire émerger un comportement collectif auto-organisé qui semble intelligent comme on en observe chez les essaims d'insectes, les bancs de poissons ou les nuées d'oiseaux. Un exemple est celui du nettoyage de zone. Cerna.indd 54 28/10/14 14:26 55CERNA Éthique de la recherche en robotique Mais l'interaction peut être aussi complexe avec une planification d'actions répartie et des mécanismes de communication, de coopération et de coordination des tâches permettant aux robots d'effectuer des tâches de manière organisée. Un exemple en est le déchargement et le transport de charges par une flottille de robots dans des zones délimitées comme des ports. Traçabilité et traçage La traçabilité et le traçage sont utilisés ici dans le sens de l'explication des décisions et des actions du robot. Si un robot a pris un chemin contournant un obstacle par la gauche par exemple, on doit pouvoir tracer le calcul qui a abouti à cette décision pour en comprendre la raison. Ceci est un problème difficile en général dans le domaine de l'informatique. Il y a d'une part des limitations théoriques (dans la théorie de la Calculabilité) qui disent que l'explication du résultat d'un programme n'est pas toujours possible. D'autre part, les résultats d'un calcul dépendent des données d'entrée qui sont parfois imprécises, ainsi que de variables et de constantes numériques intégrées dans les algorithmes dont les effets sont parfois difficiles à expliciter. Cerna.indd 55 28/10/14 14:26 56 III. La CERNA Ses missions La Commission de réflexion sur l'Éthique de la Recherche en sciences et technologies du Numérique a été créée fin 2012 par l'alliance Allistene des sciences et technologies du numérique. Les membres fondateurs en sont la CDFI, le CEA, le CNRS, la CPU, Inria, l'Institut Mines-Télécom. Ses objectifs sont : • Répondre aux questions d'ordre éthique posées par le Comité de Coordination d'Allistene ou par l'un des organismes membres ; • Mener une réflexion sur l'éthique des recherches scientifiques développées en Sciences et Technologies du Numérique ; • Sensibiliser les chercheurs à la dimension éthique de leurs travaux ; • Aider à exprimer les besoins spécifiques de la recherche au regard du législateur et à les couvrir dans une démarche responsable ; • Apporter un éclairage de nature scientifique aux décideurs et à la société sur les conséquences potentielles de résultats de recherche ; • Veiller à ce que les étudiants soient formés sur ces questions ; • Suggérer des thèmes de recherche permettant : ✔ d'approfondir la réflexion éthique dans un cadre interdisciplinaire ; ✔ de prendre en compte le résultat des réflexions éthiques. Ses avis sont consultatifs, ils peuvent être rendus publics sous le contrôle conjoint des présidents de la CERNA et d'Allistene, après consultation de l'alliance. Ils doivent traiter de questions générales et participer d'une analyse de fond pouvant rendre compte de la diversité des échanges et des opinions de ses membres, tout en dégageant clairement des conclusions. La CERNA ne traite pas les questions opérationnelles d'éthique et de déontologie, qui relèvent de la responsabilité des acteurs et de leurs établissements. Cerna.indd 56 28/10/14 14:26 57CERNA Éthique de la recherche en robotique Comment est traitée une saisine Pour élaborer un avis, la CERNA constitue un groupe de travail composé de quelquesuns de ses membres et de personnalités choisies pour la complémentarité de leurs compétences. Le groupe de travail se réunit en tant que de besoin (une à deux fois par mois, en présentiel ou audio, pour le groupe Robotique). Il est convenu avec les personnalités auditionnées que celles-ci ne sont pas citées nommément dans leurs apports, afin de faciliter leur libre expression. L'avis émis étant celui de l'ensemble de la CERNA, les travaux des groupes de travail font l'objet d'un point d'avancement et d'échanges lors de la plupart des séances plénières bimestrielles. Une première version de l'avis est soumise par le groupe de travail à l'examen approfondi de la commission. Le présent avis a été adopté à l'unanimité après amendements. Cerna.indd 57 28/10/14 14:26 58 Conception et réalisation graphique Inria Dircom Pao Novembre 2014 Impression Chameil/UGAP 100 ex Cerna.indd 58 28/10/14 14:26 2 3 Les membres de la CERNA Max Dauchet, Professeur émérite, université de Lille 1. Président de la CERNA Bernard Alaux, Directeur de CAP SCIENCES CCSTI Aquitaine, membre du conseil national de la culture scientifi que, technique et industrielle Christine Balagué, Institut Mines-Télécom, Vice-Présidente du Conseil National du Numérique Isabelle Bloch, Professeur, Institut Mines-Télécom Danièle Bourcier, Directeur de recherche émérite, CNRS, membre du Comité d'Ethique du CNRS (COMETS) Pierre-Antoine Chardel, Professeur de philosophie sociale et d'éthique à Télécom Ecole de Management (Institut Mines-Télécom) et directeur de recherche à l'Université Paris Descartes Raja Chatila, Directeur de recherche, CNRS. Président de la « Robotics and Automation Society » de l'IEEE. Directeur de l'ISIR Institut des Systèmes Intelligents et de Robotique, Université Pierre et Marie Curie, CNRS Jean-Michel Cornu, Directeur scientifi que de la Fondation Internet Nouvelle Génération (FING), Chief Visionary Offi cer de la plateforme internationale Imagination for People sur l'innovation sociale Gilles Dowek, Directeur de recherche, Inria. Directeur scientifi que adjoint d'Inria Chantal Enguehard, Maître de conférences, Université de Nantes. Vice Présidente de CREIS-TERMINAL Jean-Gabriel Ganascia, Professeur, Université Pierre et Marie Curie (Paris VI). Membre du groupe de travail OnLife, Communauté Européenne. Membre du COMETS Alexei Grinbaum, Chercheur, CEA. Coordinateur pour la France de l'Observatoire européen des nanotechnologies Claude Kirchner, Directeur de recherche Inria. Conseiller du Président Claire Lobet-Maris, Professeur, Université de Namur Joseph Mariani, Directeur de recherche, CNRS Guillaume Piolle, Enseignant chercheur, SUPELEC Alice René, Responsable pour la réglementation Bioéthique au CNRS. Membre du Comité National Consultatif pour les Sciences de la Vie et de la Santé (CCNE) Catherine Tessier, Maître de recherche, ONERA Sophie Vulliet-Tavernier, Directeur des relations avec les publics et la recherche Commission Nationale de l'Informatique et des Libertés En favorisant la recherche et les innovations dans le domaine du numérique, Allistene, l'alliance des sciences et technologies du numérique, accompagne les mutations économiques et sociales liées à la diffusion des technologies numériques. L'alliance a pour but d'assurer une coordination des différents acteurs de la recherche dans les sciences et technologies du numérique, afi n d'élaborer un programme cohérent et ambitieux de recherche et de développement technologique. Elle permet d'identifi er des priorités scientifi ques et technologiques communes et de renforcer les partenariats entre les opérateurs publics (universités, écoles, instituts), tout en créant de nouvelles synergies avec les entreprises. Créée en décembre 2009, Allistene regroupe en tant que membres fondateurs la CDEFI, le CEA, le CNRS, la CPU, Inria et l'Institut MinesTélécom. Ses membres associés sont l'INRA, l'INRETS et l'ONERA. Ses objectifs : • Coordonner les acteurs de la fonction programmatique autour de priorités scientifi ques et technologiques, • Élaborer des programmes nationaux répondant à ces priorités et des modalités pour la mise en oeuvre de ces programmes, • Renforcer les partenariats et les synergies entre l'ensemble des opérateurs de la recherche du domaine, universités, écoles, instituts, et aussi les entreprises en particulier au sein des pôles de compétitivité du numérique, • Prolonger les priorités et programmes nationaux dans les différentes initiatives européennes et internationales relevant du domaine. Site internet : www.allistene.fr Couv.dos carré.indd 2 29/10/14 14:45 4 1 Éthique de la recherche en robotique Rapport n° 1 de la CERNA Commission de réflexion sur l'Éthique de la Recherche en sciences et technologies du Numérique d'Allistene La robotique, comme plus largement le numérique, débouche sur de multiples usages aux déploiements parfois aussi massifs qu'inattendus, tel l'essor actuel des drones civils. Dans ce contexte évolutif, il serait vain d'énoncer de nouvelles normes éthiques qui pourraient vite s'avérer inadéquates. Mieux vaut équiper le monde scientifique pour que la dimension éthique devienne indissociable de l'activité de recherche, dans les communautés et les esprits. Le présent avis émet à cet effet quelques préconisations à l'attention des établissements et un ensemble de préconisations ancrées dans la recherche à l'attention des scientifiques. D'une manière générale, la CERNA préconise en particulier que les établissements ou institutions de recherche se dotent de comités d'éthique en sciences et technologies du numérique, traitant au cas par cas les questions opérationnelles, à l'instar des sciences de la vie ; que des actions de sensibilisation et d'accompagnement soient menées auprès des chercheurs ; que les réflexions éthiques relatives aux projets susceptibles d'avoir un impact direct sur la société impliquent tous les acteurs concernés. Les préconisations sont d'abord illustrées à travers trois cas d'usage : les robots auprès des personnes et au sein des groupes, les robots dans le contexte médical et les robots dans la défense et la sécurité. Puis elles sont formulées selon trois thèmes propres à la robotique: l'autonomie et les capacités décisionnelles, l'imitation du vivant et l'interaction affective et sociale avec les humains, et la réparation et l'augmentation de l'humain par la machine. Cet avis destiné aux roboticiens et à leurs tutelles, est aussi accessible aux non spécialistes, aidés en cela par un lexique. Rapport accessible sur http://cerna-ethics-allistene.org Couv.dos carré.indd 1 29/10/14 14: