 OK, nous sommes prêts à commencer. Je vous présente Anya Darman, qui est chercheuse en sciences politiques dans un think-tank à Berlin. Est-ce que je peux avoir mes slides, s'il vous plaît? Bon, commençons. Merci d'être venus. J'espère que ça va être intéressant. Je vais parler aujourd'hui de contrôle des armes et de lois intentionnelles humanitaires. Il y a tout ce débat intentionnel sur les armes autonomes, les armes auto-mortelles, où en anglais les thought-momo-systems, laws, LOS. Donc si je dis LOS, ce sera pour parler de ces armes, pas des lois. Donc je vais parler de ce sujet sur trois axes. D'abord, qu'est-ce que ces machines, que c'est que ces armes autonomes? En deuxième, pourquoi est-ce que c'est important, pourquoi est-ce que c'est quelque chose dont on devrait se préoccuper? Et enfin, qu'est-ce qu'on peut faire à propos de ce problème au niveau international? Donc j'aimerais bien avoir mes slides quand même. Mais bon, je ne les ai pas tant pis, on commence quand même. De quoi on parle ici? Les négociations intentionnelles n'ont pas vraiment encore donné de définitions précises de ce que sont ces armes autonomes. Il y a des pays qui essaient d'avancer diverses définitions. Donc dans cette transition je vous dis une définition assez large, des armes autonomes. Et ce sont les armes qui peuvent, quand elles sont activées, exécuter diverses tâches et sélectionner leurs cibles sans intervention humaine. Donc ça, ça donne une définition assez large. Il y a pas mal de types d'armes qui peuvent faire ça, dont des armes qui existent déjà. Par exemple, le phalanx system, ça c'est quelque chose qui existe depuis les années 70. Désolé, petit moment. Donc le phalanx system qui existe depuis les années 70, il y a le système américain de défense basé sur les bateaux. Donc le but c'est de défendre les bateaux contre des objets qui menaceraient le bateau qui arriverait par la voie des airs. Et ça, voilà, ça date d'une soixandise, donc ça fait longtemps que c'est en place. Et selon la définition qu'on utilise, moi dans ma définition ça fait probablement partie de ça. Donc c'est quelque chose d'assez large. Ce qu'on a de plus moderne, c'est les drones par exemple britanniques, les X-74B, qui peuvent de façon autonome... Ah, on a des slides. On peut de façon autonome les faire atterrir sur des porte-avions et qui peut de façon autonome se recharger sans intervention humaine. Donc c'est quelque chose d'impressionnant. Et dans le futur on aura peut-être, on aura même très probablement de plus en plus de fonctions autonomes. La navigation, l'atterrissage, la recharge, tout ces trucs-là. Et à un moment donné, on aura peut-être des armes qui sont capables de choisir à même quelle munition utiliser, selon la situation, de choisir à même les cibles, de choisir quand engager une cible sans la moindre intervention humaine dans un futur proche ou pas proche. Mais c'est quelque chose d'assez problématique. Je vais en parler plus tard, mais vous pouvez voir qu'on a un déclin du contrôle humain sur les systèmes militaires et sur les armes et sur même l'utilisation de la force. Donc ça, ça devrait donner une impression assez courte et assez large de ce dont on parle. Et quelque chose d'important, c'est aussi de dire de quoi on ne va pas parler. Donc pour ça je veux parler de quelques fausses images qu'on a souvent dans les débats publics sur ce sujet. Donc pour commencer on parle souvent de machines autonomes, on parle d'intelligence artificielle et les gens, bon probablement pas les gens de cette salle, mais souvent les médias et le public au sens large ont cette image que ces machines ont une réelle intelligence ou une réelle intention, que ce sont des entités pour elles-mêmes. Mais c'est pas ça, c'est juste des statistiques, c'est juste des maths. Et bon les gens de cette salle, ça fera probablement plus que moi sur ce sujet. Mais je vais quand même mettre ça ici pour dire, ces armes, ces machines ont des compétences pour certaines tâches mais ce ne sont pas des entités pensantes en elles-mêmes, elles n'ont pas d'intention. Et ça c'est quelque chose d'important quand on parle de sujets éthiques ou de sujets légaux à propos de ça. Alors, l'autre connexion à ça, et bien il y en a une autre, l'autre fausses images, pardon, c'est toutes les références à terminatoires qu'on aura dans les médias dès qu'on parle de ces armes. En tout cas, les thèmes roboteurs, si vous êtes journaliste et que vous allez écrire un article là-dessus, n'utilisez pas une photo de terminator, ça n'aide pas du tout à comprendre et à expliquer les problèmes. Quand on a des choses comme ça, les gens partent directement du principe qu'on va avoir des machines avec une intelligence humaine ou pseudo-humaine, probablement une forme qui ressemble à ce terminateur comme ça. Alors que ce n'est pas ça, ce genre d'armes commence quand on a de l'assistance des machines pour les humains ou quand on commence à avoir plusieurs fonctionnalités qui sont autonomes, qui sont utilisées ensemble. C'est ce genre de système dans lequel les armes vont assister jusqu'à la mentale. Mais ça, ce n'est pas le problème qu'on a ici. Sur le plan sémantique, c'est quelque chose où il faut bien faire la différence entre un robot, la terminator et les armes dont on se préoccupe dans la vie réelle. C'est quelque chose, et c'est important d'avoir cette distinction parce que ça informe beaucoup le débat légal. Donc ce que je voudrais maintenant, c'est pourquoi est-ce que c'est très important. Déjà, les armes autonomes ont pas mal d'avantage. Ça peut être beaucoup plus rapide qu'un être humain. On n'a pas besoin d'avoir une communication permanente entre le centre de commande et l'arme en elle-même. On n'a pas ce souci de, est-ce que le lien de communication va toujours marcher, ou de la latence, ou de la possible détection, ou même de l'interception de ce lien de contrôle. Donc c'est pratique. Et ça ouvre beaucoup d'options militaires, par exemple des opérations dans des zoos peu profondes, ou des missions dans des endroits très isolés, qui sont difficiles à faire avec des humains, mais qui sont beaucoup plus assis là avec des robots, spécialisés par exemple dans des marais. Donc ça c'est des avantages, mais il y a un coût à payer pour ces avantages, et il y a au moins trois dimensions problématiques à ce sujet. Premièrement, la loi. Quand on parle de ces armes, elles vont être utilisées dans des conflits dans lesquels les lois humaines internationales s'appliquent. Et la loi humaine international est composée de plusieurs principes assez abstraits des principes de haut niveau. Par exemple, le principe de la distinction entre les combattants et les civils, le principe de nécessité militaire, c'est des principes assez abstraits et il faut un jugement humain assez poussé pour les interpréter. Et je suis à peu près certaine que ce sera toujours le cas. C'est des principes qui doivent être évalués de façon large pour être appliqué dans une situation dynamique. Si vous voulez me corriger, allez-y. Mais je pense que si on enlève les humains du cycle de ciblage et de prise de décision, ces principes ne seront pas forcément interpréter de la façon dont ils devaient l'être. Les machines ne sont pas capables à leur actuel d'assurer le niveau de qualité que le jugement humain permet. Ça, c'était le premier problème. Deuxième problème, c'est la sécurité. Ça apporte pas mal de problèmes de côté sécurité. Quand on regarde ces systèmes, ils sont bien, ils sont nouveaux, ils ont l'air cool. Mais ces systèmes ouvrent le potentiel d'une escalade militaire, d'une course alarmement entre les différents, puisque si ces armes ne sont plus performantes, les pays vont se sentir menacés par d'autres pays qui en ont voulu avoir la même chose. Donc ça, c'est un problème. Quant aux logiciels et les autres composants qui sont nécessaires, ils sont disponibles sur le marché. Il y a aussi cet aspect à prendre en compte. Il y a peut-être plus de conflits dans lequel ce genre d'armement sera mis en place. Et ça peut être plus difficile de contrôler l'application de cette technologie. Et la troisième chose qui nous fait beaucoup de soucis, c'est le potentiel d'escalation à l'intérieur du conflit. Si les deux parties impliquées utilisent des armes mortelles automatiques, ça peut être très complexe ces systèmes et ça peut être très difficile de voir à l'avance comment est-ce qu'ils vont réagir. Ils vont augmenter la vitesse du conflit, ce que les humains ne peuvent peut-être pas gérer à cette vitesse, la vitesse de l'escalation. Donc c'est très très préoccupant. Et on peut le voir par exemple sur le marché des actions, sur la bourse. C'est très difficile pour les humains de comprendre cette velocité. Donc il y a aussi des problèmes de sécurité. Et peut-être le plus important c'est l'aspect éthique. Donc comme je l'ai précisé précédemment, quand on utilise des armements autonomes ou des machines, on a une intelligence artificielle. Donc il n'y a pas une réelle intention derrière. Donc la décision de tuer peut-être à un certain point être basée sur des méthodes statistiques Personne, aucun humain ne sera dans la prise de décision, ne sera impliqué. Donc cela peut constituer une violation de la dignité humaine. On peut dire que dans les cas de guerre, dans le cadre d'une guerre on peut tuer des humains. Mais au moins on peut être tué par un autre humain dans le cas de guerre, dans la législation sur la guerre. Donc du moins sur ce point c'est vraiment contraire à l'éthique. Et ce sont des problèmes qui se mettent en place lorsqu'on utilise des armements automatiques. Donc la vérification, la sûreté, il y a tout un tas de problèmes de ce genre. Donc c'est quand même assez préoccupant n'est-ce pas. Comment est-ce qu'on peut s'occuper de ce problème ? Donc les États, il y a eu des grandes campagnes d'ONG. Donc les ONG ont forcé les États, par exemple dans la Convention des Nations Unies sur les armes l'État. Ils ont parlé de faire, de les bannir. Donc il faut qu'il y ait quand même un minimum de contrôle humain sur ce genre d'armement. Et donc le fait de bannir c'est vraiment le but des ONG. Mais il y a des partis qui ne sont pas d'accord avec le bannissement complet, qui veulent juste réguler. En ce moment ils n'ont pas une définition unique de ce qu'ils souhaitent. Donc si vous avez une définition large, ce que moi j'ai, donc vous verrez qu'il y a des systèmes qui existent qui ne sont pas si problématiques que ça. Et on peut peut-être, si on bannit tout, stopper le développement commercial ou l'ingénierie de ce genre de système. Et c'est vraiment, nous avons vraiment besoin d'agir avant que ces systèmes sont sur le champ de bataille. Donc pour le moment c'est la quatrième année de ces négociations et nous voyons comment ça va cette année. Et si les États ne peuvent pas se mettre d'accord, et bien il est vraisemblable que ça va passer à un autre forum. Donc ils vont trouver un traité peut-être en dehors des Nations Unies. Mais la fenêtre d'opportunités n'est pas encore fermée et les ONG doivent agir et continuer la pression. Une note à part, il y a beaucoup de gens qui sont les membres d'ONG ici. Donc si vous voyez les campagnes contre les robots tueurs, ce processus, il y a juste une ONG allemande. Donc si vous êtes allemand, si vous êtes dans une ONG, si vous êtes intéressé, et bien intéressez-vous à ce problème de la militarisation automatisée. Nous avons besoin d'expertise et sur ce sujet, sur ces technologies. Donc si vous êtes endormi, je veux que vous ayez ces trois messages clés. Surveillez les modes et la logique de ce qui se passe dans l'autonomie des armes. Ne surestimez pas les capacités des machines autonomes. Vous le saviez peut-être déjà, mais dites aux autres, éduquez-vous les uns les autres, éduquez les gens. Ce genre de technologies doit être compris. Et ne sousestimez pas le danger potentiel pour la sécurité et la dignité humaine qui vient de ce genre d'armement. J'espère que j'ai pu vous intéresser à ce sujet. Si vous voulez en savoir plus, vous trouverez des sources intéressantes sur le site web unog.ch-ccw. Donc sur le projet de recherche que j'ai, il y a un panel international sur la régulation. Il y a eu des papiers fait là-dessus des recherches et je vais en publier encore plus. Donc s'il vous plaît, allez sur ce site et merci pour votre attention. Il y a des questions ? Je dois m'excuser, nous avions un problème avec le langage des signes. L'acoustique n'était pas très bonne et donc elle n'a pas pu vraiment traduire un langage des signes. Donc désolé pour cela. Donc les gens sont devant les micros, micro 1. Merci Ania pour votre conférence. Est-ce qu'on peut réduire les crimes de guerre en enlevant le pouvoir de décision des humains, en ayant des algorithmes qui décident ce qui doit être fait ? Alors oui, ça c'est quelque chose dont on parlait récemment dans les débats rationaux. Le fait que dans certains cas les machines puissent être plus éthiques que des humains. Puisque bien sûr des machines ne vont pas se mettre par exemple à violer des femmes par simple désir de le faire mais elles peuvent être programmées pour le faire par contre. Donc on décale quand même le problème, mais le problème c'est toujours. Les machines ne peuvent pas être en colère mais les machines ne peuvent pas non plus faire preuve de compassion. Donc une machine programmée pour tuer ne s'arrêtera pas par compassion, par émotion. Donc il faut vraiment regarder les deux côtés de cette pièce. Merci. Une autre question. Bonjour. Merci pour cette conférence. Les voitures autonomes, l'éthique des voitures autonomes. Comment est-ce qu'une voiture doit réagir dans le cas d'un accident ? Est-ce qu'il doit protéger les gens à l'extérieur ou à l'intérieur ? Donc il y a une autre discussion là. Est-ce que vous travaillez avec des gens qui s'occupent de ce sujet ? Ou est-ce qu'il y a une collaboration ? Alors il y a peut-être moins de collaborations que ce qu'on voudrait. Alors bien sûr nous on s'intéresse à ces sujets également. Et on pense beaucoup aux applications possibles, des résultats par exemple de la commission d'éthique en Allemagne sur les véhicules autonomes. Moi je suis un petit peu partagé parce que quand les gens parlent des armes, les armes sont quand même conçues pour tuer des gens et les voitures par contre ne le sont pas. Donc les décisions sur ce qui doit être fait quand une voiture a un accident, c'est quelque chose d'assez différent des décisions sur l'utilisation d'une arme. Mais c'est quand même un débat dont on peut apprendre beaucoup et c'est un débat conçu. Une autre question. Merci beaucoup pour cette conférence et de mettre toute cette professionnalité dans le débat. Parce que certaines des choses qui entourent notre scène, ils aiment bien protester contre des choses très particulières. Donc par exemple le centre militaire de Rammstein. Et si on va faire une manif de façon populiste sans prendre les points d'expertise en compte, donc c'est pas génial. Donc merci pour cela. Et puis ma question maintenant. Comment est-ce que vous proposez que les manifestations, les protesteurs se développent à un niveau plus élevé pour être plus effectifs et puis aussi pour être plus respectueux des enjeux de toutes les parties concernées ? Alors à propos de ce problème à Rammstein, c'est un sujet très différent. Là on parle de drones qui sont pilotés à distance. Il y a beaucoup de problèmes avec ça. Effectivement, c'est des meurtres, mais ce n'est pas des armes autonomes. Alors si vous voulez vous impliquer dans ces débats internationaux, il y a cette campagne contre les robots terres. Il y a beaucoup de gens impliqués, beaucoup de ressources que vous pouvez lire, que vous pouvez diffuser ou pour vous éduquer vous-même sur ce qui se passe. Donc ça c'est un bon point de départ. Et ensuite, on continue à parler des scientifiques qui s'intéressent à ce sujet pour voir où est-ce que nous scientifiques, nous trouvons les problèmes et les possibles solutions. Et parler aussi aux gens qui sont vraiment dans ce monde qui travaille sur ces problèmes. Merci beaucoup. Nous avons une information de l'IRC. Donc, est-ce qu'un aide de robot peut attaquer une centrale nucléaire ? Je n'ai pas tout à fait compris la question. Est-ce que vous pouvez reformuler s'il vous plaît ? Bien. Nous ne sommes nous pas déjà dans un monde de robot-tueurs. Désolé, on ne pouvait pas entendre la question. Autre question. J'ai une petite question. Donc, vous avez mis le focus sur les questions éthiques liées aux armes fatales. Est-ce que vous êtes bien conscient de la discussion sur l'aspect éthique, du design et de l'implémentation d'armes qui ne sont pas l'étal, d'armes autonomes non l'étal, pour le contrôle de full et ce genre de choses ? Oui. Donc, au sein du CCW, tous les détails de la définition de ces armes autonomes, il y a un débat dessus. Et quand on va parler de réglementation, ce sera peut-être plus facile de s'intéresser aux armes l'étal, parce que les armes non l'étal ont leur propre challenge, leur propre défi de la régulation. Et ça, je ne me socialise pas vraiment sur ce sujet-là. Autre question. Merci beaucoup pour cette conférence. Ma question est dans le contexte de réduire les coûts de la hardware et de la software dans les prochaines 30-40 ans. Donc, en dehors d'un enjeu national, pour des acteurs non-étatiques, est-ce que vous pensez que la conversion des Nations Unies peut stopper les roboteurs, mais est-ce qu'ils considèrent aussi les acteurs privés ? Alors, je ne sais pas vraiment ce que la campagne dira sur ça, je n'en fais pas partie. Le CCW s'intéresse principalement à la loi et maintien international, qui est importante, mais je pense que ce n'est pas assez large. Des questions, par exemple de prolifération, ou des questions comme la vôtre, ne font pas vraiment partie des régulations que le CCW cherche à obtenir. Ça informe les débats là-bas, mais ce n'est pas vraiment le problème dont il se préoccupe. Prochaine question. J'ai une question en tant que chercheur. Savez-vous jusqu'où le développement est, ou en est le développement, quelle est la transparence si vous voyez ce que l'on développe, et où on est la recherche sur un plan militaire et avec les armes autonomes ? Pour moi, ce n'est pas très transparent, je n'ai accès à cause d'informations publiques. Je ne sais pas vraiment ce qu'il y a derrière les portes fermées des labos de recherche militaire ou de l'industrie. Bien sûr, ce qu'on peut faire, c'est voir les applications civiles, les développements civiles, qui peuvent nous informer énormément sur l'état de l'art côté militaire, ou par exemple les publications du DARPA, l'Agence de développement américaine. Eux publient parfois des appels d'offres ou des calls for papers, des demandes de publication, et ça, ça, c'est pour de la recherche. Et on peut voir là-dedans qu'ils aiment beaucoup, par exemple en ce moment, cette notion d'avoir des petits robots autonomes qui peuvent monitorer ou tuer des humains. Donc avec ce genre d'informations publiques, on peut quand même retrouver un peu ce qui se passe derrière. Donc, question suivante. Bonjour. Nous vivons déjà dans un monde d'armes autonomes. Réfléchissez aux mines antipersonnelles qui existent les millions de mines antipersonnelles. C'est pas la même chose parce que ces mines antipersonnelles ne sont-elles pas inclus dans cette définition parce que l'argument doit être le même. Alors oui, bien sûr c'est quelque chose auxquels on pense qu'en parlant de ce genre de sujet, les mines sont juste posés là et elles attendent qu'on marche dessus et elles explosent. Mais elles sont, bon, ça dépend de la définition de l'autonomie, mais il y a des gens qui disent par exemple qu'une armée est autonome, si elle agit de façon dynamique, d'autres disent qu'elle sait si c'est automatique. Donc je ne veux pas chercher à définir l'autonomie ici, mais cette question, ces actions dans un espace plus dynamique et l'application de l'intelligence artificielle ce sont des choses beaucoup plus compliquées qui apportent des problèmes différents par rapport aux mines antipersonnelles. Les mines antipersonnelles sont problématiques et sont bannies pour de très bonnes raisons, mais ce n'est pas les mêmes problèmes. Du coup, je ne pense pas que ça sera suffisant d'appliquer ces armes dans le système existant. Merci beaucoup pour cette question. Merci Anya. Applaudissements.