 Herzlich willkommen bei der Übersetzung für die Rede zu autonomen Waffensystemen von 34. Cars Communication Congress in der Übersetzung von Michael und Florence. Okay, danke, dass ihr hier seid. Ich werde mich wahrscheinlich weder schneiden, noch werde ich ein Heiratsantrag bekommen. Das ist eine Referenz auf den vorherigen Talk. Ich werde über autonome Waffensysteme reden und da aufgrund der aktuellen Debatte über diese Systeme und über die rechtlichen Bedingungen, wenn ich also LAWS sage, Laws, dann werde ich die autonome Waffensysteme meinen und nicht das englische Wort Laws, Rechte oder Gesetze. Während dieser Präsentation möchte ich drei Fragen anschneiden. Zum ersten möchte ich anschneiden, was sind diese Art von Waffensysteme? Zweitens, warum ist das wichtig? Wieso ist das für uns wichtig? Und drittens, was können wir darüber tun? Wie kann das auf einer internationalen Ebene behandelt werden? Aktuell haben wir technische Probleme mit den Slides. Sie wird trotzdem weiter präsentieren. Während den internationalen Absprachen ist noch keine gemeinsame Definition von autonomen Waffen gefunden werden. Und deswegen werde ich in meinem Talk eine sehr weite Definition von autonomen Waffensysteme verwenden. Das heißt also, alle Waffen, die, sobald sie aktiviert werden, selbstständig auf Ziele wirken können, ohne weitere menschliche Einwirkungen. Tatsächlich gibt es bereits existierende Waffen, die schon im Einsatz sind, wie zum Beispiel das Falang-System. Falang-System ist ein Luftverteidigungssystem der US-Streitkräfte, das Schiffe gegen feindliche Flughörper verteidigen soll. Das seit einiger Zeit im Einsatz ist. Und das tatsächlich auch unter meine Definition Autonomen Waffensysteme fallen könnte, nur damit ihr eine Idee habt, wie bereite ich die Definition heute vor? Oder zum Beispiel die X-74B, welche Autonomen eine Drohne ist, die Autonomen auf Carriern bereits landen kann, ohne menschliche Einmenschen dabei zu brauchen und zukünftig könnte es oder wird es wahrscheinlich sogar geben, wird es Autonoma sein, zum Beispiel kann es sich automatisch nachtanken, etc. An irgendeinem Zeitpunkt in der Zukunft sind Waffensysteme wahrscheinlich in der Lage, selbstständig ihre Ziele auszuwählen und selbstständig auf ihre Ziele zu wirken, ohne dass Menschen eine Entscheidung treffen. Und das ist ein ziemliches Problem. Ich werde euch gleich erzählen, warum das ein Problem ist. Ihr könnt schon selber sehen, dass mit der Zeit die menschliche Kontrolle über die Waffensysteme erodiert. Und ich hoffe, ihr habt eine ganz kurze, ganz kurze Eindruck gewonnen darüber, was meine Definition alles umfasst. Ich möchte dir gleichzeitig ein paar missverständliche Definitionen klären, die in der öffentlichen Debatte immer wieder auftun. Was meinen wir, wenn wir autonome Maschinen meinen? Meinen wir absichtliches, intelligentes Verhalten? Öffentliche Medien und die öffentliche Diskussion fassen das häufig auf, als Maschinen, die einen eigenen Willen hätten. Das ist natürlich nicht richtig. Dahinter stehen statistische Modelle und die werde ich kurz erklären. Die Waffen haben bestimmte Wirkmechanismen. Sie haben bestimmte statistische Modelle und darüber möchte ich heute sprechen. Und die weitere Verbindung mit dem hier ist, ist, dass es unglaublich viele Terminator-Referenzen gibt oder auch Killer-Roboter in dem Kontext von autonamen Waffensystem. Und nur für euch, wenn ihr darüber ein Artikel schreiben wollt, benutzt, bitte kein Terminator-Bild, weil das wirklich nicht hilfreich ist, um zu verstehen, wo das Problem ist. Damit denken nämlich Leute, dass wir Probleme haben mit Maschinen, die menschlich Intelligenz haben. Und das ist eben nicht, worum es geht. Autonome Waffensysteme sind problematisch schon weit vor diesem Punkt. Oder wenn man verschiedene autonome Funktionen in den Zielvorgang einbindet und all das dient am Ende dazu, Menschen zu töten, das ist im Moment. Bitte denkt dran, es geht einfach nicht um Begriffsbestimmungen rein. Und es geht hauptsächlich darum auch in der Sprache die Diskussion der politischen Entscheider und der Militär zu beeinflussen. Also autonome Waffensysteme haben durchaus Vorteile im militärischen Einsitze, weil sie unter Umständen präziser als Menschen sind, weil sie ohne Netzwerkverbindungen wirken könnten. Und es gibt natürlich einen Haufen interessantes Möglichkeiten im militärischen Bereich, die man dazu nutzen könnte. Zum Beispiel denkt man an Literaloperationen. Und als Militär könnte man natürlich ziemlich kreativ werden, wenn es um Bereiche gibt, die den Menschen nicht direkt zugänglich sind, wie zum Beispiel das Problem hier ist allerdings, wir haben mindestens 3 Dimensionen von Herausforderungen. Die ersten sind im Bereich der gesetzlichen Regelungen. Und da geht es zum Beispiel um internationale Konflikte, zum Beispiel dem Recht der internationalen bewaffenden Konflikte unterlegen. Beispielsweise das Prinzip, dass man zwischen Zivilisten und Militaristen, zivilen und militärischen Zielen unterscheiden muss. Und ich denke ja, dass es immer ein menschliches Gehirn braucht, um zu unterscheiden von zivilen und militärischen Zielen. Bitte berichtigt mich, wenn das falsch sein sollte. Wenn man den Mensch aus dem Waffenwirkungszyklus entfernt, könnte es sein, muss man sehr genau darauf schauen, wo man den Menschen rausnimmt und wie man die Qualität der Entscheidung sicherstellt. Die zweite Dimension unserer Herausforderungen betrifft Sicherheitsprobleme. Wenn ihr diese Systeme anschaut, neue, tolle Spielzeuge, dann haben sie natürlich das Potenzial, als Objekt eines neuen Rüstungswettlaufs zu dienen und sie könnten tatsächlich so verstanden werden, dass sie auch Konflikte befeuern. Zweitens das Problem der Proleveration. Die Selbstständigkeit der Waffensysteme basiert natürlich auf der Software der Waffensysteme und die Verfügbarkeit dieser Software im zivilen Bereich ist natürlich ein Problem. Das heißt, erstens, vielleicht haben wir mehr Konflikte, weil diese Waffen zur Verfügung stehen und zweitens, kann es natürlich schwieriger sein, die Konflikte zu kontrollieren, weil diese Waffen zur Verfügung stehen. Und drittens, die Möglichkeit, dass Konflikte höher eskalieren, weil eben genau diese autonomen Waffensysteme zur Verfügung stehen. In der Zukunft wird es sehr schwer nämlich sein, sich zu überlegen, wie diese Systeme überhaupt reagieren und die Geschwindigkeit eines Konfliktes könnte so schnell werden, dass Menschen nicht mehr in der Lage sind, herr der Lage zu bleiben. Das sehen wir zum Beispiel im Finanzbereich, wo Computer-Algorithmen sehr schnell handeln mit Aktien, sodass ein Mensch gar nicht mehr verstehen kann, was da alles passiert. Das war nur ein paar der Sicherheitsprobleme, die wir da haben könnten. Und schlussendlich, die größte Dimension, der wir uns gegenüber sehen, sind die ethischen Probleme. Wie ich vorhin erwähnt habe, wenn wir Selbstständigkeit von Maschinen betrachten, dann geht es natürlich nicht um sechs selbstständige Wesen, die dahinter stehen, sondern mathematische Modelle und auf einmal treffen mathematische Modellentscheidungen, die zum Tod von Menschen führen. Und jetzt kann man natürlich trefflich darüber streiten, ob das bereits eine Verletzung der Würde des Menschen darstellt und ob Menschen nicht das Recht darauf haben, von anderen Menschen getötet zu werden und nicht von Maschinen. Und hier kratzen wir nur kurz an der Oberfläche dieses Problemfeldes. Ich habe noch überhaupt nicht erwähnt, dass wir natürlich auch das Problem der Trainingsdaten dieser Statistenmodelle haben, dass wir das Problem der Qualitätssicherung haben. Wie kann dieses Problem nun behandelt werden? Glücklicherweise haben Länder bereits erkannt, dass es da Probleme geben könnte durch den Druck von NGOs und aktuell gibt es die UN-Konvention, wo diskutiert wird, ob diese automatische Waffensysteme verboten werden sollten. Und ein solches Verbot, das wäre natürlich der Goldstandard für uns. Das wird aber unwahrscheinlicher, dass wir genau das davon... Es gibt sehr viele Handelnde in diesem Bereich, die hier ein bisschen regulieren wollen, da ein bisschen regulieren wollen, aber niemand möchte sich auf dieses maximales Verbot einlassen. Vielleicht gibt es auch bereits Systeme, die schon im Einsatz sind, die unter Umständen gar nicht so problematsch sind. Was man natürlich regulieren möchte, ist die Zivileverwendung und die Staaten, die darüber sprechen, sind im Moment schachmat. Wir sehen uns dem Problem über, dass wir diese Sachen regeln müssen, bevor diese Systeme einsatzbereits sind. Als kurzer Status dieser Verhandlungen, wir werden sehen, wie die Verhandlungen dieses und nächstes Jahr laufen. Und es wird wahrscheinlich sein, dass die Diskussion in einem anderen Kreis stattfinden wird, so ähnlich wie die Diskussion um Landmienen. Wir haben jetzt eine Gelegenheit, das zu regeln und die Staaten müssen handeln. Als kleine Randbemerkung, es gibt hier mit Sicherheit ein paar Teilnehmer, die bei nichtstaatlichen Organisationen aktiv sind. Es gibt genau eine deutsche Organisation, die sich in diesem Bereich organisiert. Wenn ihr bei nichtstaatlichen Optionen dabei seid, wer das mit Sicherheit ein lohnender Bereich, mit dem man sich beschäftigen sollte, speziell im Bereich der künstlichen Intelligenz. Also, solltet ihr in den letzten 15 Minuten eingeschlafen sein, möchte ich, dass ihr drei Sachen mitnehmt. Bitte erstens, seid euch bewusst von der Trend und der internen Logik, die zu Autonomie in den Waffensystem führen. Zweitens, überschätzt nicht die Fähigkeiten dieser autonomen Maschine. Also, wenn ihr das Leuten erklärt, erklärt das sinnvoll. Und drittens, unterschätzt nicht, dass die potenzielle Gefahr für die Sicherheit und die Humanität. Ich habe mir gehofft, dass ich euch euer Interesse wecken konnte über dieses Thema. Und wenn ihr mehr Quellen und Informationen wollt, könnt ihr dies sehen auf der folgenden Webseiten, die auf der Seite jetzt stehen. Zum Beispiel bei dem International Panel für die Regulierung von Autonom-Waffensystemen, da sind einige Studien. Danke für eure Aufmerksamkeit. Also, ist die Frage. Wir sind nun im Frage-Antwortteil. Glaubst du nicht, dass es die Möglichkeit gibt, Kriegsverbrechen zu verringern, indem die Entscheidung nicht mehr bei Menschen liegt, sondern bei überprüfbaren Algorithmen und Maschinen? Das ist natürlich etwas, was Teil unserer Diskussion ist, dass Maschinen tatsächlich ethisch bessere Entscheidungen treffen als Menschen. Maschinen werden jetzt nicht einfach hergehen und Frauen vergewaltigen. Aber eigentlich verlagern wir die Probleme nur. Maschinen werden zwar nicht wütend, aber auf der anderen Seite haben Maschinen auch nicht den Raum, um Mitleid zu zeigen. Das heißt, diese Medaille hat zwei Seiten. Vielen Dank. Bezüglich von selbstfahrenden Fahrzeugen, da gibt es ja eine ähnliche Kontrolle, eine ähnliche Diskussion bezüglich wie ein selbstfahrendes Auto, wo der Schutz liegen sollte bei den Insassen, bei denen die draußen sind. Das ist eine sehr ähnliche Diskussion und meine Frage ist nun konkret, arbeitest du mit Leuten in dem Bereich zusammen? Gibt es da eine Zusammenarbeit? Wahrscheinlich ist in diesem Bereich weniger Zusammenarbeit, als man eigentlich denken würde. Wir würden gerne diese Diskussion voranbringen. Und wenn wir an die möglichen Anwendungen der Ergebnisse, solche Diskussionen aus dem Optimum- und Mobilbereich sehen, aber wenn du Waffen anschaust, das Design-Ziel von Waffen ist, Menschen zu zöten, das Design-Ziel von Autos ist eigentlich, Menschen zu transportieren. Das heißt, die Ziele sind ein bisschen unterschiedlich, aber wir könnten durchaus voneinander lernen. Danke, dass du so viel Professionalität in diese Debatte reingebracht hast. Denn in der Umgebung unserer Community gibt es ja einige Leute, die gerne protestieren, zum Beispiel gegen die Ramstein Airbase. Danke dafür. Und jetzt zur Frage, was schlägst du vor? Wie schlägst du vor, dass die zukünftige Entwicklung ablaufen wird? Auf der einen Seite mehr effektiv zu sein und auf der anderen Seite moralischer zu sein, auch im Hinblick darauf, wie hoch die Gefahr ist und die Sicherheit ist für alle, die parteiligten. Zum einen ist Ramstein ein komplett anderes Thema, da geht es um Drohnenkrieg, das hat natürlich auch viel damit zu tun. Es geht aber nicht um autonome Waffensysteme, sondern um gesteuerte Drohnen. Wenn du unsere Ziele unterstützen möchtest, gibt es die internationale Initiative, um Killer-Roboter zu stoppen. Das wäre ein Punkt, um zu beginnen. Bleib dran, sprich mit Wissenschaftlern über die Themen. Und es ist natürlich immer hilfreich für uns mit Menschen, die auch mit dieser Diskussion zu tun haben, im Gespräch zu bleiben. Nun, eine Frage aus dem Internet. Sind wir nicht schon bereits in einer Killer-Roboter-Welt, wo zum Beispiel automatisch ... Das habe ich jetzt überhaupt nicht verstanden. Also, die Frage wird erholt. Sind wir nicht bereits in einer Killer-Roboter-Welt? Es hat leider nicht funktioniert, weil es auf der Bühne nicht gehört werden kann. In deinem Vortrag hast du dich fokussiert auf die ethischen Probleme bezüglich von tödlichen Waffen. Hast du Ahnung von der Diskussion bezüglich der ethischen Probleme bezüglich von Waffen, die jetzt nicht sofort tödlich sind, zum Beispiel für Massenkontrolle etc.? Tatsächlich ist es so, dass im Rahmen des CCW alle Bereiche nicht nur die Tödlichen diskutiert werden. Und das wäre jetzt natürlich einfacher, sich auf die exklusivtödlichen Waffen zu konzentrieren. Ich bin nicht so tief drin in der Diskussion um andere Waffensysteme. Meine Frage ist im Kontext der sich verringenden Kosten sowohl von Hardware als auch von Software über die nächsten 20 Jahre. Außerhalb von dem Kontext, dass das Staaten machen, glaubst du, dass die UN-Konvention auch auf private Organisationen, zum Beispiel Sicherheitsfirmen, wirken könnten? Ich bin mir jetzt nicht sicher, was die Meinung der Kampagne zu diesem Thema ist. Ich bin auch nicht Mitglied der Kampagne. CCW konzentriert sich hauptsächlich auf internationales Recht und wir stellen fest, dass das noch nicht umfassend genug ist. Zum Beispiel der ganze Problemkreis der Proliferation ist noch nicht Teil der gesetzlichen Regulierung. Als Wissenschaftlerin habe ich folgende Frage. Weißt du, wie weit die Entwicklung bereits vorangeschritten ist? Wie transparent ist dein Einblick in die autonomen Waffensysteme, in die Entwicklung auch auf Seite, wie das Militär aktuell daran arbeitet? Für mich ist das überhaupt nicht transparent, weil mir nur öffentliche Quellen zur Verfügung stehen. Das heißt, ich kann nicht dazu Stellung nehmen, auf welche Technik das Militär oder die Rüstungsindustrie Zugriff hat. Was ich sehen kann, sind allgemein frei verfügbare Systeme. Dazu lohnt es sich zum Beispiel, einen Blick auf die DARPA zu werfen, die regelmäßig wieder Einladungen zur Vorstellung von Systemen veröffentlicht. Und die sind natürlich sehr begeistert von der Idee autonomer, kleiner Killer-Roboter, die sie in unzugänglichen Gebieten einsetzen können. Ich glaube, wir leben bereits in einer Welt mit tödlichen autonomem Waffensystem. Wenn du daran denkst, wie viele Millionen Landminen es gibt, da ist doch die Frage, sollte es nicht möglich sein, diese Waffensysteme, die Autonomenwaffensysteme also zu verbieten, genauso wie es in aktuellen Konventionen bereits umgesetzt ist, zum Beispiel beim Verbot von Landminen, kann man das nicht einfach mit einfügen? Man denkt natürlich sofort dran, weil die Minen, die liegen da rum und du trittst drauf um, aber es hängt sehr von der Definition von Autonomen ab. Der genaue Unterschied hier, den man betrachten sollte, ist automatisch versus autonom. Eine Indikation für automatisch wäre, dass die Waffe dann triggert. Autonom ist, dass die Waffe auf Situationen reagiert. Was uns dabei auffällt, ist, dass Autonomesysteme andere Problemklassen mit sich bringen als Landminen. Es sind also unterschiedliche Problembereiche und aus meiner Sicht nicht hilfreich autonome Waffensysteme unter diese Regelung von Landminen zu setzen.