 Digitaler Salon. Fragen zur vernetzten Gegenwart. Herzlich willkommen, schönen guten Abend. Mein Name ist Katja Weber. Ich freue mich immer noch wie Bolle, dass wir wieder hier in Präsenztagen können. Mit großem Abstand und weit geöffneten Fenstern. Hallo auch euch, die hier da draußen sitzt. Und hallo auch euch, die ihr uns im Stream seht. Es ist Donnerstagabend statt Mittwochabend. Ich freue mich, dass ein paar von euch in der Lage sind, unsere Gewohnheiten zu brechen und auch am Donnerstagabend hier vorstellig zu werden. Die Welt ist nicht aus den Fugen, sondern das ist einfach nur eine Ausnahme. Wir sprechen über Autonomie, auch noch über anderes, aber ein Aspekt davon ist Autonomie. Das ist uns ein hohes Gut, wenn es um uns geht, also um Menschen. Schon beim Autonomenfahren haben wir da die eine oder andere Frage. Unter anderem auch die, ob das überhaupt die richtige Bezeichnung ist, ob das Autonomis fahren wäre oder was ist da Autonom. Also wie Autonom oder meinetwegen wie menschfrei sollen Waffensysteme agieren können. Militärische Rüstungsgüter, das ist das große Thema heute Abend. Es geistert der Ausdruck Killerroboter durch die Diskussion, aber ich glaube, wir müssen erstmal verstehen, heute Abend oder versuchen zu verstehen, was wir meinen, wenn wir von autonomen Waffen sprechen. Rüstung, Waffen, Militär, das ist ein Gebiet und das interessierte Zeitgenossen und Zeitgenossin gar nicht so viel wissen. Ich will euch da nicht in Mithaftung nehmen, aber ich selber hatte dieses Empfinden bei der Vorbereitung, dass es sehr viele andere Themen gibt, über die ich sehr viel mehr weiß. Aber es ist natürlich auch, muss man sagen, eine Industrie, die nicht gerade für Transparenz steht und eine Mords-Öffentlichkeitsarbeit macht, damit wir wissen, was da wie in welcher Weise und mit welcher Absicht produziert wird. Er hat Grünwald, aber der muss quasi Job auf der Höhe der Debatte sein oder besser sogar ein ganzes Stück vor der Debatte, also eigentlich vor dem Wind. Er hat breit und interdisziplinär studiert, Physik, Chemie, Philosophie und Geschichte der Naturwissenschaften. Da musste er sich für die Promotion entscheiden an der FU, dann wurde es eine chemische Promotion und jetzt ist er wissenschaftlicher Mitarbeiter am KIT, sagt er eigentlich KIT oder KIT, das ist wie FHZ und FATZ. Ja, ich glaube, offiziell darf man gar nicht KIT sagen. Man muss KIT sagen. Also, schon das erste Learning, KIT. Man will sich mit dem MIT irgendwie so ein bisschen... Ah, okay, daher. Okay, wir können aber Deutsch reden heute Abend. Also wir können es auch langsam sagen, Karlsruhe Institut für Technologie und dieses Entleid sozusagen Angestellte an das Büro für Technikfolgenabschätzung beim Deutschen Bundestag und damit jetzt nochmal offiziell herzlich willkommen rein. Ja, vielen Dank. Vielen Dank für die Einladung, für diese hoffentlich interessante Veranstaltung. Liegt an dir. No pressure. Nein, überhaupt nicht, um Druck aufzubauen. Habe ich das richtig dargestellt mit dem Entlein? Also ist das so, dass dieses Forschungsinstitut KIT Wissenschaftler entsendet, du bist aber sozusagen Arbeitnehmer noch beim Karlsruhe Institut, dein Arbeitgeber, aber ist der Bundestag? Nein, mein Arbeitgeber ist das KIT tatsächlich. Ich bin dort am Institut für Technikfolgenabschätzung und Systemanalyse sozusagen angesiedelt und das TAP ist eine Abteilung dieses Instituts in Karlsruhe, die aber halt in Berlin, beziehungsweise besser gesagt, am Sitz des Deutschen Bundestages angesiedelt ist, also früher in Bonn, auf der Grundlage eines Vertrages, den das KIT mit dem Bundestag hat, der läuft immer über fünf Jahre und aufgrund dieses Vertrages sind wir in Berlin und arbeiten von den Themen her und von unserem sozusagen Auftraggeber her ausschließlich für den Deutschen Bundestag. Das heißt, die sagen bevorst doch mal bitte das und das, das sagt euch nicht, das KIT. Ganz genau. Okay, jetzt bevor wir zum eigentlichen Thema kommen, ich habe gesehen, du hast eine ganze Menge Tanzböden, also allein du als Person auf der Seite des TAPs, was halt eben die Abkürzung ist, für das Büro beim Bundestag für Technikfolgenabschätzung, da drauf stehen Biokraftstoffe, Energieverbrauch in der Kommunikationsinfrastruktur und elektromagnetische Felder und die Frage, hat das nun Auswirkungen auf die Gesundheit oder nicht, sind jetzt wirklich eine Menge Themen, die jetzt auch nicht direkt einzahlen auf das Thema autonome Waffensysteme. Wie hältst du dich da fit? Also was, einfach Daten, Studien und Wissensstoffe betrachtet? Wir sind vielleicht schlauer, aber bestimmt nicht schlauer als viele andere. Deswegen kann man so eine breite Themenpalette auch nur abdecken, weil wir sehr intensiv auch mit Gutachtern zusammenarbeiten. Also wir haben einen gewissen Etat, wo wir dann sozusagen uns externe Expertise einkaufen können, die uns dann halt helfen, auf den aktuellen Stand zu kommen und bestimmte Fragestellungen für uns bearbeiten, sodass wir dann daraus und mit anderen Informationen gemeinsam Berichte für den Bundestag machen können. Also Fachleute, die dann für genau diese sehr unterschiedlichen Felder zuständig sind. Wie ist es, dass der Bundestag gibt euch Aufträge und sagt, Puh, wir haben so das Gefühl, wir müssen mal ein paar Entscheidungen treffen, was autonome Waffensysteme betrifft, bringt uns dann mal auf den aktuellen Stand. Wenn ihr so eine Expertise erstellt, du hast ja mitgearbeitet oder zusammen mit einem Kollegen ein solches sehr umfangreiches Gutachten erstellt. Wie ist denn da so die Gehörfindungsquote beim Deutschen Bundestag? Wie ist das Gefühl, die Papiere, die wir geschrieben haben, wurden auch gelesen, verarbeitet und bedacht? Also, sagen wir mal so, wenn ihr jetzt gefragt hättest, welchen Impact haben die Berichte? Das ist total schwer zu sagen, weil normalerweise die, sagen wir mal, Gesetzesvorhaben oder sowas ja nicht zitieren, da steht da nicht drin. Wir machen jetzt den Gesetzesvorschlag, weil in dem Tappbericht so schlaue Sachen standen. Wir können das ja übersetzen. Manchmal findet man Sätze, die einen bekannt vorkommen oder sowas, aber eigentlich die Evidenz ist dann eher so anekdotisch, dass man eben mit Abgeordneten spricht und die dann sagen, oh ja, hier dieser Bericht zum Thema Biograhtstoffe oder zum Thema XY, das passte genau, das war wunderbar, das konnten wir dann in der Arbeitsgruppe XY hier benutzen. Also wir stellen die Berichte, die wir dann dem Bundestag überreichen, auch regelmäßig in den entsprechenden Ausschüssen vor. Also es gibt schon eine gewisse Aufmerksamkeit und auf jeden Fall sozusagen die Fachpolitiker oder vielleicht besser gesagt Berichte, die 200 Seiten lang sind, sind wir mal ehrlich, die liest keinen Abgeordneter und keine Abgeordnete, dafür haben die einfach auch nicht die Zeit. Aber die werden sehr, sehr intensiv gelesen von den Mitarbeiterinnen, von den Abgeordneten und die extrahieren dann sozusagen für die, für ihre jeweiligen Chefinnen und Chefs dann das, was für die politische Arbeit wichtig ist. Also das ist für uns eine wichtige Zielgruppe. Aber trotzdem gerne mal nach der Trefferquote fragen. Sagen wir bei zehn guter Themen. Weil an wie vielen Stellen denkt ihr, okay, da erkenne ich unsere Handschrift und Expertise wieder? Das ist nicht, das ist kaum zu machen, das kann ich nicht quantifizieren. Ich hatte befürchtet, dass du da aus welchen anderen Hortest. Okay, dann jetzt zu unserem Thema, an dem wir das so zur Person sozusagen oder zum Job mal abgesteckt haben. Ich möchte euch gerne noch mal sagen, wir haben hier wieder den heißen Stuhl, klingt vielleicht ein bisschen wenig ein Land, deswegen sage ich den Lernstuhl installiert seit langer Zeit. Also wer von euch eine Frage hat oder Anmerkung, kommt gerne nach vorne und nimmt sich das Mikro und stellt diese Frage, gilt natürlich auch für online, auf Twitter, auf Slido, Hashtag Klicksal, das ist ja glaube ich gut gelernt. Das ist im Vorfeld auch schon eine Bewegung. Da werft gerne eure Fragen rein und wir reichen die dann weiter. Jetzt müssen wir glaube ich erstmal definieren, was so schon durch den Abend schwebt und durch die Debatte autonome Waffen. Was ist deine Definition? Ich glaube, da gibt es viele unterschiedliche. Ja, also tatsächlich haben sich in Genf, die bei Abrüstungsgesprächen, die Experten mehrere Jahre damit befasst, eine Definition aufzusetzen, die sozusagen allen Aspekten gerecht wird und letztendlich ist man da gescheitert, glaube ich, muss man so sagen. Dann nehme ich deine private Grünenweitsche Definition. Das ist unheimlich schwierig. Ich möchte mich schon mal im Vorfeld ein bisschen entschuldigen. Ich kann wahrscheinlich auf viele Fragen keine knappen präzisen Antworten geben. Deswegen, zum Beispiel, was sind autonome Waffen? Dann würde ich am liebsten antworten, lieber wäre mir gar nicht von autonomen Waffen zu sprechen, sondern von Autonomie in Waffensystem. Das wäre etwas besser. Und das kann man so in Graden beschreiben? Das kann man in Graden beschreiben. Dann sagen wir, ja, es gibt automatisch, es gibt automatisiert, es gibt semi-autonomen und es gibt vollautonomen. Das kann man alles irgendwie definieren. Schwierig ist es aber, weil es sozusagen nie eine rote Linie gibt. Also es gibt immer, für jede Definition, die ich jetzt hier vorstellen könnte, gibt es jemand, der sagt, guck mal, hier dieses eine System, das hat den und den und den Sachen halt nicht. Passt ja nicht deine Definition. Deswegen ist man tatsächlich auch in Genf bei diesen Abrüstungsgesprächen dazu übergegangen, diese Definition erstmal beiseite zu packen und viel eher zu sprechen von der menschlichen Kontrolle, von der Art der Interaktion zwischen dem Waffensystem und dem Menschen und welche Rolle der Mensch in diesem Vorgang eines Angriffs, eines Gewalt-Mitteleinsatzes ausübt. Das ist sozusagen die entscheidende Frage. Die sich an ganz vielen Sachen eben anknüpft, nämlich an der Frage, ist das überhaupt zulässig, an solches Waffensystem einsetzen aus völkerrechtlichen oder anderen rechtlichen Erwägungen? Ist es ethisch überhaupt vertretbar, sowas zu machen? Ist es politisch gewünscht? Diese ganzen Fragen hängen sehr stark eben an diesem Kernpunkt. Welche Rolle hat der Mensch in einem kriegerischen, wir reden von Krieg, also es geht um das Recht im Krieg und wie passieren dort Dinge? Die sind nicht schön, da sterben Menschen dabei. Auch unbeteiligte Zivilisten können dabei zu Schaden kommen. Welche Rolle nimmt der Mensch ein? Und die entscheidende Frage ist, gibt es immer einen Menschen, der verantwortlich ist, der sozusagen mit eigenem Situationsverständnis und eigener rationaler Überlegung zu einer bestimmten Entscheidung gekommen ist? Diese Intention wurde dann im Waffensystem ausgeführt und hat ein Ergebnis erzielt. Und für dieses Ergebnis kann ich diesen Menschen verantwortlich machen und kann ihnen falls irgendwas ... Meint dieser Mensch, um das noch mal klar zu bringen, das meint ein Programmierer, eine Programmiererin oder meint das die Person, die den Joystick bedient, den Operator? Das wäre in dem Fall, wäre das ein Kommandeur. Derjenige der ... Wir setzen diese Waffen ein. Das ist derjenige, der die Befehlverantwortung hat und den könnte man zur Rechenschaft ziehen, wenn irgendwelche völkerrechtsverletzungen passieren bei diesem Einsatz, dann hätte man jemanden, den man festnahm kann. Jetzt hast du schon diesen Begriff autonome Waffen ein bisschen aufgebohrt und eigentlich den anderen Poel reingebracht, den Mensch. Welche Rolle spielt der Mensch? Welche Verantwortung, welche Steuerungskraft hat der? Das müssen wir erst noch ein bisschen was fürs Vokabelheft machen. Dann fliegen diese Abkürzungen AWS und LAWS durch die Gegend, was wir sagen, die, ich glaube, das lässt sich ja ... AWS autonome Waffensysteme, das L heißt Lisa, also letale autonome Waffensysteme. Wenn ich das richtig historisch mitverfolgt habe, hat das ursprünglich einfach nur bedeutet, wir reden nicht von Cybersystemen, die nur irgendwo im Datenraum stattfinden, sondern von Systemen, die eine physische Aktion machen. Aber im Grunde ist es ja vielleicht die Unterscheidung zwischen der Drohne, die aufklärt und der Drohne, die Raketen oder Sprengen können transportieren. Genau, das hat sich jetzt so ein bisschen gewandelt und sagt, also das ist etwas, was potenziell eben eine tödliche Wirkung ausüben kann. Das war ja eigentlich mal eine Vorstellung, aus der Science-Fiction guckt man dann so was, beispielsweise als Forscher, oder verachtet man das eher? Nein, ich gucke für alle möglichen Filme her. Gibt es einen, der dir zu unserem Zusammenhang einfällt? Tatsächlich hat sozusagen die Realität, hat den Science-Fiction schon relativ nahe eingerohlt. Ein Filmchen ist das eigentlich nur, den ich euch allen ans Herz legen würde, ist von der Kampagne Stop-Killer-Robots. Gibt es ein Filmchen, das ist ein bisschen so aufgemacht wie Steve Jobs auf so einer riesen Bühne, der so ein neues Produkt vorstellt und alles hype und toll und prima und dann macht er so die Hand auf und dann ist er so eine kleine Drohne drin und zeigt dann so die Features von dem Ding und dann schmeißt er sehr in die Luft und dann saust sie durch den Saal und fliegt gegen so eine Schneiderpuppe und haut er den Kopf weg. Okay, rastisch. Allerdings habe ich, ich glaube von der türkischen Drohne mir ein Video angeguckt, es klingt ziemlich nach dem, was du beschreibst. Genau, das ist sozusagen zu der Zeit, in der es produziert war, war das noch ein Stück weit Science Fiction in der Form, dass eben dieses Teil gibt es noch nicht, aber im Prinzip gibt es alle Komponenten, alle kleinen Bausteinchen dafür, sind da und wenn man das zusammensetzt und entsprechend programmiert und das ist absolut vorstellbar, dass das passiert. So, wie du sagst, es war eigentlich mal eine Vorstellung aus dem Bereich Science Fiction. Wir sind da schon relativ dicht dran. Zitat technologische Fortschritte, die in den letzten Jahren in den Bereichen Robotik und künstliche Intelligenz erzielt wurden, haben diese Vorstellungen autonom agierender Waffen nun an die Schwelle zur konkreten Umsetzung gerückt. Was ist los an dieser Schwelle? Also hast du zum Beispiel konkrete Anwendungsfälle parat? Wo findet das schon statt? Also wo ist es nicht mehr Schwelle, sondern Realität? Also es gibt Systeme, die würde man wahrscheinlich als Messendefinition als autonome Waffensysteme beschreiben. Zum Beispiel wird auch von der Bundeswehr eingesetzt, ein Nahbereichsverteidigungssystem, das heißt Mantis. Das wird zum Beispiel bei der Verteidigung von Feldlagern eingesetzt. Das ist im Prinzip ein Kasten mit einer Kanone daneben und in dem Containerkasten sitzen dann auch Operateure und die Kanone ist so, ist dafür gedacht, falls Raketen oder andere Projektile auf einen Zufliegen, also das eigene Feldlage, bedrohen, dann werden die von dieser Kanone abgeschossen. Also ein Luftabwehrsystem? Genau, ein Abwehrsystem, was eben Ziele detektiert, identifiziert und abschießt. Das kann manuell passieren, deswegen sitzen da Operateure, aber dieses Gerät hat auch eine vollautomatische Funktion. Also das ist einer der großen Vorteile, die oft halt autonomen Waffensystem zugeschrieben werden, dass sie eben sehr schnell sind, viel schneller als ein Mensch. Und das ist in dem Fall entscheidend, wenn eine Salve an Raketen auf mich zufliegt, könnte ein Mensch das überhaupt nicht mehr bewältigen. Und dieses System kann das tun. Und das ist ja vermutlich, du sagst ja auch, die Bundeswehr setzt es ein, ein total unproblematischer Instrument. Es geht ja um Defensive und nicht um Offensive. Ja, das ist auch eine schwierige Frage, weil also jetzt kommen wir zu einem anderen Punkt. Ein Autonomie in einem Waffensystem, ob das jetzt sozusagen gut oder schlecht ist, ob ich das so haben will oder nicht haben will, hängt nicht nur von dem Gerät ab, sondern auch von dem Einsatzkontext. Also wenn ich einen Einsatzkontext habe, wie hier, wo es klar ist, alles, was auf mich zufliegt, muss militärisch sein, weil ich befinde mich in einem Kriegsgebiet, da ist ringsrum überhaupt nichts an ziviler Luftfahrt oder sonst was zu erwarten. Es ist völlig klar, und wenn die Parameter eben so sind, dass die Geschwindigkeit und die Flugkoordinaten so sind, dass das Ding auf mich zufliegt, ist es klar, dass es eine militärische Bedrohung für mich darstellt und es ist keine Problematik, dass da irgendwelche zivilen Einrichtungen oder Zivilisten in Mitleidenschaft gezogen werden. Wenn ich jetzt das selbe System nehme und pack das z.B. hinten auf meinen Truck rauf und fahre damit durch eine Stadt, dann ist das eine völlig andere Geschichte und könnte hochproblematisch sein. Deswegen kommt es immer auch auf den Einsatzkontext an. Also wie benutze ich das Gerät? Jetzt soll im März 2020 diese türkische Drohne, die ich eben angesprochen habe, Cargo 2 autonom menschliche Ziele verfolgt und angegriffen haben, sagt ein UN-Bericht, einen Zunahme zu einem Operator oder irgendein Leitstand, Leitwarte oder sowas. Das wäre, wenn es dann stimmt, die Presseberichte, die ich gefunden habe, waren alle ein bisschen im Konjunktiv, sowas genaues weiß man nicht, aber gibt wohl gute Hinweise das. Wenn es stimmt, wäre es das erste Mal gewesen und insofern historisch, also März 2020. Dann im Mai dieses Jahres hat Israel ein Schwarm von Drohnen bei Angriffen auf Gaza eingesetzt. Ein Schwarm, der sich untereinander koordiniert, also so wie ich es verstanden habe, quasi Aufgaben teilig. Das heißt, diese Schwelle ist schon genommen. Die Systeme sind in der Anwendung. Die Rechtsprechung, oder meinetwegen auch Regulierung, vermute ich, ist dann nicht auf der Höhe der Zeit, oder? Die Fakten sind schon on the ground. Ja, okay, sind wir bei Brüstungskontrolle schon. Schleicht sich so langsam ran, ja, ich glaube. Ja, das ist verzweckt. Leider, es gibt wie immer keine einfachen Antworten. Die autonomen Waffensysteme, die werden verhandelt im Genf, im Rahmen der CCW heißt es, das ist die Convention on Certain Conventional Weapons. Da werden Waffen reguliert, die sozusagen unakzeptablen Schaden bei Menschen anrichten. Zum Beispiel sind da reguliert Blendlaserwaffen, die blind machen, oder Geschosse, die im Körper Splitter hinterlassen, die man nicht durch Röntgenstrahlen entdecken kann, die also grausam sind. Und in dieser Convention gibt es Gespräche schon seit vielen, vielen Jahren. Das sind aber noch keine Abrüstungsverhandlungen. So schnell geht das nicht. 2013 wird da getagt, und zwar im Expertenkreis. Am Anfang mehr oder weniger informell, inzwischen gibt es eine governmental group of experts, also eine Gruppe von Experten, die durch die Regierungen entsandt werden. Und vielleicht könnte man sagen, die sondieren. Also wie jetzt bei Koalitionsverhandlungen wird da schon seit mehreren Jahren sondiert, um sozusagen einen Grund zu bereiten für Verhandlungen, die dann hoffentlich irgendwann später mal anfangen können. Aber das, was jetzt schon passiert und davon springt, lässt sich das denn wieder einhegen? Das ist, ja, also bei Rüstungskontrolle ist man, muss man manchmal ein bisschen, es ist manchmal deprimierend, dass Rüstungskontrolle oft einen Krieg zu spät kommt. Also das zum Beispiel chemische Waffen wurden erst eingesetzt, und dann hat man gesehen, wie schlimm und verheerend das ist. Und dann gab es erst die ernst zu nehmenden Bemühungen, das einzuhägen, bei biologischen Waffen ebenso. Ja, also die gute Nachricht ist, es wird gesprochen, aber ob es da absehbarer Zeit Ergebnisse gibt, darf man skeptisch sein, weil es in diesem Rahmen von der CCW wenn etwas beschlossen werden soll, muss es einstimmig passieren. Und das kann man sich vorstellen, wie schwierig das ist. Und da sind nicht nur sozusagen die bösen Staaten, diejenigen, die bremsen, sondern eben auch andere, die halt schon technologisch relativ weit entwickelt sind, sagen wir mal Israel zum Beispiel, die USA natürlich, China spielt so eine etwas seltsame Rolle, auch Russland ist eher obstruktiv unterwegs. Also da jetzt sozusagen drauf zu hoffen, dass eine harte verbindliche Regulierung, wie auch immer die aussehen könnte, vielleicht sprechen wir da auch gleich darüber, auch das ist nicht einfach, dass das einstimmig beschlossen wird, das kann man sich eigentlich nicht ernsthaft vorstellen. Also eher haben wir eine neue Bundesregierung, ihr habt schon gemerkt, es wird ein eher komplizierter Abend, gibt es denn Fragen vielleicht einfach zu dem eben besprochenen. Magst du nach vorne kommen, oder reicht dir das aus der Tiefe des Raums? Dann kommt da das Mikro damit, wenigstens alle was davon haben. Was mich interessiert, was ist mit Dual-Use? Also ich habe so eine Idee zum Beispiel Sprühdrohnen, die gibt es durchaus schon, fällt mit Pestizidenbesprühen, da kann man natürlich Pestizide reinmachen, aber auch wunderbar Nervengas reinmachen, zum Beispiel. Die Drohne, wie eben beschrieben ist, ist ein Multifunktionsgerät. Also Dual-Use ist immer ein Problem bei dem Thema, weil viele der Technologien, die da sozusagen integriert werden in solche Waffentysteme, die stammen eigentlich eher aus dem zivilen Bereich, also Bilderkennungsverfahren etc. Das ist Sachen, die werden nicht von den Militärs entwickelt, sondern das kommt von den Googles, Microsofts und Amazons dieser Welt, die das entwickeln. Und dann wird das sozusagen nur adaptiert für Waffensysteme. Das heißt Dual-Use ist da immer eine Problematik, aber auch andersrum, dass man sagt, okay, selbst wenn wir jetzt alle ganz gutwillig sind und sozusagen autonome Waffensysteme einhegen oder verbieten wollen, wie machen wir das ohne die zivile Nutzung von datengestützenden Verfahren? Ich sage ungern künstliche Intelligenz aus dem ähnlichen Grund, warum ich vorher so ungern Autonomie gesagt habe, aber gut, jetzt habe ich mich einmal hier erklärt. Also künstliche Intelligenz, das nicht einzuschränken, also das ist auch eine Problematik. Jetzt sind solche Waffen, um mal die Vorteile aufzuzählen. Ein hast du eben schon genannt, sehr viel schneller, insofern effizienter. Die Entscheidungsfindungen geht so, die sind frei von Emotionen. Die können natürlich eigene Soldatinnen und Soldaten schützen im Einsatz. Das heißt, es spart ganz klar Kosten einfach, vielleicht auch Ausstattungskosten dann auf Dauer, aber auch Personalkosten, Personalkosten für den Solde, aber auch Personalkosten für die Versicherung, die fällig werden, wenn eben ein Soldat, eine Soldatin stirbt im Einsatz. Es gibt auch keine hässlichen Bilder, diese Leichensecke, die nach Hause kommen, die Politiker keine Verteidigungsministerin sehen lassen. Ist es also so, könnte man jetzt von diesem Pool an Vorteilen her ableiten, dass Militärs, das Verteidigungspolitiker, Politikerinnen das prinzipiell gut, sinnvoll finden und gerne einsetzen möchten? Ja, was ist das, was Sie einsetzen wollen? Ja, okay, ich weiß, wir sind im Breitenfeld, aber dann spielt Sie viel. Zielst du, was möchten Sie einsetzen, wenn wir jetzt mal auf die deutsche Politik kommen? Wenn man sich mit Verteidigungsexperten Militärs unterhält, dann ist immer zum Beispiel das Argument, wir können sozusagen das eigene Personal aus der Gefahrenzone rausnehmen, ein sehr, sehr wichtiges, und das muss man ja auch konzipieren. Ich meine, Soldaten seien es Werbpflichtige oder seien es Berufssoldaten, die halten ihren Kopf hin für einen Staat, für einen Gemeinwesen und also hat dieser Staat auch die Verpflichtung, sie so gut es geht, zu schützen und alle Technologien zur Verfügung zu stellen, um das zu erreichen. Das ist ein Argument, was durchaus valide ist. Auf der anderen Seite ist es halt aber so, es ist nicht mal so, dass das tatsächlich die Militärs, jetzt die großen Treiber sind, wir wollen jetzt alles autonom machen. Da spricht eine Sache dagegen, die kaum zu übersehen ist, nämlich Militärs, agieren schon seit hunderten von Jahren auf einem ganz einfachen Prinzip, Befehl und Gehorsam. Es gibt eine ganz klar definierte Befehlskette von oben nach unten und es wird immer jeweils ganz genau definiert, was der Untergebende genau zu tun hat. Der hat zurückzumelden, ob das auch erreicht wurde und wenn ich mir in so einer Befehlskette ein Element vorstelle, ein Terminator, der durch die Straßen rennt und wild um sich schießt, nach eigenem Gut dünken, den man nur gesagt hat, er oberen diesen Posten oder sowas in der Art, da kriegen auch generelle kalte Füße. Also das will auch keiner. Aber ist das vielleicht einfach so eine Frage der kulturellen Adaption? Irgendwann ist man in diesem Setting angekommen und kann da doch ein paar Vorteile drin sehen? Das kann ich mir nicht vorstellen. Weil letzten Endes müsste dann der Befehlsträger, wenn dann keine Ahnung, ein Schulbus in die Luft gesprengt wird, gerade stehen dafür. Aber das muss er jetzt auch und das passiert jetzt auch. Zivile Tote, Unbeteiligte, die sterben. Aber nicht in einer systematischen Form, dass man irgendwas hat, was man einsetzt, wo man aber nicht so genau vorhersagen kann, weil es ja autonom ist, wie es sich eigentlich verhält. Und was es denn genau tut? Also da gibt es große Hemmschwelle und solange das nicht so weit aufgehoben ist, dass man durch Testverfahren und so weiter genau oder bescheidweise in allen möglichen Einsatzkontexten, in denen man dieses Gerät nutzen will, dass man ein sehr gutes Gefühl dafür hat, wie sich das Ding wirklich verhält. Und das ist verdammt schwer, weil wie testet man eine Waffe in allen möglichen Einsatzkontexten, das ist bei autonomen Fahrzeugen schon schwierig genug. Und da haben wir einen Straßenverkehr, da haben wir Regeln, da können wir Situationen, die schwierig sind für das Gerät, einfach ausschließen durch irgendwelche neu erfundenen Regeln oder sowas im Krieg. Da haben wir einen Gegner, der versucht mit allen Mitteln sozusagen seine eigene Intention durchzubringen. Der wird eben alles versuchen, die Bilderkennung meiner Drohne zu täuschen oder eben alles an Gegenmaßnahmen und so weiter zu tun, was möglich ist. Und das kann man im Vorfeld ganz, ganz schwer nur testen. Okay, es gibt noch eine Frage, bitte schön. Und es gibt auch wieder ein Mikrodanken, Natascha. Ja, also letztendlich scheint mir das Nusslauf auch auf eine Frage der Verantwortung. Sie hat ja schon was über die Befehlskette beim Militär gesagt. Wenn mir der Vorgesetzteoffizier sagt, du gehst davor hin und du fließt jetzt auf die Leute und das kommt jemand dabei um, dann ist letztendlich der Verantwortlich der Vorgesetzteoffizier, richtig? Gut, wenn man das Problem mit den autonomen Waffen doch so lösen könnte, dass man sagt, derjenige, der sozusagen entscheidet, das Ding wird eingesetzt, der muss auch für alle Konsequenzen, die daraus entstehenden Verantwortung tragen. Es ist sehr, finde ich, also keine komplette Lösung, aber das finde ich eine sinnvolle Sache vielleicht. Aber so wie ich dich verstanden habe, ist das genau so diese Kluft über die, die nicht drüber wollen? Genau, das wäre sozusagen mehr oder weniger ein Ausflusskriterium für alle autonomen Waffensysteme, die eben unvorhersehbare Dinge tun können. Aber steckt darin nicht so ein bisschen romantischer Glaube, dass alle Dinge, die Militärs jetzt tun, vorhersehbar sind? Das ist nicht romantisch. Also das wird in der Wirklichkeit eingelöst, würdest du sagen, dass sozusagen das, was in der Kommandokette passiert und was als Ergebnis hinten rausfällt, ist vorhersehbar, ausrechenbar? Es können immer Unwegbarkeiten oder so was passieren, aber systematisch ist sozusagen immer das Ziel, das eben so zu machen. Okay, jetzt waren wir ja eigentlich bei der Frage, wollen Militärs, wollen Menschen, die sich mit Verteidigungspolitik beschäftigen, diese Systeme? Du sagtest, Militärs nicht unbedingt beziehungsweise, es gibt da eine Scheu, eben sozusagen das Kommando abzugeben und dann erst hinterher zu erfahren, was ist denn bei rausgekommen, statt das Antizipieren oder irgendwie vorhersehen, vorhersagen zu können. Du sagtest, das ist bei Militärs so. Da höre ich aber raus, wenn man das lösen könnte, wären die für diese Systeme zu haben und für Verteidigungspolitikerinnen gilt es sicherlich parallel. Ja, genau, also da gibt es dann zum Beispiel Ideen, dass man sagt, okay, Autonomie, ja, aber nur in einem bestimmten Kästchen, Boxed-Autonomie. Also das Kästchen ist dann zeitlich, räumlich und vom Einsatz-Szenario her gesehen. Also wenn ich mein Gerät los schicke und lasse es eine Woche irgendwo rumfliegen und dann soll es irgendwie zuschlagen, weiß ich nicht genau, kann ich überhaupt nicht mehr sagen, was passiert eigentlich genau. Wenn ich sage, okay, ich habe hier ein ganz bestimmtes Einsatzgebiet, meinetwegen auf hoher See, da ist ringsrum zivil nichts zu befürchten und der Einsatz wird eine viertel Stunde lang dauern und eben nur in diesem Einsatzgebiet und soll sich auf militärische Schiffe beziehen, die man identifizieren kann, dann ist das Problem sozusagen aus völkerrechtlicher Sicht nicht so groß. Also im Völkerrecht gibt es ja die mehrere Prinzipien, wann darf ich denn überhaupt eine Waffen einsetzen, was muss da gegeben sein, das eine ist, was ich nicht darf ist, beziehungsweise ich muss unterscheiden können zwischen militärischen Einrichtungen und Zivilisten. Also ich darf nicht unterschiedslos irgendwo drauf ballern. Ich muss militärische Einrichtungen oder Soldaten und Zivilisten und zivile Einrichtungen unterscheiden können, nur die Militärischen darf ich angreifen. Bei diesem Angriff dürfen zwar zivile Einrichtungen mit Leidenschaft gezogen werden, das sind so Kollateralschäden. Das zweite Prinzip, das sagt aber, diese Kollateralschäden müssen in einem vernünftigen Verhältnis zu dem militärischen Vorteil stehen. Also es muss eine Art Verhältnismäßigkeit sein zwischen dem zivilen Schaden und dem militärischen Nutzen, den ich habe. Das muss eine noch eine Balance haben und darf nicht eben außerhalb jeglicher Verhältnismäßigkeit sein. Es gibt noch mehr im Völkerrecht, aber wenn diese beiden Sachen gegeben sind, dann dürfte ich eine Waffe einsetzen. Also in dem Einsatzkontext auf Hohe See, wo es klar ist, zivil ist da nichts, kein Kollateralschaden zu befürchten. Ich ziele wirklich nur auf militärische Schiffe. Wäre das aus völkerrechtlicher Sicht kein Problem wahrscheinlich? Das sind jetzt sehr rationale, sozusagen, Entscheidungsstrategien, die mich dann zu dem Einsatz dieser jeweiligen Waffe vielleicht hinleiten. Jetzt kommt fundamental Kritik schon vor der Veranstaltung. Auf Twitter hat einer unserer Zuschauer gefragt, Intelligenz basiert, weil das im Ankündigungstext enthalten war, Intelligenz basiert und Krieg, wie passt das zusammen? Ja, bei dieser Ankündigung habe ich mich gefragt, welche Intelligenz es denn gemeint, menschliche oder die künstliche Intelligenz ist jetzt wieder, dieses Wort ist einfach nicht schön und eigentlich sollte man eher vielleicht von datengetriebenen Verfahren oder Algorithmen oder sowas sprechen, um eben diese Assoziation, dieses Waffensystem hätte ein Selbsterkenntnis und eigenen Willen oder sowas, was sofort immer kommt bei dieser Art von Vokabular, um das eben ein bisschen einzudämmen. Ja, aber die Frage, wann wird Krieg geführt? Da kann ich nichts zu sagen. Ich bin weder Diplomat noch Militär und damit hat sich auch unser Bericht nicht beschäftigt, sondern unser Bericht hat sich damit beschäftigt, wir gehen mal davon aus, es gibt diese kriegerische Auseinandersetzung, ist ein Einsatz von Autonomie in bestimmten Situationen rechtlich erlaubt, gewünscht oder nicht gewünscht, ethisch vertretbar oder nicht vertretbar. Jetzt klingt das, also dieses Beispiel auf hoher See, es geht um Zeitraum von 15 Minuten, es geht um geografisch zu definierenden Korridor und ganz bestimmte Konstellation. Man sagt ja immer Krieg ist eine schmutzige Sache, das klingt so nach einer chirurgisch sauberen Geschichte, alles klar definiert, die Instrumente liegen so auf dem OP-Tisch und die Hoffnung ist, weniger Soldatinnen, weniger Soldaten sterben und das ist alles irgendwie chirurgisch übersichtlich. Ist das auch so oder gibt es nicht doch auch in solchen sehr zusammenfassbaren Situationen, dann vielleicht einen Moment der Unwerkbarkeit, irgendwas Raster in die Optik oder in dieses geografische Feld, was vorher keiner auf dem Schirm hatte, was da aber ist und die Berechnung durcheinander wirft? Sicher, ich meine, ein Krieg ist eine Situation, die eben sehr dynamisch ist und allerlei Unwerkbarkeiten haben kann und ausschließen kann man das nicht. Vielleicht ein Aspekt, den ich auch noch reinbringen wollte, ist die Frage, naja, wir haben jetzt quasi immer nur davon geredet, dass sozusagen eine Partei solche Systeme einsetzt. Aber was ist denn, wenn das beide tun? Ja, das ist eine verdammt gute Frage, weil dann hat man sozusagen zwei Systeme, die mit Autonomie ausgestattet, irgendwie miteinander wechselwirken und das ist ein Szenario, das kann man überhaupt nicht vorher testen, weil man wird ja nicht die Waffen der Gegner irgendwie mal eben kriegen, um damit gucken zu können, wie die auf bestimmte Sachen reagieren und das ist was, was vielen Experten wirklich Sorgen macht. Also wenn man sich sowas vorstellt, Autonomie von Seite X trifft auf Autonomie von Seite Y. Da kann alles Mögliche passieren, unter anderem zu solchen Szenarien wie ein Flashwar, so ein Schlagwort angelehnt an den Flashcrash, den es vor ein paar Jahren mal an der Börse gab, wo automatisierte Börsen-Handelsysteme sich gegenseitig so hoch geschaukelt haben, dass dann sozusagen innerhalb von Millisekunden die Börse zusammengebrochen ist. Dort kann man dann prima, da gibt es einen roten Knopf, wo dann die Börse sagt, nee, also das ist jetzt hier nicht mehr tragbar, wir setzen den Handel jetzt mal für fünf Minuten aus und dann rücken wir uns alle nochmal zurecht und dann fangen wir wieder von vorne an. Das wäre im Krieg halt nicht möglich. Also diese Eingriffsmöglichkeit ist dann beschnitten. In diesem Szenario gehen diese Themen aufeinander los und machen, was sie wollen. Würde irgendetwas passieren, wo vorher niemand weiß, was es ist. Ich sehe, dass es, glaube ich, eine Frage gibt, bitte schön. Genau. Online Übersleidung hat uns noch eine Frage erreicht. Und zwar, zu welchen Antworten ist denn der TAB-Betricht gekommen? Also wann ist der Einsatz ethisch vertretbar und wann nicht? Wo gibt es zum Beispiel Grenzsituationen, an denen das in eine Grauzone fällt? Ja, gut, jetzt könnte ich sagen, ja, les mal, kannst du hier runterladen den Bericht und da steht alles drin. Stimmt. Aber das abstract jetzt. Ja, also, sagen wir mal, diese ethischen Fragestellung, das ist immer so, war auch in der Vorbereitung irgendwie, ja, wie kann man diese ethischen Dilemmas auflösen? Das kann man nicht. Man kann nur Position beziehen. Also fängt schon damit an, welche ethische Position, welche ethische Grundhaltung setze ich denn ein? Folge ich eine deontologischen Ethik oder eine konsequenzialistischen Ethik, ja? Also gibt es für mich Handlungen, die sind per se gut oder schlecht, ja? Also ich darf für niemanden töten. Punkt, das ist einfach schlecht, ja? Das wäre das. Oder ist meine Handlung gut oder schlecht, je nachdem, welche Folgen sie hat, ja? Also darf ich jemanden töten, um damit andere Menschenleben zu retten, ja? Das wäre so eine konsequenzialistische Position, ja? Wenn die Folgen meiner Tat gut sind, dann darf ich auch was Böses tun. Und allein, wenn ich mich jetzt auf die ein oder auf die andere Position stelle, dann könnte ich sagen, okay, komme ich zu genau diametral entgegensetzten ethischen Bewertungen derselben, desselben Sachverhaltes. Also das ist letztendlich nicht auflösbar, hängt von meinen eigenen Wertpositionen ab. Und das Einzige, was man sozusagen als Technikfolgenabschätzung da tun kann, ist, das transparent zu machen, offen zu legen. Wo sind denn diese Knackpunkte? Wo muss ich dann letztlich Position beziehen, ja? Wie hoch werte ich die Menschenwürde, ja? Also allein den Fakt, dass ein Algorithmus einen Menschen umbringt, tötet, ja? Wie schlimm finde ich das? Oder ist es vielleicht gar nicht so schlimm? Das ist etwas, das kann man jetzt nicht logisch auflösen oder sowas, sondern das ist eine Sache, die, da muss ich eine Position, eine ethische Position haben und die muss ich dann vertreten. Jetzt hast du ja mehrere Positionen aufgemacht. Welche würdest du denn beziehen in diesem Fall? Maschine tötet Mensch. Ich habe mich, das lese ich ganz oft so in den Beispielen, worum es da geht und fragt mich, ist das für den Menschen, der getötet wird, ob Zivilisten oder Soldat, nicht total wurscht? Ja gut, am Ende ist einer tot, ja? Insofern, das ist wurscht. Aber also ich bin schon eher auf der Seite, wo ich sage, also wenn das passiert, auch im Krieg, dann muss es einen Menschen geben, der sozusagen den Tod des anderen auf sein eigenes Gewissen lädt. Also der wirklich, der das entscheidet, der dieses Vorgehen dann auslöst und der diesen Tod auf sein eigenes Gewissen lädt. Das wäre eine Position, der ich eher zuneigen würde. Aber jetzt können wir sagen, naja gut, ist das denn bei konventionellen Waffen überhaupt der Fall? Ja, also das ist ja auch schon ein sehr, sehr... Also ich habe bei der Vorbereitung gedacht, an die Selbstschussanlagen, an der deutsch-deutschen Grenze. Also ein sehr, sehr simples Plumpesmodell sozusagen. Auch wenn ich einen Marschflugkörper abschieße irgendwo in Colorado und der fliegt dann einmal um den halben Erdball und schlägt irgendwo ein und dann sehe ich irgendwie auf dem Bildschirm eine Rauchwolke und ein Blitz. Wie sehr, sozusagen, wie eng ist dann noch der Mensch auf der einen Seite und das, was er ausgelöst hat, verknüpft und kann er das überhaupt noch fassen? Das ist, also diese Abstands- und zeitliche und räumliche Abstandsgeschichten, die wirken dem auch entgegen. Also das ist auch, naja, schwierig. Ich würde gerne noch ein paar Akteure oder Institutionen durchnehmen in Bezug auf unser Thema. Aber erst mal hohe ich, ob es online oder hier aus dem Raum noch Fragen oder Anmerkungen gibt. Dann will ich die nicht abwirken, bitte schön. Warte, das Mikro kommt, dann haben wir alle was davon. Ich habe nur eine Frage so quasi zur historischen Einordnung von überhaupt von Waffensystemen, weil ich meine, es gab Atombomben. Früher, das haben Sie schon gesagt, früher war man viel stärker im Krieg damit konfrontiert, was Tod bedeutet, weil man natürlich gegeneinander am Ende gekämpft hat und diese Felder gesehen hat. Aber da gab es ja ganz viele technische Entwicklungen und mich interessiert generell bei diesen technischen Entwicklungen, was das für Auswirkungen eigentlich auf Krieg hatte, wenn man das über 100 Jahre sieht. Also ist durch die Technik und durch das Abstraktare, gab es da eigentlich mehr Kriege, gab es mehr Tote, weil es leichter ist zu töten und weil man es auch nicht so betrifft, mit so einer Atombombe. Gut, das ist ein Extremfall, aber auch mit anderen Waffen. Oder ist es quasi historisch gesehen, auf 100 Jahre betrachtet sogar so, vielleicht, dass es weniger Tote gab, weil eben andere Faktoren eine Rolle spielen, weil Krieg dann nicht mehr so wichtig ist. Also wenn man das so global betrachtet quasi, man müsste die großen Kriege jetzt daraus rechnen, aber so, es gibt ja so eine historische Betrachtung dafür und wo quasi die Tendenz hingeht. Weil das hat natürlich ganz massive Auswirkungen, wenn sich Technik verändert, ganz klar. Also ich versuche es mal ein bisschen umzuformulieren. Eine Frage wäre ja, wird durch solche Technik Krieg wahrscheinlicher oder nicht wahrscheinlicher? Und das ist extrem schwer zu sagen, aber ich meine, was hattest du ja eben angesprochen? Also Politiker sehen sehr ungern die Zink-Serge von eigenen Soldaten irgendwie nach Hause transportiert. Und wenn es die Möglichkeit gibt, den Krieg zu führen mit einer guten Aussicht, dass kaum oder überhaupt keine eigenen Soldaten betroffen sein werden, dann könnte man sich schon vorstellen, dass die Entscheidung dann leichter fällt, dass man das dann sozusagen als akzeptiertes Mittel der politischen Durchsetzung irgendwie dann einfach macht. Weil es gibt wenig aufgebrachte Öffentlichkeit dann, weil es sind ja nur Geräte, die da irgendwie los schießen und Einsätze tun. Und das kann man zum Teil beobachten mit den Drohnen. In der Obama-Zeit, wie viele Einsätze es in der Form gegeben hat und wie viele Tötungsakte es gab. Das nennt sich nicht Krieg in der Form. Oder es ist eher eine nicht so konventionelle Form, die ja sowieso immer, diese Art von Konflikten wird sowieso immer häufiger verglichen mit diesem ganz Standard. Start A kämpft gegen Start B, sondern das sind oft dann substaatliche Akteure, die einen nennten sich Terroristen oder vielleicht Freiheitskämpfer, je nach Gusto und Zivilisten schnappen sich ein Gewehr und schießen, legen es wieder beiseite, sind dann auf einmal wieder Zivilisten, haben nicht mal eine Uniform an, sondern das ist diese Art von Konflikten, die ist sehr, sehr viel häufiger geworden auf jeden Fall. Und jetzt die große Frage, naja, ist doch prima mit den autonomen Waffen am Schluss, kämpfen dann halt nur noch meine Roboter gegen deine Roboter, alles prima, kein Mensch kommt zu Schaden, ist doch super. Das ist was, was ich mir nicht so gut vorstellen kann, ehrlich gesagt, weil, naja, das wäre ja so ein bisschen das Equivalent von dem, ich lass meinen Schachcomputer gegen deinen Schachcomputer spielen und wenn meiner gewinnt, dann darf ich dein Land einnehmen oder sowas, ja. Das ist eigentlich total widersinnig, gerade wenn man sozusagen an die Supermächte denkt, an die Nukleärbewaffnetenmächte, selbst wenn es so ein Roboter gegen Roboterkrieg geben würde, kann ich mir das nicht anders vorstellen, als dass die Seite, die merkt, oh, jetzt geht unser System hier so ein bisschen, geht dem die Puste aus und das geht hier den Bach runter, dann ist am Ende, hängt immer die große Kernwaffenkeule. Und das kann man sich eigentlich gar nicht anders vorstellen. Also in so symmetrischen Situationen mit zwei hochgerüsteten Supermächten kann ich mir so eine, ja, Gerät gegen Gerät und Menschen spielen keine Rolle, Kriegsführung überhaupt nicht vorstellen zur Durchsetzung irgendwelcher politischen Interessen. Bei asymmetrischen Konflikten hat dann sozusagen die technologisch höher entwickelte Seite ein Vorteil, das ist klar. Das sieht man ja auch schon an den Dronen schlägen, dass mehr oder weniger ungestört in den Ländern operiert werden kann, weil es überhaupt kein Mittel dagegen gibt für eine einfache Abwehr von diesen Aktionen. Jetzt würde ich tatsächlich wie angekündigt gerne noch ein paar Institutionen oder Körperschaften oder wie wir es nennen wollen durchnehmen. Was sagt denn das Völkerrecht? Ja, das Völkerrecht sagt, du darfst jede Waffe einsetzen, solange Unterscheidungsgebot, Verhältnismäßigkeit und Vorsichtsgebot, solange du das einhältst, solange du deine Waffen, gemäß Artikel 36, Abrüstungskonferenz schön während du sie entwickelst, immer auch prüft, ob sie denn diesen Kriterien, die das Völkerrecht anlegt, auch genügen können, ist alles kein Problem. Also das Szenario auf hoher See mit dem kurzen Zeitraum und dem lokal Begrenzen würde da reinpassen, das ist nicht Völkerrechtswidrig. Das wäre jetzt so, ich bin kein Völkerrechtler, das kann ich dazu sagen, aber so aus meinem Verständnis heraus wäre das Völkerrechtlich kein Problem. Was sagt den NATO? Ja, wird schon ein bisschen schwierig. Ja, also auch, sagen wir mal, die Position der Vereinigten Staaten ist schon so, dass man sagt, okay, die sind technologisch weit fortgeschritten und denken sich, vielleicht kann man da auch vielleicht den ein oder anderen Vorteil irgendwie rausziehen und das war unter Trump so und wird sich unter beiden wahrscheinlich auch nicht deutlich ändern. In die USA haben keinerlei Interesse sich durch irgendwelche multilateralen Verpflichtungen irgendwie in ihrer eigenen technologischen Entwicklung auszubremsen. Also das kann ich mir nicht vorstellen, das passiert nicht. Also und dann wäre auf der anderen Seite immer so ein Akteur wie die Bundesrepublik, die, wir wollen ja irgendwie auch immer bei den Guten sein so, aber andererseits will man sich mit dem großen Partner in der NATO auch nicht verschärzen. Also ist man jetzt nicht vielleicht so proaktiv in wie andere Länder zum Beispiel, also es gibt, ich glaube, im Moment sind es grob geschätzt 40 Länder, die sich dafür einsetzen, dass autonome Waffensysteme verboten werden, völkerrechtlich verboten werden. Da ist die Bundesrepublik nicht mit ein Boot. Der Hauptgrund ist wahrscheinlich der, dass man eben sagt, okay, mit den USA wollen wir ja noch weiterhin in der NATO vertrauensvoll zusammenarbeiten. Es gibt auch internationale Rüstungsprojekte, zum Beispiel F-CAS Future Combat Air Systems, was also von einigen großen europäischen Ländern gemeinsam vorangetrieben wird, wo auch eine relativ noch nicht ganz ausdefinierte, aber eine starke Autonomiekomponente an Bord sein wird. Und wenn sich sozusagen ein Starter sagt, nee, wir wollen Autonomie nicht, dann wäre man da draußen, sozusagen, und dann würden die anderen Länder das ohne die Bundesrepublik zum Beispiel dann weiterentwickeln. Also wir haben es mit einem vielschichtigen Problem zu tun, wo man immer genau gucken muss, was ist denn das Szenario, die Frage aus dem Publikum noch, wie lässt sich das Instrument denn noch einsetzen, außer wie wir es jetzt hier im Szenario gerade aufbereitet haben. Ich möchte nochmal das fragen, was ich vorhin schon mal ansprach. Die Entwicklung springt in alle Richtungen davon, ist unheimlich komplex. Und Situationen können sich durch eine kleine Veränderung sozusagen komplett umdrehen. Wie lässt sich ein rechtlicher Rahmen darundrum bauen oder lässt der sich gar nicht bauen, sondern man kann schon froh sein, wenn der Gesprächsfaden nicht abreißt sozusagen und man weiter drüber nachdenkt und sich ab und zu trifft und versucht den, die andere zu sensibilisieren? Ja also Regelungen sind schon denkbar. Also unter anderem das Internationale Komitee vom Roten Kreuz hat da einige ganz konkrete Vorschläge gemacht, was man regulieren könnte, wie man das formulieren könnte. Also da dreht sich es immer halt um das Mindestmaß menschlicher Kontrolle, das auf jeden Fall vorhandensein muss immer. Aber ist das denn ein kleinster gemeinsamer Nenner für die Akteure, die du eben genannt hast, für die USA beispielsweise? Nein, ich fürchte, da werden sie auf absehbarer Zeit nicht mitgehen. Wer jetzt in der Wikipedia liest zu tödlichen autonomen Waffensystemen, liest das hier? Verhandlungen über das echten entsprechender Roboter und Drohnen in Genf mussten 2018 ergebnislos abgebrochen werden. Staaten wie die USA lehnen eine internationale Gesetzgebung ab. Die Haltung Deutschlands ist ambivalent. Anfang 2020 sprach sich der Deutsche Bundestag gegen eine Echtung aus. Wieso das? Denn war das Ergebnis eurer Beratung? Na gegen die Echtung nicht. Die Echtung, das steht sogar im Koalitionsvertrag der letzten beiden Regierungen. Die Wikipedia verkauft auch manchmal Murks. Die Position der Bundesregierung war immer, dass man gesagt hat, autonome Waffensysteme, jetzt kommt das sozusagen die Klammer, also Waffensysteme, die der menschlichen Kontrolle entzogen sind, die sollen geächtet werden. Aber was heißt echten? Ist echten nur sozusagen ein Lippenbekenntnis oder eine politische Deklaration oder ist es ein völkerrechtlich verbindlicher Vertrag, den man aufsetzt? Da ist eine große Spanne dazwischen. Also diese Echtung ist wahr und wird vermutlich auch von der nächsten Bundesregierung auch nicht anders gesehen. Die Frage ist immer genau, was wird denn, also Waffensysteme, die der menschlichen Kontrolle entzogen sind. Genau in diesem kleinen Halbsatz, da steckt eigentlich alles drin. Also ich bin auch dafür, dass autonome Waffensysteme verboten werden. Aber wenn ich nicht ganz genau sage, was ich denn meine damit, ist meine Aussage mehr oder weniger inhaltsleer. Aber nun muss ja eine rechtliche Regelung sozusagen alle Systeme, auch die, die noch kommen, auch die, die noch entwickelt werden, umfassen. Das ist halt eben ein bisschen das Problem bei der Art von Rüstungskontrolle. Es sind nicht bestimmte Typen von Waffensystem, sondern es sind Funktionen in allen möglichen Waffensystemen. Und jetzt wird es noch schwieriger, die sind zum großen Teil Software gestützt. Also ich könnte sozusagen, wenn ich, wenn ich einen Hanger inspezieren würde, so wie das so konventionell bei, bei Abrüstungsverträgen gemacht wird, bei Verifikationen. Ja, ich gucke, beide haben unterschrieben, dass sie jeweils nur 100 Systeme von einer bestimmten Sorte haben wollen. Dann kann ich da hingehen, kann mir das alles angucken, kann sagen, okay, 100 Panzer da, 100 Panzer da, alles prima. Aber wenn ich jetzt gucken will, wie sieht es denn jetzt mit der Autonomie aus? Ja, selbst wenn ich die testen könnte, geht der Inspekteur nach Hause und dann kommt der Ingenieur mit ein USB-Stick und macht das Software-Update und dann ist die autonome Funktion wieder drin. Also das ist ein bisschen schwierig. Du sagst, das ist jetzt sehr diplomatisch klingt für mich so, wie man kann überhaupt keine Regelung treffen, die alle Anwendungsfälle und Möglichkeiten umfasst. Ich habe jetzt sozusagen über Verifikation. Verifikation ist sozusagen in der Art und Weise, wie man sie bei konventionellen Rüstungskontrollen kennt, schwierig. Da muss man sich neue Sachen überlegen. Also beispielsweise können wir sich vorstellen, dass die Daten, die im Zuge eines Einsatzes erzeugt werden, irgendwo in irgendeiner Blockchain gespeichert werden und falls irgendwas passiert, was völkerrechtswidrig war, dann gibt es irgendwie eine dritte Stelle, die halt sich diesen Datenschatz anguckt und dann guckt, war denn wirklich menschliche Interaktion in den entscheidenden Phasen an Bord oder war das nicht an Bord? Also da ist der Operateur da, hat er das alles gesehen und hat er dann letztlich auf den Knopf gedrückt. Das könnte man sozusagen Expos dann nachvollziehen und könnte dann quasi den Staat zur Rechenschaft ziehen, weil er einen Waffensystem auf eine Art eingesetzt hat, die möglicherweise verboten war. Also sozusagen, dass diese Art von Überlegung... Nachvollziehbar war auch wahnsinnig kompliziert. Ist so. Und Natascha hat noch eine Frage, glaube ich. Genau, es sind noch zwei spannende Fragen, weil es leider auch reingekommen. Und zwar einmal von Marraike. Und zwar Frage zu den internationalen Rüstungsprojekten. Werden durch autonome Waffensysteme neue Rüstungswettläufe ausgelöst um das strategische Gleichgewicht zwischen Nationen zu erhalten, ähnlich wie bei Atomwaffen. Und von Steven. Wird auch im Kontext zu Laws 5G Teil der kritischen Infrastruktur für reibungsloses Funktionieren der Technik. Zwecks der Verteidigung wäre ein Angreifen dieser Infrastruktur möglich oder wäre ein direktes Hacking der Technik denkbar. Okay, Frage 1 war, erleben wir ein Wettrüsten-Analog zur Nuklearen-Beröffnung? Ja, technologisches Wettrüsten ist nicht so weit hergeholt. Das kann man schon beobachten, dass also Staaten versuchen, autonome Funktionen auszubuchstabieren, zu gucken, was geht, was geht nicht. Dass es da ein Risiko gibt, dass sich da Rüstungsspiralen beschleunigen, das ist so. Das kann man auf jeden Fall sagen. Das auch für so regionale Konfliktsituationen. Auf keine Ahnung, stellt man sich mal Indien und Pakistan vor, oder sowas in der Art. Da gibt es einige Punkte, wo man schon denkt, oh, da gibt es Risiken auf jeden Fall. Da steht auch in dem Tapp-Bericht ein ganzer Haufen dazu drin. Das ist also ein klares Ja zur Frage 1. Frage 2 war mir schon fast eine Träume zu kompliziert. Ich weiß nicht, ob ich sie geschneit habe, aber es ist ja auch nicht so wichtig, vielleicht hast du sie ja geschneit. Also 5G. Ich weiß jetzt nicht, ob es darum ging, kann 5G sozusagen, das funktionieren dieser Technologie ermöglichen oder kann es im Rahmen dieser Technologie gehackt werden? Das habe ich nicht ganz gebrillt. Es waren zwei Fragen. Ich glaube, der Fragesteller trägt sie jetzt mündlich vor, statt uns zu schreiben. Ich hoffe, man hört mich. Der erste Teil der Frage war bezüglich zu 5G, ob das Teil der kritischen Infrastruktur wird, was sozusagen zu Grunde liegend ist, zu diesen Technologien, und dann Zwecks der Verteidigung, ob man diese Infrastruktur der 5G angreifen könnte oder ob es auch Hacking-Bestrebungen geben könnte, um die Techniken selbst anzugreifen. Diese zwei Grundfragen, ob die Grundannahme stimmt. Also 5G ist ja letzten Endes nichts anderes als ein Frequenzband und Sendemasten usw. Ich würde mal sagen, keine Ahnung, vielleicht wird das mit benutzt, aber normalerweise ist es eher so, dass die Militärs dann eigene Infrastruktur bauen, weil die halt auch eigene Kriterien haben an keine Ahnung, Abhörsicherheit und Verschlüsselung und die Vereinigten Staaten machen das schon seit einigen Jahren, dass sie, das ist vielleicht auch noch mal ein Punkt, den ich vorher auch noch mal machen wollte, autonome Waffensysteme. Das heißt nicht, die Autonomie steckt jetzt in irgendeinem Ding drin, was durch die Gegend fährt, sondern die kann überall sein. Ich habe ein Teil, das fährt. Und dann habe ich ein Riesen-Datennetz und Computernetz mit so eine Rieseninfrastruktur, die dahinter steckt, wo die Idee dahinter ist, dass man das sozusagen ein globales Lagebild und von allen meinen Komponenten, die ich sozusagen auf Land, in der Luft und auf und unter Wasser habe, ganz genau weiß, was da Sache ist und diese Infrastruktur von Satelliten bis sonst wohin ist miteinander vernetzt und durch KI können sozusagen Analysen da gefahren werden und so weiter. Also da steckt auch eine ganze Menge an Musik drin und diese Art von Infrastruktur, die ist auf gar keinen Fall zivil mitgenutzt. Also das möchten die Militärs dann doch eher nicht haben. Ich habe damit das Teil 2 der Frage auch abgeräumt. Also 5G zu hacken bringt dann insofern nichts um die Anwendungsverlichung. Aber natürlich ist sozusagen als Gegenmaßnahme gegen Systeme, die auf sehr stark auf Datenverarbeitung basieren. Diese Autonomie sind natürlich alle digitalen Angriffsmöglichkeiten, also Hackings, Poofing, whatever, natürlich stehen die auf der Agenda. Also auch wenn es dem Gegner gelingt, das Maschinenlernen mit den Datensätzen irgendwie zu beeinflussen, indem in den Datensätzen irgendwas versteckt wird zum Beispiel und dann lernt das System irgendein komisches Verhalten. All diese Sachen, die kann man sich sehr gut auch eben vorstellen in der militärischen Kontext. Und das ist ein riesenweites Feld, was wir überhaupt noch nicht berührt haben bis jetzt. Das ist dann sozusagen die Fortsetzung irgendwann. Mit Blick auf die Uhr müsste ich eigentlich Schluss machen. Aber zwei Fragen will ich unbedingt noch loswerden, vielleicht mit der Bitte um eine kurze Antwort. Jetzt hat, ich habe es schon gesagt, die Rüstungsindustrie, überhaupt kein Interesse an Öffentlichkeit und das ist relativ opaque. Und die Öffentlichkeit merke ich an mir selbst, denkt gar nicht so gerne an Krieg und Töten. Das sind eigentlich gute Voraussetzungen dafür, dass die Zivilgesellschaft in diesem Prozess, in diesem Diskurs und in diesen Abwägungen nicht vorkommt, oder? Ja, das ist aber de facto nicht ganz so. Ja, die eine Initiative hast du angesprochen, aber dass es jetzt eine breite Bewegung gibt, die sich mit diesem Thema beschäftigt, ist mir zumindest noch nicht begegnet. Es gibt es, sagen wir, in den Informatiker-Zirkeln, da gibt es das schon. Und unter anderem gab es, es ging von der Weile mal durch die Presse. Google war beteiligt an einem Projekt des Verteidigungsministeriums in den USA. Projekt MAVEN heißt das. Da ging es darum, sozusagen Bildauswerteverfahren zur Zielidentifikation weiterzuentwickeln. Und das ist auch ein typischer Fall von dual use. Ja, Bildauswertung klingt erst mal nicht schlimm, aber wenn es dann dazu genutzt wird, um Waffenpräzise irgendwo hinzusteuern, und dann haben die Google-Mitarbeiter mitgekriegt, was die Zielsetzung davon war. Und dann gab es einen ziemlich großen Protest, mehrere Tausend Mitarbeiter sich geäußert, was dann letztendlich dazu geführt hat, dass sich Google aus dem Projekt zurückgezogen hat. Also, wie gesagt, Rüstungskontrolle auf der Staatenebene ist das eine, aber wenn die Zivilgesellschaft also eine sehr präsente Rolle spielt, kann da durchaus auch einiges in Gang gesetzt werden. Es gab auch diesen Appell von einer ganzen Menge an Promis, also von Stephen Hawking bis Allen Musk, um sozusagen darauf aufmerksam zu machen. Und ich glaube schon, dass das einen sehr großen Beitrag geleistet hat, dass das Thema auf der Agenda steht, und dass man da also auch öffentlich drüber spricht. Ich meine, auch heute. Es ist ja schon ein Thema, was viele bewegt. Es gibt jetzt noch keine großen Massendemonstrationen irgendwo vor dem Reichstag gegen autonome Waffensysteme, aber das ist schon verankert in Bewusstsein und im Diskurs, das denke ich schon. Okay, wenn das jetzt die kurze Antwort war, dann bitte ich als Letztes um die super kurze Antwort. Wenn du in die Glaskugel schaust, die Frage muss natürlich kommen. Wie sehen denn bewaffnete Konflikte aus in 20 Jahren? Hast du ein Szenario, das du für belastbar hältst? Kurze Antwort, ich habe keine Glaskugel. Ja, schade, aber trotzdem, wenn du dir eine vorstellst. Ja, in 20 Jahren, das ist so eine lange Zeit, keine Ahnung, ehrlich gesagt. Also die Technik entwickelt sich verdammt schnell und im Moment gibt es dieses Fenster der Möglichkeiten, dass man sich darüber klar wird, was man denn eigentlich will, was man verantworten kann und was man vorantreiben will. Das hast du ja schon ein paar Mal erwähnt, wie schnell sich dieses Fenster schließt, wie die technische Entwicklung ja eben rasant voranschreitet. Ich hoffe, dass die Menschheit die Kurve kriegt und eben nicht dieses Rüstungskontrolle kommt ein, kriegt zu spät Dinge mal wieder zuschlägt und mehr als Hoffnung bleibt halt nicht. Okay, dann nehmen wir die Stadt eines Zukunfts-Szenarios ab. Vielen Dank heute Abend für deine Expertise und deine Antworten, die langen wie die kurzen. Reinhard Grünwald war das vom Büro für Technikfolgenabschätzung beim Deutschen Bundestag. Euch vielen Dank fürs kommen, fürs zuhören und mitdenken und für eure Fragen, die hier stattgefunden haben. Wenn ihr das noch mal nachhören wollt, weil ihr denkt, wie war das im Mittelteil oder aber findet, das ist interessant genug, um es jemand anderem weiterzuschicken, könnt ihr machen, das Audio und das Video zur Veranstaltung taucht dann in Bilder auf, auf den Seiten des HIIG. Und wenn ihr weiterlesen wollt, es gibt den angesprochenen umfänglichen Bericht auf den Seiten des Büros für Technikfolgenabschätzung beim Deutschen Bundestag, da die volle Ladung super einfach zu finden, könnt ihr heute noch auf dem Heimweg runterladen. Und im nächsten Monat sprechen wir dann wieder in der großen Runde, und zwar über einen meiner Lieblingspatienten des Deutsche Gesundheitswesen, bei dem die technologischen Entwicklungen irgendwie nicht so davon springen, wie wir das heute Abend besprochen haben. Das große war da das Fax. Was das bedeutet, wissen wir seit der Pandemie. Dann sprechen wir auch wieder am Mittwoch, denn so ein paar grundsätzliche Gewissheiten braucht man doch am letzten Mittwoch des Monats der Digitale Salon. Das halten wir am nächsten Monat wieder so. Vielen Dank, dass ihr auch am Donnerstag dabei wart. Tschüss.