 Ich freue mich sehr, dass ich Thea Riebe ankündigen darf, die mir gerade gesagt hat, dass sie die undankbare Aufgabe hat zwischen euch und dem Mittagessen zu stehen. Ich glaube ja, es ist eine wunderbare Chance, nämlich die aufgeworfenen Fragen und Gespräche einfach mit in die Pause zu nehmen und das einfach zu nutzen und jetzt schon mal als Anregung alles zu sehen. Thea Riebe, Informatikerin Doktorandin an der TU Darmstadt, im Fachbereich Informatik und wie ich auch gerade erfahren habe, hat sie ihre Dissertation auch gerade abgegeben. Das ist herzlichen Glück. Die Verteidigung noch nicht hinter sich, sonst hätte ich sie sogar schon mit Doktor ansprechen können und du hättest das nicht abstreiten müssen, aber so ja, noch ein paar Wochen. Ich freue mich sehr, als Informatikerin, was sicher schwierig in diesen transdisziplinären, interdisziplinären Feld zu forschen und zu schreiben. Sie wird heute über Killerroboter, künstliche Intelligenz und Kryptografie sprechen und am Ende auch einen Bogenspannen auch zum Tagungsthemen. Deswegen freue ich mich total. Thea, danke. Ja, vielen Dank. Hallo von mir. Ich habe mir einen sehr reiserischen Titel überlegt, in der Hoffnung ganz viele Leute hier anzuziehen für diesen Vortrag und kurz zu unserem Fachgebiet. Also ich bin ja wissenschaftliche Mitarbeiterin am Fachgebiet Wissenschaft und Technik für Frieden und Sicherheit. Thomas Reinhold, der auch schon die Eröffnungskinot gehalten hat, ist mein Kollege und wir arbeiten eben interdisziplinär zu den Themen Friedens- und Konfliktforschung, Cyber-Sicherheit und Privatheit und Mensch-Computer-Enteraktion und wir sind mittlerweile relativ viele Kolleginnen am Lehrstuhl und haben auch schon verschiedene Bücher herausgegeben, die vielleicht für den ein oder anderen interessant sind, vor allen Dingen das Buch Information Technology for Peace and Security, wo eben es um die Rolle der Informationstechnik in Sicherheit und Frieden geht, was ein Lehrbuch ist für unsere interdisziplinäre Vorlesung. Wir haben noch eine zweite interdisziplinäre Vorlesung zum Thema Safety-Critical Human-Computer-Interaction, wo es eben auch umso fragt wie Usable Safety und Security geht und auch sowas wie benutzbaren Datenschutz. Also damit werde ich jetzt den kleinen Werbeblock an dieser Stelle mal beenden und ich möchte gerne den Vortrag auch mit einem Zitat beginnen von Eliza Harris, die diesen Bericht herausgegeben hat, der sich mit der Regulierung von Dual Use Technologien beschäftigt und 2016 hat sie da gesagt, today questions are being raised about how to manage the potential threat posed by information technology, whose growth and spread some believe may position cyber weapons alongside nuclear and biological weapons in the elite club of technologies capable of unleashing massive harm. Und da sind verschiedene Aspekte drin, die wir eben mit Dual Use Technologien verbinden, einmal natürlich und die eben besonders sind in der Betrachtung von Informationstechnologien, nämlich die Verbreitung und ja growth im Sinne von Innovations, dem Innovationsschub, den wir haben und die Verbreitung, die sich schlecht kontrollieren lässt und aber auch die Angst von diesem massive harm, der eben verursacht werden kann durch eine missbräuchliche Verwendung und seitdem sind mehr weitere solche Berichte herausgekommen, die sich ganz unterschiedliche Technologien angeguckt haben unter anderem eben der gemeinsame, also der Report des gemeinsamen Ausschuss zum Umgang mit sicherheitskritischer Forschung der Leopoldina und der DFG, aber auch auf der EU-Ebene der Report, der sich eben mit Dual Use Civil and Military Research beschäftigt und hier so ein bisschen Horizon Scanning macht, das geht auch so in die Richtung eben Innovationsforschung, Foresight Studies, wo wir heute ja auch schon einen Vortrag zugehört haben und hier werden ganz unterschiedliche Technologien thematisiert, es geht um den Dual Use von KI, es geht um Autonomensysteme, Roboter, aber auch eben um Überwachungstechnologien, Open Source Intelligence und Big Social Data und wenn man sich das anguckt, dann denkt man sich, was haben all diese Technologien gemeinsam? Wie kann man überhaupt diese verschiedensten Technologien zusammen betrachten und das ist eben auch das, worauf mein Titel, also diese gefühlte Willkür ist, auch das, worauf mein Titel eben abzielen möchte und wenn man sich jetzt dann die wissenschaftliche Literatur zu Dual Use anguckt, gibt es eigentlich verschiedene Definitionen und zwar gibt es einmal die Definition, die eben zivile und militärische Anwendung unterscheidet. Es gibt die Definition, die sagt, ja Dual Use ist eine Technologie dann, wenn sie zum Beispiel Teil eines Waffensystems sein kann, also das kann auch ein improvisiertes Waffensystem sein und es gibt die Definition aus der Perspektive der Lebenswissenschaften, der Medizin, der Biotechnologie, die eben zum Beispiel Beneficial and Harmful Use unterscheiden, also wie sagt man eben, Beneficial also zu sagen, was wir, was wir als besonders zuträglich empfinden und das, was uns großen Schaden zufügen kann und wenn man jetzt hier überlegt, ja okay, aber das sind ja trotzdem immer noch total unterschiedliche Vorstellungen, was Dual Use Technologien sind. Das sind auch ganz unterschiedliche Ansätze dann, wie damit umgegangen wird. Manche Technologien werden zum Beispiel reguliert über so Export Restriktionen, andere Technologien gehen gar nicht. Ja, was können wir jetzt damit anfangen? Und ein Verbindenelement ist eben die Frage, ist eine Technologie in einem gewissen Sinne Sicherheitskritisch. Also wenn wir jetzt wieder an den ersten Tag der Konferenz denken, haben wir viel gehört über den erweiterten Sicherheitsbegriff und aus der kritischen Sicherheitsforschung wissen wir auch, dass Sicherheit ein essentially contested Concept ist. Also es gibt nicht die eine Bedeutung von Sicherheit, Sicherheit ist relativ und Sicherheit wird auch durch uns definiert, aber Sicherheit funktioniert immer so, dass wir sagen, es gibt eine Bedrohung für ein gewisses Objekt und dieses Objekt müssen wir schützen und dieses sogenannte Referenzobjekt könnte zum Beispiel der Start sein. Das kann aber auch der Mensch sein und das ist dann eben das Concept Menschzentrierter Sicherheit. Und hier bei diesem erweiterten Sicherheitsbegriff haben wir natürlich auch den Übergang zu der positiven Frieden, der natürlich beim FIFT auch eine große Rolle spielt, eben die Abwesenheit auch von nicht nur physischer Gewalt, sondern eben struktureller Gewalt. Was hat das jetzt alles mit Technik zu tun, mit Design zu tun? Design und Technik gestaltet den Kontext, in dem wir Entscheidungen treffen können und deswegen hat Van den Hofen gesagt, ICT Architects hat Choice Architects, who have responsibilities for organizing the context in which people make decisions. Also müssen wir eben überlegen, wie können, wie kann Design gesellschaftlichen Wandel unterstützen oder wie kann Design auch strukturelle Gewalt oder wie verstärkt die Design strukturelle Gewalt und hier gibt es auch in der Designforschung aus dem Bereich der Mensch-Computer Interaktion viele tolle Ansätze zum Beispiel zum Thema Justice-oriented Design, aber auch eben gerade im Bereich der participatorischen Designansätze und hier habe ich mich besonders mit dem Concept Value-Sensitive Design von Batia Friedmann beschäftigt und da geht es eben darum, dass das Design Werte und Wertekonflikte der verschiedenen Akteursgruppen, die in der Technik-Entwicklung relevant sind, direkt oder indirekt betroffen mit aufnehmen sollen und auch Konflikte zwischen diesen Akteursgruppen verhandelt werden sollen und dass die Technik-Folgenabschätzung ist eine interdisziplinäre, ein interdisziplinäres Framework, was eben diese verschiedenen Konzepte, kritische Sicherheitsforschung und participative Designansätze eben zusammenbringen kann. Ursprünglich ist die Technik-Folgenabschätzung auch in den 70er- und 80er-Jahren entstanden aus dem Wunsch heraus, die Folgen von Technologie rechtzeitig, vom Einsatz bestimmten Technologien rechtzeitig zu antizipieren, besonders wenn es Technologien sind, die nicht rückgängig gemacht werden können in ihren Folgen und hier frühzeitig diese Folgen zu erkennen, aber man ist immer mehr dazu übergegangen in der Technik-Folgenabschätzung zu sagen, wir müssen eigentlich, ich sage jetzt mal vor die Lage kommen, also wir müssen eigentlich schon in der Technik-Entwicklung Technik-Folgen mit bedenken und hier gibt es sozusagen einen fließenden Übergang von den nachgelagerten Technik-Folgen und der Betrachtung hin zu sozusagen sogenannte Real-Time-Technologie- Assessment zu designorientierten Ansätzen und in meiner Forschung habe ich mich mit dem Umgang mit Dual-Use, also mit dieser Technik-Folgenabschätzung von Dual-Use-Technologien beschäftigt aus verschiedenen Perspektiven, aber ich will heute nur auf zwei eingehen und zwar auf die Fragen zwei und drei, wie können Dual-Use-Technologien reguliert werden und wie kann auch zum Beispiel so ein participative Ansatz wie Value-Sensitive-Design die Bewertung von Dual-Use-Krisiken unterstützen in der Technik-Technik-Design und dafür werde ich jetzt ein paar Studien vorstellen, natürlich nur ein bisschen einen Überblick geben, ich will mich nicht zu lange zwischen uns und das Mittagessen stellen und hier haben wir eben verschiedene Studien durchgeführt, die sich zum Beispiel mit der Regulierung von autonomem Waffensystem oder mit dem Versuch der Regulierung autonomer Waffensystem beschäftigen, das Konzept bedeutungsvolle menschliche Kontrolle Meaningful Human Control und das andere Paper auf das ich kurz eingehen möchte beschäftigt sich eben mit der Regulierung von Kryptografie als Dual-Use-Technologie in den USA und ich fange aber mal mit den autonomen Waffensystemen an, also unbemannte autonomen Systeme werden immer günstiger, es wird einfacher sie zu produzieren, sie zu verbreiten, sie werden kleiner, sie werden attraktiver, wir sehen das natürlich auch gerade und es gibt deswegen seit vielen Jahren auch in der UN-Convention on Certain Conventional Weapons eben den Diskurs, wie man verhindern kann, dass aus diesen autonomen und bemannten System eben sogenannte Killer-Robots werden und hier gibt es unterschiedliche Ansätze, vor allen Dingen haben sich Akteure wie das Komitee des Internationalen Roten Kreuzes für das Konzept Meaningful Human Control ausgesprochen und hier geht es konkret darum, dass der Mensch immer die kritischen also Befehle zum Beispiel gibt, dass kein Roboter autonom entscheiden kann zum Beispiel auf jemanden zu schießen und gleichzeitig wissen wir, es gibt eben diese zunehmende Automatisierung von verschiedenen Prozessen auch eben in der Rüstungsindustrie und das ist natürlich auch besonders attraktiv, man spricht dann von sozusagen den Dirty, Dull und Dangerous Tätigkeiten, die sich besonders eignen für Automatisierung und hier haben wir uns eben gefragt in diesem Diskurs zur Regulierung, welche Werte und Visionen für diese menschliche Kontrolle werden in dort vertreten und welche Konflikte gibt es dort und haben da eben die Dokumente, die Statements der verschiedenen Akteure analysiert auch von Staaten aber auch von NGOs und haben uns eben dann genau diese Visionen für die Mensch-Computer-Interaktion angeguckt und wenn man sich jetzt die, wenn man jetzt sich die Ergebnisse davon anguckt sieht man, dass ungefähr die Hälfte der Statements sich das schon wünschen und also dass sozusagen der Mensch immer eine Entscheidungsgewalt über ein autonomes System hat, das ist aber ein Spektrum, also das kann auch sowas sein wie, also wenn wir uns Meaning Volume Control als in the Loop vorstellen, also dass sozusagen die Entscheidung immer getroffen werden muss, von Menschen gibt es natürlich auch das Spektrum und the Loop, das heißt, dass ein menschlicher Akteur eine Entscheidung nur noch bestätigen muss, die ihm vorgeschlagen wird, aber wir sehen auch ein nicht kleiner Teil, der akteurisch spricht sich für eine neutrale oder eine nicht-irachische Position von Autonomensystem und Menschen aus und das zeigt einfach, dass so ein Konzept wie Meaning Volume Control immer noch nicht richtig akzeptiert ist, stark umstritten ist und es wurde halt auch häufig als zu abstrakt kritisiert und wir sehen, dass es im einen Wandel gibt in der Forst, also in der Normativität, was welche Entscheidungen eben autonomisiert werden dürfen und welche nicht und hier ist eben weiterhin die Gefahr, dass es eine schleichende Entstehung von sogenannten Killer Robotern gibt, also ein Creeping in of Automation, deswegen ist es weiterhin wichtig, dass wir uns damit beschäftigen, welche Visionen es gibt und welche Visionen es gibt von der Mensch-Computer-Interaktion in bewaffneten Konflikten und jetzt, bevor ich diesen Block abschließe, komme ich noch zum zweiten Beispiel, also das ist das komplette auf vielen Ebenen gewisserweise ein komplettes Gegenteil, Kryptografie war schon immer restriktet, reguliert als Dual-Use-Gut, obwohl wir sagen würden, eigentlich ist es ja wünschenswert, dass Menschen Zugang haben zu starker Verschlüsselung und das ist doch eigentlich gut aus so vielen verschiedenen Ebenen, aus der Perspektive der IT-Sicherheit, warum und da habe ich mich auch gefragt, warum ist Kryptografie als Dual-Use-Gut im Zugang beschränkt im Gegensatz zu zum Beispiel autonomen Waffensystemen, die überhaupt nicht reguliert sind und ursprünglich war Kryptografie auch nur für militärische Akteure interessant und das hat sich geändert durch die Verbreitung des Internets in den 90ern, wo es dann auch relevant wurde für kommerzielle Akteure, für Unternehmen, für private Akteure und wir haben natürlich auch seit 2013 eine große Ausbreitung von einfacher Ende-zu-Ende-Verschlüsselung in Social Media Messenger und wenn wir uns jetzt die Geschichte der Regulierung von Kryptografie angucken in den USA jetzt speziell, dann sieht man hier auf dieser Grafik zum Beispiel, dass es auch Anpassungen gab im Gesetz, also der rote Balken zeigt eben, welche Kie, also Schlüssellänge, symmetrischer Verschlüsselung als Dual-Use klassifiziert wurde, also alles was unter dem roten Balken ist, wurde als Dual-Use klassifiziert und die anderen Balken da drüber, das blaue ist zum Beispiel die Schlüssellänge, die standardmäßig benutzt wurde und das grüne ist eben die empfohlene, eine empfohlene, also eine aus Sicherheitskreisende empfohlene Schlüssellänge und wir sehen, die liegen alle da drüber, also das was für den Export genehmigt werden musste, also das heißt es alles immer für den Export genehmigt werden musste so und wir sehen also, dass die Dual-Use-Regulierung auch ein Machtinstrument ist, Zugang zu einer gewissen Technologie eben zu ermöglichen oder zu verhindern, auch wenn wir in 2010 eine große Deregulierung hatten, es gab zum Beispiel Ausnahmen, also es wurden immer mehr Ausnahmen getroffen, dass zum Beispiel Social Media und Massenkommunikationsdienste keine Ausfuhrgenehmigung mehr einholen mussten, wir haben auch weitere Ausnahmen gehabt zum Beispiel interessanterweise für die Verschlüsselung von militärischen Geheimnissen, also vorher musste man als Militärangehöriger mit sozusagen verschlüsselten Informationen auch eine Ausfuhrgenehmigung bekommen und um die IT-Sicherheit dieser Akteure zu stärken wurde das natürlich auch, haben die dann auch seit 2016 ihre Ausnahmegenehmigung, aber um diesen Vergleich jetzt abzuschließen, wenn wir jetzt uns beide Regulierungsansätze im Vergleich angucken, sehen wir komplette Unterschiede, also Kryptografie wurde für viele Jahre reguliert, also es wird bis heute eben reguliert im Export und wir haben aber bei Autonom-Waffensystemen überhaupt keine Restriktionen, es gibt nur Deklarationen, Normen, die Staaten sich selber gegeben haben. Wie gehen wir jetzt damit um? Wir sehen halt zum Beispiel in den Lebenswissenschaften, die sich sehr intensiv mit Dulius auseinandergesetzt haben, zum Beispiel im Hinblick auf die Virenforschung, auf Genome Editing, viele Ansätze, die sagen ja wir brauchen eigentlich keine Regulierung von unseren Technologien oder keine starke Regulierung, wir brauchen eigentlich Selbstverantwortung. Selbst Verantwortung ist das, die dann aber auch organisatorisch unterstützt wird, also sozusagen Organizational Culture for Self Responsibility und das kann man aber auch kritisieren, weil man sagen kann ja, das überfordert die Leute, die an diesen Technologien forschen und diese entwickeln, weil sie dann ja für alles verantwortlich sind, was damit gemacht wird. Deswegen möchte ich hier sagen, es gibt viele verschiedene Ansätze der Regulierung und ich werde am Ende, wenn ich die Frage der Konferenz darauf eingehe, auch noch ein bisschen zeigen, was das sein könnte, das nenne ich hier Fifty Shades of Regulation, es gibt auf der einen Seite natürlich Gesetze und Verbote, aber es gibt auch noch vieles darüber hinaus, es gibt Normen, es gibt sozusagen Risikobewusstsein und das Besondere ist, dass wenn wir eben Technologien haben, wo viele Menschen daran arbeiten, wie das bei uns der Fall ist, wie das in den Lebenswissenschaften der Fall ist, kann man eben auch besonders gut mit participatorischen Prozessen hier bewusst sein schaffen, man kann durch Bildung an den Universitäten bewusst sein schaffen für den Umgang mit diesen Technologien, man kann aber dann auch gemeinsam, abseits von dieser Individualisierung von Verantwortung, auch versuchen eben einen gesellschaftlichen Diskurs zu beeinflussen in dem bestimmten Normen eine Art Korridor bilden und der uns eben hilft, da uns zu navigieren in der Entwicklung und jetzt möchte ich noch auf den Aspekt von Design eingehen und da werde ich ein konkretes Beispiel bringen, wir arbeiten am Lehrstuhl nämlich an, zusammen mit Computer Emergency Response Teams in Behörden, also mit so Zerts, die so eine Art IT Feuerwehr sind, die machen die Sicherheit für öffentliche IT Infrastruktur und deren Aufgabe ist es zu erkennen, also Cyber-Fed Intelligence zu betreiben, zu erkennen wo Bedrohungen entstehen und das tun sie, indem sie verschiedene Quellen sich angucken, offene Quellen, geschlossene Quellen, hauptsächlich offene Quellen, vor allen Dingen Social Media, sie haben natürlich aber auch Blogs, Foren, Webseiten von Herstellern und sie müssen an diese Schwachstellen bewerten, sie müssen überprüfen, ist es relevant für zum Beispiel die zivile Infrastruktur oder nicht und dann müssen sie Handlungsempfehlungen schreiben und das weiter kommunizieren und diese Akteure versuchen diese Arbeit, die sehr aufwendig ist, zunehmend auch zu automatisieren und eben zum Beispiel so durch Open Source Intelligence, das heißt durch ein System was eben Machine Learning basiert, diese verschiedenen Quellen auswertet, die Daten sammelt, analysiert und dann zum Beispiel ein Alarm herausgibt, wenn zum Beispiel neuartige Sicherheitslücken auftreten und so ein System hat aber den Nachteil, dass es eben auch genutzt werden kann für Überwachung, also das fällt natürlich auch in die, wenn man jetzt alle öffentlichen Quellen crawlt und die auswertet, ist uns natürlich klar, daraus kann natürlich auch ein Massenüberwachungstool werden und das wollen wir ja nicht und deswegen ist das jetzt hier mein konkretes Design Beispiel, ich habe auch schon gehört, wir haben auch schon bei den Preisträgern ein Beitrag gab, der in so eine ähnliche Richtung geht, also und hier haben wir dann den Ansatz von Mathias Friedmann gewählt zum Thema Value Sensitive Design und der hat drei Schritte, die aber eigentlich immer wieder sozusagen interattiv durchlaufen werden sollen, also das nimmt hier quasi kein Ende, so man fängt eben an mit den konzeptuellen Studien, man untersucht die relevanten Akteure und Stakeholderinnen und identifiziert sozusagen auch die Nutzungskontexte, dann schließen sich empirische Studien an, man untersucht zum Beispiel, wie wird eine Technologie in einem konkreten Kontext eingesetzt, welche Konflikte treten da durch den Einsatz dieser Technologie auf und man sucht dann nach Lösungen wie diese Konflikte, die Konflikte müssen nicht immer gelöst werden, aber man verhandelt auch mit den Akteuren eben, was gute Ansätze sein könnten, mit denen alle vielleicht leben können und dann, wenn man diese technischen Lösungen entwickelt hat, evaluiert man die mit den Akteuren. Hier haben wir verschiedene Studien durchgeführt, einmal eine Studie, wo wir eben die eine repräsentative Studie durchgeführt haben, wo wir die Bevölkerung befragt haben zu ihrer Haltung gegenüber eben solchen Open Source Intelligence System in der Cyber Sicherheit und eine Designstudie für ein datensparsames Open Source Intelligence, ein Ansatz, der sozusagen so eine Art, so eine Alarm generieren würde. Und bei unserer repräsentativen Studie haben wir uns gefragt, wie schätzen die Menschen in Deutschland die Nutzung von Open Source Intelligence in der Cyber Sicherheit, zum Beispiel bei staatlichen Behörden ein und welche Faktoren lassen sich herausarbeiten mit der Akzeptanz oder mit der Ablehnung von solchen Systemen. Und da haben wir eben 1093 Menschen befragt, wir hatten einen Fragebogen entwickelt in zwei Workshops mit unseren Projektpartnern und haben eben eine Faktorenanalyse durchgeführt, wo wir haben verschiedene Items abgefragt und diese Faktoren eben dann zusammengefasst. Und das Ergebnis ist nicht so überraschend, weil es gibt andere Studien, die sich mit der Akzeptanz von solchen Überwachungstechnologien beschäftigen, zum Beispiel im Bereich Polizeiarbeit. Und die haben auch ähnliche, sind zu einem ähnlichen Schluss gekommen, dass man halt sagt, ja die Akzeptanz von Überwachungstechnologien wird eben dadurch befördert, dass es eine Bedrohungswahrnehmung gibt. Also das Menschen sich bedroht fühlen führt eher dazu, dass sie sagen, ich finde es gut, dass dort Sicherheitsbehörden eben aktiv sind. Und gleichzeitig natürlich auch wenig überraschend ist es so, wenn Menschen sagen, Open Source Intelligence ist der richtige Ansatz, dass sie dann natürlich eher das unterstützen und akzeptieren. Was aber interessant ist, was wir gefunden haben, ist, wir haben uns gefragt, welche Rolle spielt das Bewusstsein für die Möglichkeit von Open Source Intelligence, für die Einschätzung dazu. Und da haben wir eben herausgefunden, dass ein hohes Bewusstsein und eine niedrige, niedrige sozusagen Privatsphäre bedenken, führen halt zu einer hohen Akzeptanz. Und das kann man jetzt zum Beispiel, also das würde ich jetzt so interpretieren, dass es sehr wichtig ist. Und das schließt jetzt auch an den ersten Vortrag, an den wir heute gehört haben, hier die Bevölkerung mit einzubeziehen, über bestimmte Bedenken im Umgang mit diesen Daten, einen Diskurs zu starten und auch Regeln festzulegen, die eben zum Beispiel diese Privacy Concerns verringern können, dass man eben privatsphäre Bedenken auch einbringen kann und dann eben einen Prozess hat, wo das auch aufgenommen werden kann. Und wir haben dann ein technisches Konzept entwickelt, was eben Twitter-Daten crawled und diese auswertet für so ein SciSec Alert System, also ein Cyber Security Alarmsystem. Und unser Datensparsamkeitsansatz richtet sich eben an der Arbeit von den Mitarbeiterinnen von solchen Cyber Emergency Response Teams, von den Zerts, die sich ja gar nicht alle Twitter-Nachrichten angucken wollen. Das interessiert die auch gar nicht. Das würde ihre Arbeit auch total überladen. Die gucken sich andere professionelle IT-Sicherheits-Accounts an. Und wenn man jetzt zum Beispiel statt einem keyword-basierten Ansatz einen Account-basierten Ansatz verfolgt bei so einem System, hat man schon sozusagen viel erreicht, was die Datenminimierung eben angeht. Und das ist unser Ansatz. Und wir verfolgen auch weitere Designansätze, die eben die Datenminimierung unterstützen. Also ein Stichwort ist hier auch genannt Data Augmentation, wo es eben darum geht, zum Beispiel künstlich Daten zu erzeugen, um den Klassefire zu trainieren. Und wir versuchen sozusagen, das Thema Machine Learning with Small- oder Medium-Data hier voranzubringen, um eben zu zeigen, man kann solche Systeme auch Datensparsam bauen, wenn man eben diese Themen mit aufnimmt. Das muss nicht immer nur alles größer werden und mehr Daten crawlen und es sammelt also die Botschaft. Und ich will dazu noch sagen zum participativen Prozess, wir arbeiten hier, wir haben noch mehr Studien gemacht, wir haben auch Interviews geführt, wir arbeiten hier auch mit dem CCC zusammen, mit dem Katastrophenschutz und so dass eben, die auch genau diese Bedenken eben geäußert haben, wo wir aber dann genau das aufnehmen, um eben diese Designlösung herauszuarbeiten, die hier am ersten für so ein System passen. Also, wie kann zum Beispiel Value-Sensitive Design helfen, solche Dual-Use Technologien zu entwickeln? Wir können Dual-Use und Ambivalenzen in Technologien nicht auflösen. Was wir aber machen können ist, darüber zu reden und das Transparenz zu machen. Und hier helfen uns participative Designansätze sehr, weil sie eben diese Werte, Konflikte verhandeln können. Also, wir können diese erst mal transparent machen und dann können wir darüber reden und das auch publizieren, wie wir uns entschieden haben. Und hier ist es aber besonders wichtig auch zu gucken, welche Akteure werden eingebunden und welche nicht. Und das muss auch dokumentiert werden, weil das natürlich ein wichtiger Aspekt auch ist im Hinblick auf die Legitimität von Technik Entwicklungen, die in sehr sensiblen Bereichen eingesetzt wird. Also, ich denke hier zum Beispiel an die Technikentwicklung für die öffentliche Verwaltung. Das hatten wir vorhin ja auch im Bereich Policing zum Beispiel, aber auch für die Technikentwicklung im Medizinbereich. Und das sind auch genau die Bereiche, wo participative Technikentwicklungen als Theorie vorangebracht wird aktuell. Und wir sehen hier aber natürlich auch, dass, gerade wenn wir so einen sehr weiten Sicherheitsbegriff haben, wie am Anfang beschrieben, kann es auch eine Überlappung geben mit anderen Sicherheitsfragen wie Privacy und Security. Und das ist auch nicht schlechtes. Ist ja auch gut. Und jetzt möchte ich zum Schluss kommen und möchte kurz darauf eingehen zu den 50 Shades of Regulation. Es gibt von Jonathan Tucker, der aus der Bio-Sicherheit kommt, diese tolle Übersicht zum Spektrum der Governance-Maßnahmen. Und wir sehen hier, es gibt sozusagen von Hard Law, nennt er das, also von sozusagen Exportregulierungen über Software zu Informal Aspekten, ein weites Spektrum von Maßnahmen, die man machen kann. Und ich denke, gerade wenn wir eben sehr viele Akteure haben, wenn eine Technologie sich besonders rasant entwickelt, wenn es extrem viele verschiedene Anwendungskontexte gibt, dann ist es eben sehr schwer alles mit einem Gesetz zum Beispiel zu erschlagen, was schnell veraltet sein wird. Und das haben wir ja auch gesehen zum Beispiel bei der Kryptografie, dass das auch nicht funktionieren kann, weil so viele Aspekte, die wichtig sind für die Kommunikation, für die IT-Sicherheit, dann nicht berücksichtigt werden. Und hier kann man sich auch eben gucken, also kann man sich eben an diesem Spektrum orientieren und man kann natürlich auch überlegen, wie leicht kann also die Risikoabschätzung machen? Wie leicht kann eine Technologie missbraucht werden? Wie zugänglich ist sie? Wie ist das Ausmaß des potenziellen Schadens? Und wie einfach ist der Missbrauch? Und im Anschluss, wie einfach können wir denn diese Technologie überhaupt beherrschen? Also wie reif ist die Technologie? Wie schnell verbreitet sie sich? Oder wie ist sie auch in verschiedenen Disziplinen zum Beispiel verbreitet oder in Wirtschaftssektoren? Und jetzt möchte ich zum Schluss noch eine in die Diskussion einsteigen und nochmal auf die zwei Fragen eingehen von der Konferenz. Haben wir die Frage nach Governance, nach Regulierung. Wie kann Technologie eingeschränkt werden, die den Frieden stört? Was ist das Dualiusrisiko der einzelnen Technologie? Dann möchte ich auf die verschiedenen Begriffe Dualius Definitionen hinweisen. Also wir haben verschiedene Formen von Sicherheit. Wir haben einen sehr weiten Sicherheits- und Friedensbegriff und da ist natürlich das Spektrum sehr groß und da muss man sich daran orientieren. Das kann man machen mit den Risikokriterien, die ich auf der Folie davor genannt habe. Dann kann man sich auch fragen, wie können wir mit diesen Technologien umgehen? Also wo hilft es uns zum Beispiel, das Bewusstsein für ein Risiko zu erhöhen, indem wir zum Beispiel mit unseren Kolleginnen darüber reden oder mit unseren Freunden. Und manchmal sind natürlich Rotlinien wichtig, also Gesetze, die so No-Go-Area, sag ich jetzt mal, auch definieren. Aber vieles braucht vielleicht auch erst mal eine Norm oder irgendwie eine Einigung, wo wollen wir überhaupt hin mit einer Technologie? Also was sind für uns überhaupt die Leitplanken? Und dann ist auch die Frage, wie kann Technologie gestaltet werden, um Friedens zu fördern? Ich habe schon gesagt, Teiligungsorientierte Designansätze sehe ich da als sehr relevant, weil sie eben helfen, zum Beispiel Bewusstsein zu schaffen. Sie helfen auch gegenseitig, Entscheidungsprozesse zu unterstützen und diesen gesellschaftlichen Diskurs zu fördern. Und das ist total wichtig für Menschen, die hier im FIF aktiv sind, in zum Beispiel Vereinen, in Makerspaces oder eben in Citizen Science, sich hier einzubringen und Multiplikatoren zu sein, also andere Menschen aufzuklären über die technologischen Möglichkeiten, um eben hier zur demokratischen Meinungsbildung beizutragen, um diesen Diskurs zu unterstützen. Also diese Bildungsarbeit auf der einen Seite im Freundes- und Bekanntenkreis und auf der anderen Seite auch im politischen Bereich, eben zum Beispiel am politischen Diskurs teilzunehmen, um diese Normen zu gestalten, wie wollen wir Technik regulieren und entwickeln. Ja, danke schön. Ja vielen Dank. Auch danke, dass du auch auf unsere Arbeit genau eingegangen bist und die zwei Leitfragen. Ich denke, wir werden da ganz, ganz viel Anknüpfungspunkte haben und ich hoffe nicht nur beim Mittagessen, weil dann die Menschen im Livestream natürlich das auch nicht mitgekommen. Vielleicht gibt es auch schon davor Fragen. Du hast gesagt, dass ihr mit dem Katastrophenschutz mit zusammenarbeitet. Jetzt ist der Katastrophenschutz ja mit, seit, wenn ich mich nicht irre, Mitte 2000 von der Bundeswehr sozusagen gedoppelt. Das heißt, also arbeitet ihr auch direkt mit der Bundeswehr zusammen oder durch die Zusammenarbeit mit dem Katastrophenschutz, der gedoppelt ist mit der Bundeswehr über den Umweg? Wir arbeiten nicht aktuell mit der Bundeswehr zusammen, sondern wir haben, wir arbeiten mit dem Zivilen Katastrophenschutz zusammen. Ja, vielen Dank. Ich möchte noch mal nachfragen bei dieser Diskussion zu den autonomen Waffensystemen. Also ich glaube mir ist nicht ganz deutlich geworden, was genau Value-Sensitiv-Design da tut. Das wäre so meine erste Frage. Das andere war, ich glaube nicht, dass in der Ethik-Markt, dass in der Biotechnologie öfters offen sein, aber wir haben durchaus eine Tradition in der Militärtechnologie Technologien zu verbieten. Clusterbomben, Atomen und nicht Atom-Chemiewaffen. Also insofern hat man da schon Feld, wo man durchaus für kämpfen kann und es gibt ja auch regelmäßig jedes Jahr ein Genf da Verhandlungen zu. Aber meine Hauptfrage wäre wirklich, wie ist das jetzt mit dem Verhältnis von Sensitiv-Design, weil es gibt ja zum Beispiel auch von Neuscharki schon Vorstellungen. Wie müssen diese Interfaces aussehen? Was sind die Bedingungen? Da wäre ich jetzt noch mal neugierig, was das sozusagen surplus von Value-Sensitiv-Design wäre. Ja, vielen Dank. Genau, das ist ein sehr guter Ergänzung, dass Value-Sensitiv-Design haben wir bei dem Paper jetzt auch eher also sozusagen als Perspektive darauf genommen zu gucken, okay, was sind die Stakeholder Perspektiven auf die Mensch-Computer-Interaktion. Der Wertebegriff bei Value-Sensitiv-Design ist natürlich auch sehr breit, also Partier fehlt, man sagt ja, Value sind alles, was der Person wichtig sind. Also es ist auch ein sehr breiter Wertebegriff in dem Sinne und sie spricht natürlich auch von Personen und wir haben in der Studie natürlich auch nicht in dem Sinne nur uns Personen angeguckt, sondern staatliche Akteure und NGOs. Und es ist wahr, also das stimmt auf jeden Fall auch, man muss in diese Debatte noch viel Detailierte einsteigen, weil es natürlich genau auch darum geht und das hatte ich gehofft vielleicht, aber es war vielleicht ein bisschen indirekt, mit diesem Hinweis auf die Red Lines, dass man eben definiert, was sind zum Beispiel Dinge, die man auch absolut auf jeden Fall verbieten möchte und muss. Genau, wir haben die Biowaffen, die verboten sind, wir haben die Chemiewaffen, die verboten sind und hier muss man natürlich wirklich auch definieren, was wollen wir zum Beispiel aus der Perspektive von Autonomen, Waffensystem oder automatisierten Waffensystem verbieten. Also welche Funktionen dürfen überhaupt nicht automatisiert werden und genauso eben auch die Frage darf eben so ein Interface, was suggestiv sein oder nicht oder wie soll sowas aussehen. Also ich glaube, da muss man sehr detailliert in diese Debatte einsteigen. Ich habe hier nur einen ganz groben Rundumschlag gemacht und diese Debatte verdient auf jeden Fall viel mehr noch Detail und als ich das jetzt hier darstellen konnte, auf jeden Fall. Und ich bin auch dafür, dass man dann bestimmte Dinge verbietet. Ja, vielen Dank für diesen sehr spannenden Vortrag. Ich habe noch eine Frage zu den Beteiligungsorientierten Designersetzten. Hast du dich da mal mit den Grenzen auch beschäftigt oder wird das nochmal erörtert? Denn ein Problem, was ich sehe, obwohl ich es in einer sehr Befürworte ist, du hast von Bewusstseinschaffen gesprochen, also dass das eine wichtige Voraussetzung dafür ist, dass dann diese Technik, Technologie dann zum Einsatz kommt, vielleicht in eine leicht modifizierten Art und Weise. Allerdings ist dieses Bewusstsein eben nur geschaffen in der Gruppe der Beteiligten und das ist auch eine Kritik, die so bei Bürgerbeteiligungsverfahren schon sehr lange existiert. Lasst euch da nicht sozusagen einseifen, ist dann immer so ein bisschen der Spruch gewesen und das heißt dieses Bewusstsein ist eben beschränkt auf eine Gruppe und nicht sozusagen auf die Gesellschaft so einfach skalierbar. Das wäre noch mal eine Nachfrage. Danke. Ja genau, das war ja auch ein Punkt, der vorhin angekommen, geklungen wurde zur Kritik, an den nach deinem Vortrag, wo wir auch kurz über Partizipation gesprochen haben, dass Partizipation so ein bisschen wischy washy sei und was ist sozusagen, was kommt am Ende da aber rum und genauso eben, wenn du nur eine Gruppe hast, sozusagen, die das Bewusstsein hat, was haben jetzt die anderen davon oder wo sind auch vielleicht die verbindlichen Regeln, an die man sich hält oder wann entstehen diese Regeln. Das ist jetzt was, da stimme ich dir komplett zu, das ist dann hier jetzt noch außen vor. Ich denke aber, dass es trotzdem wichtig ist zum Beispiel Abstufungen von oder sozusagen auch in der, ich sag jetzt mal, in der Community zu diskutieren über meine, also sozusagen, oder eine gewisse Meinungsbildung zu fördern. Das ist zumindest auch das, was ein Ansatz eben aus der Richtung der Biosecurity, wo es einmal sozusagen geht, die Sicherheit oder das Bewusstsein für das eigene Handeln zu stärken, wenn ich jetzt selber mit solchen Technologien entwickle und an diesen Forscher, aber gleichzeitig kann man sich natürlich dann auch eben informierend in Diskose einbringen mit Nicht-Expertinnen aus diesem Bereich. Also hier würde ich eigentlich nochmal irgendwie unterscheiden, dass es wichtig ist ein Bewusstsein zu haben in sozusagen in der Technik-Community auf der einen Seite und auch wenn wir natürlich wollen, dass es keine scharfen Abgrenzungen gibt, sondern dass auch die Gesellschaft technische Bildung hat und sich darüber informieren kann. Aber es war jetzt vielleicht keine zufriedenstellende Antwort. Ja, du hattest gerade nochmal auf meinen Vortrag angespielt zur Partizipation. Da müssen wir uns glaube ich nochmal, das müssen wir mal sehr genau definieren. Es gibt diese wundervolle 8-Stufenpyramide, also die Stufen der Partizipation. Und ich glaube, wenn wir darüber gerade gesprochen haben, dann war das immer so verstanden, dass es eben tatsächlich um Entscheidungsmacht geht am Ende und nicht um eine feigen Blatt-Partizipation. Aber überhaupt auch zum Beispiel erst mal das Bewusstsein zu schaffen, also zum Beispiel auch bei Sicherheitsbehörden, dass das wichtig ist, dass es Partizipative Prozesse geben muss. Bei den IT-Herstellern, die dieses Software herstellen, dass es wichtig ist, dass es Partizipation geben muss. Weil wenn die sich einig sind, dass sie das nicht wollen, aus Gründen, dann ist es total schwer von außen da reinzukommen. Und ich fand, das war auch ein super Beispiel bei predictive policing heute Morgen. Und ich glaube, da ist es auch wichtig, überhaupt erst mal diese Möglichkeit zu schaffen für einen Dialog, wo eben bestimmte Gruppen auch eingebunden werden können. Also natürlich zum Beispiel die Bevölkerung, aber auch eben Experten in Externe oder so. Ja, ich glaube, wir haben noch Zeit für einen maximal zwei kurze Fragen. Ich mache jetzt gerade ein ganz anderes Thema auf, so ein bisschen zurück zu dem OSINT. Du hast ja seht, dass ihr bei vielen staatlichen Behörden da diese Interviews geführt habt, irgendwie 1000x Leute da interviewt habt und so. Es gibt ja auch viel sowas im privaten Bereich. Also es gibt ja in Firmen auch Zerz und Leute. Und das eine ist, wer sind die da auch mit einbezogen worden oder sollte man das nicht, wenn es nicht noch nicht passiert ist? Und andererseits auch wieder in Richtung Partizipation, vielleicht die Idee, da hat man vielleicht auch ein bisschen offene Quellen und kann leichter mit bestimmten Sachen reden als als in der Geheimhaltung teil, was in den staatlichen Stellen könnte ich mir ebenfalls vorstellen. Genau, kurze Ergänzung. Also das Interview dieser repräsentative Studie haben wir nicht mit den staatlichen Behörden gemacht, sondern das sind einfach so, das ist sozusagen die repräsentative Bevölkerung, also ein Schnitt der repräsentativen Bevölkerung Deutschlands. Aber wir haben auch viele Interviews mit Zerz eben in den verschiedenen Bundesländern geführt. Genau, die gibt es auch in Firmen und unser Ansatz ist auch da auch noch stärker auf die zuzugehen, um mit denen zu sprechen und zusammen zu arbeiten. Ja. Oh ja, sehr gerne. So, dann sehe ich da keine weiteren Fragen. Also erst mal sehr schön, dass wir noch mitbekommen haben, auch als Choice Architects, dass wir da arbeiten und deinen Aufforderungen, Einbezug von in Makerspaces, auch Dual News Technologieforschung, da ich jetzt einen Makerspace mit aufbauen soll. Die KI, den Werkstatt für den Umweltschutz, die Eröffnung ist am 9.11. Nehme ich das sehr, sehr, sehr gerne mit und danke dir, Therie, für den Vortrag.