 Begrüßung machen will, habe ich mich sehr gefreut, weil mit diesem Thema Internet und Ethik, Informatik und Ethik verbindet mich sehr viel. Ich habe ungefähr vor zehn Jahren an der Kölner Universität im Fach Medienwissenschaft genau zu diesem Thema schreiben wollen und ich war damit sehr alleine auf weiter Flur. Es war wirklich schwer jemanden zu finden, der sich überhaupt schon mal mit dem Thema beschäftigt hatte. Ich habe Philosophie studiert und in der Philosophie fand man niemanden, der sich wirklich mit Medien oder Internet-Ethik beschäftigte. Damals suchte man das noch so nennen und genau so wenig in der Medienwissenschaft war da irgendjemand zu finden, bei den Informatikern habe ich mich noch gar nicht rangetraut. Mir wurde dann auch von einem Kommiliton in der Philosophie gesagt, also Medien-Ethik und Internet-Ethik, das sei auch im Grunde sowas wie der Häkelkurs unter den philosophischen Disziplinen, das sei nicht so richtig Hardcore, also wie jetzt Metaphysik oder andere Bereiche der Philosophie. Und ich würde sagen, das war so falsch, wie es nur sein könnte, weil ich kann mir keinen Bereich vorstellen, der mehr Hardcore ist, wo es tatsächlich um so viele wichtige Entscheidungen geht für unsere Gesellschaft und wirklich um am Ende auch Menschenleben über die mit entschieden wird, wenn wir an autonomenfahrende Autos denken. Und ich würde sagen, zehn Jahre später hat sich extrem viel getan. Wir stehen an einem ganz anderen Punkt, heute würde niemand mehr bestreiten, dass die Entwicklung von Technologien etwas hochpolitisches und auch etwas hochethisches ist. Aber ich frage mich in Bezug auf einen Punkt, ob wir da wirklich so viel weitergekommen sind. Und das möchte ich vielleicht auch schon so in diese Diskussionsrunde von heute Abend mitgeben, nämlich die Frage, wie schaffen wir es, dass Ethik in der Ausbildung von Informatikern nicht das ungeliebte Pflichtfach wird, was sie dann in einem Semester besuchen und sich fragen, was ist jetzt der Bezug zu dem, was ich sonst hier so lerne, sondern das ist so ein fortlaufender Prozess, ist zu verstehen, warum das, was man da entwickelt, hochpolitisch und eben auch ein ethisches entscheiden ist. Und wie schaffen wir es auch die technischen Kompetenzen in andere Fächer, wie geistigste Straftaten umgekehrt zu integrieren? Ich glaube, da muss es viel mehr Austausch geben. Und ich frage mich, ob das nicht eines der großen, eine der großen Aufgaben ist, die jetzt irgendwie in diesen nächsten Schritt vor uns steht. Also ich freue mich mit Ihnen auf diese tolle Diskussion und danke Ihnen nochmal, dass Sie heute Abend gekommen sind. Einen wunderschönen Abend und viel Spaß bei der Diskussion euch. Danke dir. Vielen Dank, Teresa. Ja, mal gucken, wie hardcore oder metaphysisch oder down to earth wir heute Abend sind. Jedenfalls hat dieser Anekdote hier schon für großes Juchhu gesorgt, habe ich gemerkt. Ja, herzlich willkommen auch noch mal von meiner Seite. Vielen Dank, dass viele von Ihnen von euch auch noch rübergekommen sind von der Jahrestagung. Wir freuen uns, dass wir hier sein dürfen. Und ich glaube, die beiden Formate oder Ansinnen passen auch ganz gut zueinander. Einige von euch haben jetzt vielleicht schon doch ein etwas härteren Tag in Knochen und viel gehört. Trotzdem würden wir uns zumindest wünschen, dass ihr an dieser Diskussion auch teilnehmt. Für euch ist dieser Stuhl, also nutzt ihn gerne. Ich würde jetzt schon mal versprechen, es gibt einen Riesen-Aplaus für die Erste, den Ersten der oder die sich getraut, weil ich weiß, es ist schon immer so eine Hürde hier vorzugehen in den Scheinwerfen und so eine Stufe hoch. Kann man aber durchaus machen, hat sich in den vergangenen Monaten immer bewährt und was hätten wir noch an Bord hinweisen? Auch so hilfreich wäre vielleicht mein Name. Katja Weber ist mein Name. Ich führe durch die Veranstaltung. Wer uns im Stream sieht, herzlich willkommen auch dorthin und wir nehmen eure Einwürfe, Anmerkungen entgegen via Twitter, Hashtag Dicksal. Ja, ich habe mir, also Theresa ist schon gleich richtig schön reingesprungen ins Thema. Ich habe mir jetzt eine etwas weitschweifige Rahmenmoderation überlegt und dachte, okay, alle sprechen Englisch. Englisch ist Weltsprache und die meisten von uns, die meisten in Deutschland können das sprechen. Viele, die im Erwerbsleben zumindest sind, können das sprechen. Dann gibt es aber noch eine Weltsprache, die benutze ich jeden Tag und verstehe kein bisschen davon. Ich kann ein Werb nicht von der Präposition unterscheiden. Das geht morgens los, wenn ich irgendwie auf die Wetter-App gucke und hört nicht auf, wenn ich eine Route plane, wenn ich ein Kredit aufnehmen will oder wenn ich mir anschauen will, was andere Leute, die dieses Produkt gekauft haben, auch noch gekauft haben. Dann gibt es aber natürlich auch Leute, die arbeiten bei einer Versicherung, bei einer Investmentbank, vielleicht bei der Polizei und haben insofern noch mal aus einer ganz anderen Perspektive mit Algorithmen, denn um die geht es natürlich zu tun. Bedienen die in irgendeiner Weise, zumindest nutzen sie die Ergebnisse, die hinten raus purzeln und dann beeinflussig unter Umständen in dieser Funktion auch das Leben anderer Menschen. Und diese Prozesse oder Projektion, da wird vielleicht schon gleich philosophisch, die wollen wir uns angucken und fragen, wie ethisch korrekt oder wie fragwürdig die sind. Und ich habe drei prima Gäste, die das alle beantworten können und möchte euch gerne vorstellen. Fiona Krakenburger ist da, Techniksoziologin und Aktivistin und nach dem, was ich so über dich gefunden habe im Netz, dachte ich, okay, wenn eine Sache zu tun hat mit Open Source, mit Diversität und Digitalem, dann ist nicht ganz unwahrscheinlich, dass du irgendwie dabei bist. Also CCC, wer zu nennen oder die Open Knowledge Foundation. Sie hat den Hacker in Space, Heart of Code mit begründet, mit dem sehr schönen Motto, Liberté, Digitalität und Sörrité. Und auf jeden Fall habe ich der Selbstbeschreibung entnommen, guckt ihr optimistisch in die Zukunft, in der letzte Satz unter about ist, Heart of Code ist unser Beitrag zu einer bunten Zukunft, in der alle friedlich gemeinsam digital abhonken. Stefan Ulrich ist da Informatiker und Philosoph, der leitet die Forschungsgruppe Verantwortung und das Internet der Dinge am Weizenbaum-Institut für die vernetzte Gesellschaft 2017 gegründet. Ich würde sagen, ich weiß nicht in Konkurrenz, vielleicht in freundschaftlicher Konkurrenz mit dem Alexander von Humboldt-Institut, also auf jeden Fall mit einem ähnlichen Fokus und Forschungsinteresse. Er ist Sprecher der Fachgruppe Informatik und Ethik bei der deutschen Gesellschaft für Informatik als solcher maßgeblich verantwortlich für unsere ethischen Leitlinien, so heißt das bei euch. Die hat sich die Gesellschaft schon vor längerer Zeit gegeben, vor drei Monaten sind die überarbeitet noch mal ja relaunched worden und da lesen wir zum Beispiel das GI-Mitglied Tritt mit Mut für den Schutz und die Wahrung der Menschenwürde ein, was jetzt vielleicht nicht jede und jeder von uns vermutet hätte in der Arbeitsplatzbeschreibung für ein Informatiker, da werden wir sicherlich auch noch drüber reden. Lorena Jaume Palasi ist da, sie ist die Mitbegründerin von Algorithm Watch und will bewusst sein, dafür schaffen das und wie Algorithmen, unsere Gesellschaft, unsere Welt, auch unser Miteinanderformen und Beurteilen. Sie forscht zu den Themen Ethik und Digitalisierung ist in der Kommission bei der EU, sie berät Verbände, Regierungen zum Beispiel auch die in Spanien und auch bei euch habe ich auf die Seite, beziehungsweise sind es manifest geguckt. Erstens, also ist durchnummeriert und auf Nummer eins steht ADM und das meint eben Prozesse, algorithmische Entscheidungsfindung ist niemals neutral. So und neben Lorena hättet ihr das Vergnügen zu sitzen, wenn ihr völlig unzufrieden seid mit dem, was wir hier diskutieren oder da noch ganz andere Anmerkungen habt. Jetzt würde ich tatsächlich gerne noch mal gleich auf diesen Begriff Neutral, Neutralität zu sprechen kommen. Die Beispiele gingen ja zahlreich durch die Presse, jeder kennt irgendeins der Seifenspender, der mir keine Seife spendet, wenn meine Hand nicht weiß ist oder wenn ich Ahmed heiße und Neukölln wohne, kriege ich weniger wahrscheinlich einen Kredit als der Manfred aus Grunewald. Also diese ganzen Beispiele gibt es, Frauen werden oft Jobportalen, oftmals die schlechteren Jobs angeboten, die gut bezahlten eher Männern. Wieso aber sagt ihr, diese Prozesse algorithmische Entscheidungsfindung können niemals neutral sein? Bei diesen Beispielen leuchtet es ein, aber bei allen anderen? Weil am Endeffekt, ah, ja, guten Abend, weil diese, die Gestaltung von Automatisierungsprozesse Menschen gemacht sind und die sind einfach eine Umformulierung von dem, was man als eine Vorstellung des Sozialen hat. Also sprich, wenn ich egal was ich gestalten will, wenn ich dafür anfange zu programmieren, dann gibt es eine Menge Prämiesen, die man vorab macht und die viel damit zu tun haben, aus welcher Gesellschaft man kommt. Wenn man zum Beispiel ein bestimmte Regeln einführen will in eine Community, um zu verhindern, dass es Pam gibt oder dass es Leute gibt, die oder Bots gibt, dann kann man vielleicht entscheiden, ja, alle Menschen, die da angemeldet sind und einen Namen angegeben haben, die weniger als drei Buchstaben hat, ist einfach kein Mensch und deswegen sperre ich die aus. Naja, das kann man als Annahme machen und da merkt man, ja, das ist eine kulturelle europäische Annahme, dass wahrscheinlich Leute in China oder Leute mit einem asiatischen Namen eventuell vor Problemen darstellt und da zeigt es sich, man macht eigentlich eine vermeintlich neutrale Entscheidung, die gar nicht die Absicht hat, irgendetwas an eine andere kulturelle Person überhaupt auszuschließen, aber man macht das faktisch, weil man einfach nicht alles berücksichtigen kann, weil einfach die allgemeine Kultur einem prägt bis auf das kleinste Detail. Ihr arbeitet mit dem Begriff Neutralität, das was wir heute im Titel oder zumindest im Untertitel haben, ist ja die Ethik, das würde ich Stefan gerne fragen, jetzt betrachten uns Algorithmen logischerweise nicht individuell, sondern die Wertendaten aus, die Wertenmuster aus, die berücksichtigen Kriterien, wie Lorena sie jetzt gerade genannt hat, kommen zu statistischen Wahrscheinlichkeiten und das am Ende wird auf mich projiziert oder auf die anderen User. Ist dieses Verfahren an sich schon unethisch oder ist es einfach nicht neutral? Naja, ich habe ein bisschen Problem mit unethisch, also weil wir da Begriffe vielleicht zusammenschmeißen, also wir sprechen oft von Moral und Ethik Synonym, Ethik ist ja eigentlich die Lehre der Moral, also wir reden hier vielleicht meistens über moralische Probleme, die entstehen und ich denke, da hat Lorena vollkommen recht, dass wir allein schon bei der Auswahl eine Vorentscheidung getroffen haben, zum Beispiel, dass wir Sachen in Systeme eingeben, die kodifizierbar sind, die überhaupt eingegeben werden können oder quantifizieren, die quantifizierbar sind und dann haben wir aber andere Sachen, die eigentlich uns viel mehr als Menschen ausmachen wie Liebe, Freundschaft, wie will man das eigentlich in Datenpunkten ausdrücken und das wird aber gerade versucht, dadurch schließt man aber vielleicht bestimmte Leute aus oder man hat ein bestimmtes Bild dann geprägt von dem, was eigentlich einen Menschen ausmacht, insofern wäre Ethik eigentlich wieder der Versuch, darüber zu sprechen, also wir haben Zuschreibungen, die wir an die Technik richten und die Aufforderungen, deswegen steht es auch so explizit in den Leitlinien drinnen mit dem Diskurs, dass wir eigentlich sagen müssen, welche Vorannahmen haben wir eigentlich und sie bewusst machen, im Entwurfsprozess nicht erst später, wenn es schon implementiert ist, sondern als Teil unserer Jobbeschreibung, wie du es genannt hast, dass wir uns einen Schritt zurücktreten müssen und sagen, was könnte das für Auswirkungen haben und wen frage ich am besten? Und damit komme ich zumindest annäherungsweise an einen ethisch akzeptablen Code oder nicht? Deswegen unser Begriff der Leitlinien, dass wir glauben, dass wir am Ende nicht einen Code oder irgendetwas haben, was so starisch stehen kann, das ist ein Aushandlungsspiel. Die Gesellschaft ändert sich ja auch, wenn wir jetzt einfach nach Deutschland gucken vor 50 Jahren, da haben wir wahrscheinlich andere Aushandlungsprozesse oder wir hätten andere Grundannahmen gehabt. Das heißt, diese Variabilität sollte sich auch im Entwicklungsprozess widerspiegeln. Wir zementieren einfach Vorannahmen, Entscheidungen, wie sie auch vielleicht momentan herrschen und vielleicht gar nicht mehr herrschen sollten und das ist das eigentliche Problem, dass wir das aushandeln können, aber mit der Technik vielleicht uns den ein oder anderen Weg versperren. Also ich plädiere für die Offenheit der Aushandlungsprozesse. Welchen Begriff benutzt du für Jona, wenn du über diesen Sachverhalt sprichst Ethik oder doch eher Fairness, Gerechtigkeit, Ausgewogenheit? Ich bin total froh, dass du mir diese Frage stellst und ich bin total froh, dass du gerade die Frage mit der Ethik bekommen hast. Ich habe nämlich eine Stunde bevor ich hierher gekommen bin gedacht, ja vielleicht ist mir vorsichtshalber nochmal den Wikipedia- Artikel zu Ethik durch. Festgestellt, der ist sehr lang gestalten, sehr kompliziertes Thema zu sein. Hat dann auch noch mal drüber nachgedacht, was ist eigentlich der Unterschied zwischen Ethik und Moral und das stimmt natürlich, benutzen wir das sehr synonym und ich glaube, dass viele Ethik, Moral, Algorithmen macht, diese ganzen Begriffe haben Konjunktur und ich bin total froh, dass wir heute hier sind, um das vielleicht so gemeinsam ein bisschen auseinander zu klambuisieren, weil ich glaube, das ist sehr wichtig, darüber zu sprechen, was wir eigentlich wollen und Begriffe davon zu bekommen. Wenn ich über Diversität in der Technologieentwicklung spreche, geht es mir ja auch darum, einen wünschenswärteren Zustand zu erreichen, indem ich mehr, also ich denke, dass Diversität in der Technologieentwicklung sich in besserer Technologie äußert, die mehr Bedürfnisse anspricht, die mehr Bedürfnisse erfüllt, mehr Perspektiven damit reinbringt und damit zu einer lebenswärteren Zukunft beitragen kann, in der Technologie selbstverständlich eine große Rolle spielt. Also bei mir geht es um Fairness und was ich damit mache, These, ist ich Entwickler einer Ethik? Ist das stimmt das? Ich weiß mir mir nicht ganz sicher, aber ich habe da bestimmte moralische Vorstellungen, aus denen ich Leidlinien ableite, dafür wie Technologien in der Zukunft entwickelt werden. Aber der Begriff um den herum du das gruppieren würdest, wer eher Fairness oder Gerechtigkeit? Ja, ich bin auf ganz dünnes Eis. Na ja, Gleichberechtigung klar, Fairness und ja, soziale Gerechtigkeit. Nun liegt es uns ja allen nah und anders kommen wir auch nicht durch einen normalen Werktag, Komplexität zu reduzieren und anhand der Erfahrungen, die wir gemacht haben, der Dinge, die wir gelernt haben zu entscheiden. Ich mach das jetzt so oder so, ich vertraue dem oder nicht, ich gebe dir die 20 Euro oder nicht. Permanent müssen wir uns für irgendwas gegen irgendwas entscheiden. Wenn mir jetzt bei der Suche im Netz zum Beispiel Werbung für Diätprodukte angeboten wird oder für Mode, ist das per se stereotypisierend oder ist das nicht ganz vernünftig, weil der Wärmbel treibende irgendwie weiß, das ist eine Frau, die ist in dem und dem Alter und das und das könnte ihr gefallen wie bei Amazon, andere mochten das auch. Also, findet ihr solche statistischen Wahrscheinlichkeiten schon fragwürdig oder gehen die klar? Also, ich würde vielleicht ergänzen zu dem, was Fiona gesagt hat, vielleicht werden wir uns dann im Klaren, was das eigentlich ist. Also, Werbung ist Manipulation und jetzt können wir uns darüber unterhalten, ob wir das eigentlich toll finden, manipuliert zu werden. Es kann ja auch zu unseren Gunsten sein, also wenn man es positiv wendet, dann spricht man von Nudging. Also, wir werden manipuliert auch im positiver Hinsicht, dass wir vielleicht eine Sitzauforderung oder so etwas haben, man stellt etwas hin und implizit meint man etwas damit. Aber nichts ist so trotz, ist das eine Manipulation. Da können wir uns fragen, ist es jetzt wirtschaftlich begründet und dann finden wir es in Ordnung. Wir haben das jetzt für uns entschieden, es ist in Ordnung. Werbung ist in Ordnung, wir gucken raus und wir sehen irgendwie Leucht-Reklame und das ist super. Aber kaum sehen wir hier, ich habe gerade jemanden rumgeführt und der war verwundert über die ganzen Graffiti. Das ist auf einmal in manchen Teilen nicht so akzeptiert, weil es muss in gesetzten Lettern sein von der Werbeagentur, dann darf der öffentliche Raum mit Buchstaben versehen werden. Aber wenn man eine Spraydose nimmt, dann auf einmal nicht. Das heißt, es ist aber beides im Prinzip dasselbe und nur in dem einen Fall haben wir uns darauf geeinigt, das ist in Ordnung. Das heißt, Werbung in Ordnung. Sobald es aber für politische Zwecke genutzt wird, dann haben wir plötzlich diese Debatte um Microtargeting und wir werden beeinflusst in unsere politischen Entscheidungen Technisch ist das absolut dasselbe. Und das wäre jetzt ein Play-Doh jeder für nochmal alles zu überdenken und nicht einfach die Sachen zu fressen, die man gewohnt ist. Erstmal sich bewusst zu werden, dass das zum Beispiel auf technischer Ebene dasselbe ist, dass das eine eben gewünscht ist und das andere eben nicht und darüber sollte man sprechen dann um über politische Manipulation zum Beispiel oder nicht. Und dann die Technik folgt dem eigentlich oder sollte dem Diskurs dann eigentlich folgen. Momentan ist ja eher anders rum. Wir sehen, dass technisch etwas möglich ist und machen was und jetzt müssen wir hinterher ein bisschen diskutieren. Die Anekdote hat es ja ganz toll gezeigt vor zehn Jahren also wo eigentlich die Entscheidungen getroffen wurden hat noch niemand groß über Ethik und Philosophie gesprochen in der Informationstechnik, aber das ändert sich ja gerade. Ich habe es schon gesagt, Eingangs Lorena, ihr sprecht ja über algorithmische Entscheidungsfindung, das ist euer Terminus mit dem so verstehe ich das auch KI ihr glaube ich lieber um Schiff sondern eher sozusagen auf dieses Prozesshafte raus wollt. Aber ich habe mich gefragt, ist das wirklich das Problem oder ist das Problem nicht eigentlich, bevor der Algorithmus geschrieben wird die Auswahl und die Beschaffenheit der Daten mit denen der trainiert und gefüttert wird? Also wir reden eher gerne von Automatisierungsverfahren und das mag ein komplexer Automatisierung gemeint damit gemeinsam oder einfacher Automatisierung damit gemeinsam. Ich glaube ich versuche um ein bisschen aufzuholen. Ich glaube wir müssen unterscheiden zwischen der ethische Impact von bestimmter Automatierungsverfahren und dann in der Gestaltung von Automatisierung tatsächlich die Situation wo man etwas aus ethischen Gründen macht oder man einfach Bias hat. Also sprich eine kulturelle Prägung die dazu führt dass man nur bestimmte sieht und anderes übersieht und das daraus einfach an ethischen Konsequenz eine ethische Konsequenz entsteht die nicht intendiert ist wo man nicht sagen kann das war einfach eine unethische Handlung sondern man hat nicht dieses Training als Entwickler oder als Daten Wissenschaftler und so weiter und so fort. Das ist die eine Sache. Dann wenn wir Automatisierung reden wir gucken uns das ganze holistisch an und sind der Meinung dass man nur das interdisziplinär machen kann. Denn man guckt sich nicht weder die mathematische Formel wir gucken nicht nur die mathematische Formel wir gucken auch die Übersetzung in Softwarecode wir gucken auch die Trainings Situation wir gucken auch die Daten Banken aber wir gucken auch die gesamte Entscheidungsarchitektur in dem diese Automatisierungsverfahren eingeführt worden ist. Denn es gibt viele Situationen denn es ist alles okay technisch betrachtet aber die Atemweise wie Menschen damit umgehen ist wiederum nicht okay. Hast du ein Beispiel dafür wo das auseinander klafft? Ja also es gibt verschiedene Beispiele und ich glaube dass es daran liegt wenn ich das vornehmen kann. Es liegt vor allem daran dass wir uns momentan oder immer eigentlich in der Debatte auf die statistische Relevanz konzentriert haben von Technologie und nicht auf die soziale Relevanz der Technologie an sich konzentriert haben. Man kann sich zum Beispiel anschauen die Nullerjahren im Score in Bereich. Da hat die Gesellschaft ein neues menschliches Profil gehabt durch die Kommerzialisierung des Internets gab es der so genannte Smart User. Das war jemand der einfach erst mal Sachen verglichen hat sich Angebote zu kommen lassen hat und dann erst dann gekauft hat. Das war neun das war erst möglich weil das Internet da war und man sowas machen konnte auf schneller Art und Weise. Das hat ein sogenanntes Spielover Effekt auf die Wirklichkeit im Analogen haben angefangen die Menschen genau dasselbe zu machen. Das heißt wenn sie in einem Dorf waren oder in Klarenstadt die sind nicht zu Sparkassen gegangen da wo die Familie immer war und haben einen Kredit beantragt und sie sind zu vier bis fünf verschiedene Sparkassen gegangen und haben einen Kredit beantragt also angefragt was sind die Konditionen. Daraufhin haben die Leute auf der andere Seite der Schalter erst mal geguckt und wir mussten erst mal den Score kennen um zu wissen was für Konditionen kann ich dem Mensch geben. Und interessant dabei war dass damals die Schufer die wusste nicht dass das passiert und es wurde einfach als Event übermittelt. Das bedeutet dass der Score der Person nach der zweite Abfrage in Keller war. Weil die zwei Binschkredit nehmen. Genau es wurde immer angenommen es ist ein Kredit und das Problem dabei war natürlich nicht immer Algorithmus man hat in der Datenbank gemerkt hier stimmt was nicht aber man konnte das nicht dickleg machen und erst wenn man es geschafft hat die Sparkassen Managers sich zusammen mit der Schufer Menschen zusammen setzen und einfach erklären wie der Prozess bei denen ist wird es denen klar ach Moment ich muss der menschliche Prozess so gestalten. Das erst mal gibt es eine Kondition in Abfragen der Schufer damit ich weiß was für Konditionen ich anbieten kann und dann erst bei Kreditvergabe schick ist eine andere Art von Mitteilung an die Schufer das ist nämlich ein Event wo ich sage Kredit hier vergeben. Und da merkt man das das ist kein technisches kein technisches Problem es ist auch nicht von der Technik verossacht worden sondern es ist einfach von einem schlechten Management Beschreibung entstanden und das muss man genau so gucken denn wenn man einfach muss sich auf der Algorithmus konzentriert oder auf die Datum wird man in den Dunkel tapfen. Dasselbe gilt für für viele andere Sachen es gibt ein weiteres Beispiel das ich sogar noch relevanter finde es gab dieses eine Beispiel aus den USA Kompass das war eine Software die Richter benutzt haben um einfach einzuschätzen wie hoch das Risiko ist wenn sie jemand auf Bewährung gewährleisten ob sie diese Person wieder kriminell wird und da hat sich die gesamte Community versucht darauf zu konzentrieren zu gucken wie ist das statistisch ist dieses Software rassistisch ja oder nein und es gab total viele Architikeln darüber und man kann es festgestellt Krishna Kumadi hat eine sehr spannende Forschung gemacht indem er es sagte naja es gibt etliche Formen für Fairness und es gibt kein Modell das in der Lage ist alle diese Formen für Fairness zu genügen die einzige Gruppe die meines Erachtens eine geile Entschuldigung Research gemacht hat und überhaupt nicht in der Öffentlichkeit so richtig wahrgenommen würde waren Leute aus Harvard die haben einfach geguckt wie gehen Richter mit dieses Software um wann lehnen sie Vorschläge der Software ab weil am Endeffekt worauf es ankam in dem Beispiel ist zu verstehen ist der Algorithmus derjenige der manipuliert unter welche Faktoren glauben Richter den Vorschlag unter welche Faktoren nicht und was hat man da festgestellt oh Überraschung die Richter haben Vorschläge abgelenkt in dem es so Sachen stand wie als Afroamerikaner könnte die Person auf Bewerbung frei werden weil man festgestellt hat dass es auch der Faktor Mensch da ist und dass der Menschen sehr gerne auch Algorithmen nutzen um ihre eine Vorurteile nicht erklären zu müssen das heißt diese Intersektion ist enorm wichtig um zu verstehen der Mensch war dem Monitor war dann im Grunde das Problem der die Architektur genutzt hat um weiter zu spinnen was er denkt und wie er sowieso urteilen wird das Problem ist wir wissen nicht genug wie sehr Algorithmen uns manipulieren und unter welche Umstände sie uns manipulieren wir haben noch nicht genug Forschung dem sagen kann unter diese Umstände wird man den Algorithmus glauben und unter diese Umstände unter diese Faktoren wird man den Algorithmus nicht glauben und das ist das was am Endeffekt für uns relevant ist um wirklich zu vorstellen wo die soziale Probleme mit dieser Technologie tatsächlich entstehen tatsächlich erforschen wir das oder stellen wir diese Fragen während wir die Technik nutzen also das ist ja eigentlich nicht so die geordnete Reihenfolge ich würde euch gerne fragen habt ihr eine Frage möchte jemand vorkommen wir nehmen auch Fragen aus dem Saal aber wir nehmen auch Menschen die sich zu uns setzen noch ein bisschen früh ich versuche es später wieder Fiona ich würde dich gerne fragen wir hatten ja jetzt schon verschiedene Sachen berührt Eingangs bei Theresa ging es ja auch drum dass offenbar in ihrem Fachbereich Philosophie der Ansicht war es gibt da irgendwie ein Bereich für die Mädchen und ein Bereich für die harten Jungs wie ist das jetzt mit Blick auf die Hacker-Szene oder wahrscheinlich müsste man inzwischen eher sagen Szenen das war ja zumindest mal ein Hort und unhinterfragter Männlichkeit wie ist das jetzt anders in Teilen das war es mal aber lustigerweise war es auch mal nicht der Ort der unhinterfragten Männlichkeit und ich glaube dass das total wichtig ist also sprichst du richtig an wir alle ich erzähle ja niemandem was Neues damit dass es ein großes Geschlecht der Ungleichgeficht gibt oder so eine Genderdysparität in der Technikentwicklung in der Hacking-Szene in der Programmierbranche und ich glaube es ist ganz wichtig und das ist eigentlich analog zur Technologieentwicklung oder zu Algorithmen das ist ja Menschen gemacht dass es heute so wenig Frauen gibt in der Technologieentwicklung also es ist ja kein Naturgesetz dass da weniger Frauen gibt sondern es war eigentlich am Anfang waren die wesentlicher Bestandtheit der Entwicklung von Computern es gab auch total viele Frauen die an ganz revolutionären Entwicklungen beteiligt waren aber es gab halt irgendwann eine Zeit in der sich das umgekehrt hat das hat historische und soziale Prozesse als Ursache und dieses Ungleichgewicht zur Folge gehabt da gibt es unterschiedliche Thesen dazu einmal dass der Computer dann einzugiert in den Privathaus halt aggressiv an Männer und Jungs angeworben wurde und man dadurch halt so ein Wissen das Unterschied hatte in der Schule das zieht sich fort das wird ein Narrativ gebildet wie wir alle wissen sind Stereotype sehr sehr stark und wirkmächtig und auch Werbung spielt eine ganz ganz große Rolle daran lässt sich eigentlich ganz gut ablesen wie sich das Bild verteilt hat eigentlich der Punkt den ich machen möchte ist es gibt ja keine biologischen Gründe dafür dass es weniger Frauen gibt in der Technologieentwicklung die haben eigentlich als Frauen angefangen haben zu studieren und auch immer mehr Teil der Arbeitskraft wurden haben die eigentlich genauso viel prozentual mehr Informatik gelernt und angefangen zu studieren wie Jura oder Chemie ein Chemie in Biologie ist übrigens ungefähr 50 Prozent Frauen in den deutschen Universitäten aber es ist halt Menschen gemacht genauso wie also genauso wie auch Technologie Menschen gemacht ist und was wir daraus lernen ist ja eigentlich ein sehr empowernder Gedanke wir können das also auch wieder ändern da bist du ja bei das ist ja dein Ansicht und siehst du die Früchte deines Tuns oder würdest du sagen ja lass nochmal 10, 20 Jahre rumgehen also ich hatte ja auf die Frage hin was in zehn Jahren mit Informatik und Diversität sein soll ich ja gesagt ich will in zehn Jahren über den Kram nicht mehr reden müssen aber so grundsätzlich klar wir sind auf einem guten Weg denke ich ich glaube die Wirkungen potenzieren sich gerade an vielen verschiedenen Ecken und Enden aber wir haben noch einen langen Weg vor uns aber die Annahme das soziale Zusammenhänge und darunter natürlich auch eine sehr zentrale Kategorie für unsere Gesellschaft geschlecht eben auch ihren Weg in diese Technologien hineinfinden ich glaube das fällt uns gerade sehr auf die Füße wir sehen das an vielen Orten und stellen unserem Alltagsleben dass es eine Rolle spielt wer Technologie entwickelt und ich bin froh dass wir zu dieser eigentlich ziemlich simplen Erkenntnis kommen weil ich verfolge den sagen wir Algorithmen Diskurs oder die Diskurse jetzt seit einigen Jahren und ich habe immer wieder das Gefühl es schleicht sich immer wieder so ein Technetetaminismus rein in die Diskussion um mächtige Algorithmen die KI, die uns die Arbeitsplätze wegnimmt mordende Drohnen oh Schreck als wären das eigene Agenten die wie so eine Natur weit auf uns zukommen und ich finde diese Einstellung sehr gefährlich weil es uns wieder in so eine passive Rolle zurückdrängt und wünschen mir natürlich dass wir das ändern da würde ich tatsächlich am Ende gerne noch mal drauf kommen und tief ich wünsche mich jetzt das halt am Mikro weil ich eigentlich über den Hekelkurs der Informatik eigentlich erzählen wollte denn der Feld Informatik und Gesellschaft wurde ähnlich belächelt und es gab schon zahlreiche Studien genau zu diesem Feld schon vor 20 Jahren also Britta Schinzel in Freiburg zum Beispiel oder Heidi Schellhofer es sind ganz tolle Projekte gestartet die sind aber mit der Emeritierung zum Beispiel der Professorin dann einfach mit abgeschaltet worden das heißt die Server und die Erkenntnis und die Studien sind nicht mehr verfügbar es gibt noch Bücher also für alle im Livestream da draußen das ist dieses Informations-Device toter Baum und die sind aber auch nicht überall verfügbar die sind teilweise nicht digitalisiert weil der rechte Inhaber zum Beispiel nicht mehr existiert das heißt wir können die auch gar nicht dürfen die nicht digitalisieren dann gibt es wenige Exemplare die werden noch gehandelt und das wäre etwas was ich mir eher wünschen würde auch nicht nur diese neue Erkenntnis sondern vielleicht auch die Erkenntnis dass wir schon mal weiter waren aber wenn du sagst wir waren schon mal weiter es gibt die Forschung es gab die Personen auch die das vorangetrieben haben was merkst du denn jetzt davon beispielsweise in den Studiengängen Informatik nach keine Ahnung 20 Jahren Girls Day nach der Forschung die es bereits gibt siehst du da ich will nicht sagen ein Break-Even aber eine Veränderung oder würdest du sagen das ist tatsächlich alles noch Arbeit die zu tun ist Fiona war ja ich weiß nicht optimistisch oder pessimistisch als sie meinte in 10 Jahren müsste sich nicht mehr drüber reden ich war eigentlich optimistisch dann wurde ich unterbrochen als ich eigentlich zu dem schöneren Part kommen wollte genau also ich glaube die Tatsache dass Technologie durch Soziales gescheitet wird zeigt sich eigentlich noch viel spannender darin in den Bereichen die soweit ich das sehe eher außeruniversitär sind wo Frauen programmieren lernen und wenn ich über Diversität spreche dann rede ich über Dimensionen Geschlecht Mann, Frau es hat wesentlich mehr Dimensionen aber das ist mein Forschungsgebiet kleiner Disclaimer ich meine es gibt so Initiativen wie die Rades Girls die seit ungefähr sechs Jahren glaube ich in Berlin immense Arbeit darin machen Frauen programmieren beizubringen in anfängeren Kursen und die Frauen gehen teilweise dann zwei Jahre auf Teilzeit lernen weiter programmieren gehen als Entwicklerinnen in Berufe rein oder entwickeln gerade der Open Source Bereich ist da eigentlich ganz spannend entwickeln eigene Anwendungen eins davon ist speakerin.org kennt ihr vielleicht weil ich habe mich darüber gefunden das ist eine Datenbank von weiblichen Speakerinnen weil ein paar Frauen kein Board mehr drauf hatten da ständig überall Penet stattfinden auf denen keine Frauen sitzen sagen wir haben niemanden gefunden zum Thema Feminismus oder Wirtschaft oder Digitalisierung ein total spannendes Projekt das eben aus ihrer eigenen Perspektive heraus entworfen haben weil sie eine Bedürfnis gesehen haben oder eine Freundin von mir Marie-Louise Koch-Sieg hat ist selber Soziologin hat viel über Zyklus Tracking Apps geschrieben hat dann programmieren gelernt und schreibt jetzt eine bessere Open Source App in Rades und da sieht man halt an ganz vielen Stellen dass sich das umkehrt und dass das auch auf jeden Fall reversibel ist also wie gesagt wenn wir uns klar machen die Technik wurde nicht männlich geboren sie wurde männlich gemacht dann kann man das auch umkehren indem wir halt mehr Diversität dort reinbringen und neue Perspektiven und ich glaube dass das wie du ja schon angesprochen hast es spielt halt eine Rolle wer sitzt denn eigentlich dort ich glaube nicht dass es die oder der prototypische Entwickler ist der dann die Entscheidung trifft ich glaube das ist ein Zusammenhang und eine Rahmenbedingung eine Umwelt ein kultureller Wertekanern und dann vielleicht auch die Person die wirklich die Entscheidungen treffen aber was die wichtig finden was nicht welche Probleme sie vor allem erkennen und welche nicht das spielt eine Rolle also da bin ich auch gleich fertig ein sehr prominentes Beispiel jetzt und auch sehr akut ich weiß aber die Artikel gelesen über die Smart Home Technologien das wurde in New Yorker gefietschert es gab vor zwei Monaten glaub ich eine Studie die dort rezipiert wurde und die darauf eingeht dass es in Frauenhäusern in den USA immer mehr Berichte gibt von Frauen die sagen ich erfahre häusliche Gewalt durch Haushaltsgeräte die werden überwacht die werden abgehört die werden kontrolliert schikaniert über Smart Home Devices und teilweise sind die sogar Ex-Partner die nicht mehr in diesen einen Zugang mehr zu einer Wohnung haben können trotzdem die Thermostate bedienen und die Wohnung auf 40-50 Grad aufheizen und die ist total schaurig aber die Frage ist halt hätte man das nicht vielleicht auch mitdenken können hätte man nicht im Innovationsprozess an irgendeinem Punkt drüber nachdenken können was ist das Schlimmste was passieren könnte und wenn man da nicht auf die Idee kommt dass es interessant ist dass das beim Haushalt nicht der Fall ist beim Auto sind wir sehr geneigt immer anzunehmen was ist das Schlimmste was passieren könnte ja ich würde tatsächlich Stefan gerne nochmal fragen das zu spiegeln also auf die Studierendebene was siehst du was ich da tut oder was ich vielleicht nicht tut als ich angefangen habe zu studieren waren wir glaub ich noch einstellig im Prozenter und jetzt sind wir zwei-stellig in der Informatik zumindest an der Humboldt-Universität zu Berlin war das so ich bin vielleicht auch in der Filterblase weil ich eigentlich mehr in einer Community unterwegs bin die erst mal guckt was macht die Personen wie begeistert sie sich für das Thema und so die die Kategorie Geschlecht glücklicherweise in der Community in der ich mich für Wege nicht so eine Rolle spielt also auch die eindeutigen Zuordnungen zu bestimmten Geschlechtern also wenn man beispielsweise du hast ja einen Eingangsabwähnen CCC wenn man auf den Chaos Communication Congress geht der immer wieder sehr schön ist auch in der Erfahrung dass da einfach großartige Menschen sind die einfach mit Leidenschaft Dinge verfolgen weltbesser machen wollen und das ist eine so diverse Community ich weiß da gibt es auch Diskussionen aber diverser als vielleicht wenn man mal so draußen langspaziert oder so oder auch Berlin ist schon eine Filterblase ich habe jetzt gerade Gäste von extern weil wir morgen eine Tagung planen der aus Hongkong angereist ist und der hat auch schon gesagt das sieht einfach schon schon weniger Uniform und diverser aus einfach dieser erste Eindruck dieser Gesellschaft insofern kann ich dir keine fundierte fundierte Antwort geben nur eine persönliche ich glaube das ist also ich merke selber dass sich das verändert dass das weniger im Vordergrund steht also die Frage des Geschlechts dass auch sich das zum Glück ändert schon auch schon an Schulen dass man nicht mehr sagt das ist jetzt nur noch Jungskram okay dann vielen Dank für den Exkurs in eure beiden Filterblasen jetzt Hard Up Break jetzt würde ich gerne mit Lorena ein Begriff besprechen der natürlich dann auch immer durch die Debatte geistert ganz was anderes Transparenz und bei euch lesig ADM Prozesse müssen nachvollziehbar sein damit sie demokratischer Kontrolle unterworfen werden können wer soll denn hier nachvollziehen und inwiefern geht es da um eine Forderung nach Transparenz wenn ihr das sagt okay ich versuche es mit ein Metapher als als die Autos anfingen in breit sich breit zu kommerizieren zu streuen da halte man die Situation in den Großstädten dass es mehr das ist unfassbar viele Pferde gab gleichzeitig zu dem Zeitpunkt mehr als auf dem Land weil das waren die Transport also das war die Transport von Entstellungen oder von der Kommerizierung der Autos und das Autofahrer war nicht nur erwachsene Menschen sondern waren auch Kinder die die insbesondere LKWs gefahren haben weil damals gab es Kinderarbeit und gerade die Kinder waren besonders gut weil höre ich manipulierbar und die haben richtig große LKWs gefahren wir sind damals gab es keine Spielplätze das heißt die Kinder haben nachhause die Straße gespielt die Pferde täglich sind eine unschierbar Anzahl von Pferden gestorben auf die Straße gelegen die erste Mende des Tages sozusagen dann abgeholt würden und es gab auch keine Verkehrsregeln keine Ampeln nichts das heißt es war eine krass Situation man ist als Autofahrer dann auch immer für alles verantwortlich gewesen rein rechtlich und das war ein absoluter Chaos und es gab viele verschiedene Ansätze damit hier der Lage zu werden und die Person die im Prinzip das gemacht hat was heutzutage Verkehrsregeln ausmacht das war der ehemalige Vize für Finanzen von Ford der ist dann in der Stadt die Treu drüber gewechselt der in der Verwaltung und er hat einfach 3 Fragen gestellt erst mal was kann jeder machen also was kann man als Fußgänger machen was ist in seinem Aktionsradios Handlungsparameter möglich dann was kann jeder wissen und was kann jeder verantworten und dem entsprechend hat er einfach diese Verkehrsregeln entworfen und geguckt es gibt diese Regeln und diese Verantwortung für den Fußgänger für die Fußgänger es gibt diese Regeln und Verantwortung für den Fahrrad der kann nicht für alles verantwortlich sein der Fußgänger ebenfalls nicht und dann der Regulierer oder der Staat der hatte auch ebenfalls eine Verantwortung zugewiesen bekommen für die Infrastruktur von ja Ampeln und so weiter und so weiter okay ich verstehe das Bild ein Verantwortungsbereich wird strukturiert und mit Regeln versehen die für alle einsehbar sind trotzdem würde mich noch mal interessieren wie seht ihr wie sieht Algorithm Watch diese Forderung nach Transparenz also ist das genau wenn ich das weiter auslöse muss bei dir positiv klingeln oder wo du sagst nein wir reden nicht über Transparenz wir reden über Nachvollziehwachheit und es ist ein Grund weswegen wir dieses Wort benutzen und nicht Transparenz Nachvollziehwachheit bedeutet und auch da diese verschiedene Ebenen habe ich beschrieben weil es darum ging dass nicht jeder alles verstehen musste die Ingenieure mussten bestimmtes Verstellen von den Autos die Fußgänger mussten Verstehntes Verstellen von dem Auto und der Regulierer mussten Verstehntes Verstellen von dem Auto und dasselbe brauchen wir im Automatisierungsbereich man muss nicht biochemisch Milch verstellen um sie zu kaufen als Verbraucher aber warum sollte man als Verbraucher verstehen wie ein Algorithmus gemacht ist das nutzt einem nichts was wir brauchen sind Verkehrsregeln als Nutzer und entsprechende Verantwortungszuordnungen und da sind wir in diesem Bereich alle noch in einer sehr unterkomplexe sozusagen Ausgangslagende Diskussion wir müssen verstehen dass es verschiedene Figuren gibt und zu diesen verschiedenen Figuren und Akteuren in diesem Automatisierungsverfahren besteht ziemlich ein bestimmtes konkretes Verantwortungsbereich zu und verschiedenste sozusagen Sachverhalte die einem verstehen muss und das muss expliziert werden das ist das was wir versuchen jetzt politisch auf EU-Ebene aber auch in Spanien und in anderen Ländern zu verstehen was kann der Nutzer wissen was sollte der Nutzer wissen und da gibt es ja verschiedene Ansätze ein Wort das nach wie vor und auch durch die Presse geistert ist der Algorithmus TÜV also du sprachst ja über Nachvollziehbarkeit du hast gesprochen über Verantwortlichkeit die sichtbar gemacht wird Heiko Maas da noch Justizminister sagt so was können wir brauchen in der SPD fand das glaube ich ganz guten Anklang die Verbraucherzentralen wünschen sich das auch du auch Stefan nein nein das ist die kurze Antwort die lange Antwort ist oder vielleicht positiv gewendet ich glaube das ist der Start einer längeren Debatte ich glaube das ist nicht die Lösung sondern das ist jetzt ein Vorschlag und jetzt können wir vielleicht darüber debattieren was ist denn heißt was ist denn damit verbunden mit so einem Algorithmus TÜV also ein Siegel dann ist da wieder dann da guckt da jemand drauf und gibt dann hier das ist jetzt geprüft und geprüfte Sicherheit und so etwas ich fände es dann spannender wenn man über die Verfahren dann nachdenken würde genau die Verfahren der Nachvollziehbarkeit die du angesprochen hast also was wann wäre denn so ein aber wer vollzieht denn nach du hast ja gerade gesagt natürlich bin ich heilos überfordert wenn ich wirklich für alles zuständig sein soll alles überprüfen soll als Verbraucherin aber wenn ich es nicht bin genauso wenig wie bei Pharma Produkten das war dein anderes Beispiel wer ist es dann wer übernimmt diesen diesen Nachvollzug kann ich mir eine Frage stellen also dieses TÜV-Ding vielleicht könnt ihr das beantworten es denn TÜV-Den wir die meisten von uns kennen das ist ja der Auto-TÜV und da geht es ja um Überwachung der Sicherheit also das der die Überprüfung ob ein Auto sicher ist und verkehrstaugt und niemand anderes gefährdet ich ist das nicht ein ich glaube man muss sich das immer einmal klar machen weil dann kann so einen Algorithmen-TÜV natürlich total Sinn ergeben wenn es um die Sicherheit geht also so meinetwegen IT Security oder so wobei auch ein TÜV geprüft das Auto dann jemanden überfahren kann also das stimmt natürlich und wir debattieren hier genau diese beiden aber die Frage ist ja gibt es günstige Ausgangsbedingungen dass dieses Auto jetzt einfach mal die Bremsen nicht funktionieren und also so man kann ja das schon so ein paar Mechanismen in die Wege leiten klar man kann mit allem eine Person weiß schon aber und auch mit Algorithmus aber ich glaube dass es ja die Sicherheit ganz gut überprüfen kann aber ich meine dass es halt irgendwie finde ich auch ein mehrwilliges Konzept und Verständnis von Algorithmen wenn wir versuchen die Sicherheits überprüfen und glauben dass wir damit ein besseres Zusammenleben gestalten können generelle Ablehnung des Begriffes und das Konzept des Tüffens nee, nee, nee, nee, nee, nee nee, ich glaube schon wenn wir uns klar machen dass es da um Sicherheit geht also ich glaube einfach dass er verwendet wird als eine Bedeutung für oder als ein so so ein Werkzeug dafür das abzuwenden was Algorithmus Schlimmes machen können wenn man den verwendet für Sicherheit okay okay gut, diese Einschränkung nehmen wir auch noch zu Protokoll aber dann würde mich doch nochmal interessieren wer garantiert denn diese Nachvollziehbarkeit eine Ethik-Kommission ein Expertenrat wo liegt die Verantwortlichkeit und die Nachvollziehbarkeit dieses Sektoral dieses Technologie ist sehr kontextabhängig ein Algorithmus das für Filmkuratierung benutzt werden kann kann auch für in der Gripsforschung verwendet werden wenn man sich den Algorithmus anschaut hat man noch gar nichts gewusst über wie es tatsächlich implementiert wird deswegen macht so ein Zertifizierungsverfahren wenn ich sind weil die Kiste muss man live sehen die Datenbanken sind ständig im Fluss wie es trainiert worden ist und so weit es gibt etliche Aspekte die gesehen werden muss und nicht nur algorithmisch also mathematisch nicht nur programmiertechnisch sondern auch im Punkt das Output das es bringt das kann auch nur eine Person die sich in Statistik aus dem Sektor auskennt das heißt wir rennen hier über eine Situation in dem mehrere Berufsprofile notwendig sind um die Technologie richtig einschätzen zu können es reicht nicht mit einem Ingenieur das ist der erste Punkt der zweite Punkt mit einer Zertifizierung macht es wegen keinen Sinn sondern eher mit Auditi Regierungsmechanismen und dann der vierte der dritte Punkt dazu ist es gibt bereits viele Sektoren in dieser Gesellschaft die bereits vom Kontext sehr über Prüfung und Aufsichten vornehmen im Gesundheitsbereich in der Finanzbranche im Versicherungsbereich und so weiter und so fort sich kennen sich mit Statistik aus weil das ist Teil ihrer Aufgaben und eigentlich sind sie durch Haus in der Lage sektoral einzuordnen ob diese Automatisierungsverfahren okay sind oder nicht das wäre etwas Sinnvolleres und das einzige was man da sich anschauen musste ist sind sie entsprechend recht technisch ausgestattet braucht sie noch mehr haben sie das entsprechende Personal um diesen Aspekt des Verfallens dass sie jetzt auch überprüfen auch mit zu berücksichtigen das ist eher das was Sinn macht weil allgemeine Überprüfung über ein algorithmischem System so macht es meines Erachtens keinen Sinn kann ich eine Nachfrage stellen was ich mich dann aber frage ich meine okay wir möchten gerne Mechanismen wir reden ja darüber wie man das machen könnte wie das aussehen könnte aber ich glaube wir beantworten ja noch nicht die Frage in welche Richtung eigentlich in dem geheim Briefing das wir bekommen haben gab es jetzt so eine Fragestellung zu ist nicht so Regulierung ich finde übrigens dass Regulierung eine total tolle Sache ist über die wir neu nachdenken sollten die hat so ein etwas angestaubtes Image so diese ganzen Tech-Szene finde ich total blöd weil wir uns eigentlich das leisten sollten und das in Anspruch nehmen sollten dass es Regulierungen gibt die vielleicht schon negative Folgen im Ansatz ersticken jedenfalls gab es da so eine Fragestellung zu ob nicht diese Regulierungen und Einschränkungen und das ist die Berücksichtigung von Menschenrechten und der Schutz dessen so ein bisschen Innovationsfähigkeit von Technologien einschränken weil ich dachte was für Technologien wollen wir denn also ich möchte eigentlich keine Innovationen die in irgendeiner Form in Oppositionen gegenüber Menschenrechten steht und ich glaube was wir damit ja noch nicht beantwortet haben ist ja eine viel größere gesamtgesellschaftliche Frage in welche Richtung soll Effizienz gehen ich habe mal zu mich mit Algorithmen im Krankenhaus beschäftigt und da gab es Diagnose-Systeme und digitale Visite und so weiter und so fort haben wir das alles angeschaut haben wir das erklärt wir können viel schneller die Röntgenbilder wie alle kennen das wir machen einen Röntgen da kriegen wir irgendwie so eine steinzeitliche CD damit müssen wir dann irgendwie auf den nächsten Überweisungsschein warten und so weiter und so fort das geht alles im Krankenhaus schneller weil jetzt alles digital ist in der Datenbank die Frage ist doch aber soll dann der die Ärztin mehr Zeit pro Patientin haben oder mehr Patientinnen pro Zeit-Einheit und ich glaube das sind ja viel generellere Fragen die wir damit noch gar nicht richtig adressieren und wie lösen wir das aber das finde ich tatsächlich eine sehr spannende Frage aber ich würde trotzdem gerne noch mal darauf rumreiten wie wir diese sektorale Nachvollziehbarkeit gewährleisten du hast ja gesagt es gibt Institutionen es gibt Bundesämter für alles Mögliche einen Punkt den du angesprochen hast war haben die also die haben das know how sagst du aber du sagst haben sie genügend Personal und die Frage die du auch noch angesprochen hast ist sind sie rechtlich gut genug ausgestattet würdet ihr Lorena und Stefan sagen es braucht da noch eine neue andere fortgeschriebene Rechtsprechung oder reicht das was wir haben wir müssen es nur anwenden also wir haben bereits viel Regulierung zu Algorithmen in dieser Regulierung steht aber nicht Algorithmengesetz und steht nicht der Algorithmus soll so aussehen steht im Text Methode Doppelpunkt Baselabkommen das Baselabkommen ist ein internationaler Vertrag für die Finanzbranche das seit den 80er Jahre existiert und der den Banken sehr genau vorschreibt was für eine Art von Algorithmen sie verwenden müssen und wie sie die Datenbanken zu bedienen haben das ist eigentlich ein genau genommener Bad Practice wie man Regulierung macht und das ist genau der Punkt was vielleicht mit diese Frage der Innovationskiller gemeint war momentan was wir erleben bei dem Regulierer ist das sehr technikorientiert reguliert und was man verstellen muss finde ich aus meiner Sicht ist dass wenn man Prinzipien in eine Technik implementiert diese Prinzipien sind nicht in der Lage zu contextualisieren sondern sie gelten über alle Kontexte hinweg und eigentlich die ethische Prinzipien sind aber das Gegenteil davon bei ethischen Prinzipien geht es um die geradezu um die Kontextualisierung das ist das was ein Richter macht um zu verstehen er muss verstehen er muss viel contextualisieren und zu verstehen ist diese sozusagen Paragraf anzuwenden oder diesen anderen Paragraf und deswegen haben wir diese Innovationskiller Kritik finde ich und zwar zu Recht im Gesetz wenn man tatsächlich meint ich kann ein sozialer Konflikt das durch Technologie sozusagen zustande kommt oder wo man Technologie benutzt um diese soziale Konflikte irgendwie auf irgendeiner Art und Weise zu managieren deswegen lösen weil ich die Technik reguliere und das ist etwas wo ja gerade für EU-Ebene aber auch in Deutschland an viel zu hohen Aufgemeint hat und ich glaube es ist in Form von regulatorisches Kapismus wo man meint wir mussten uns nicht auf den Konflikt begeben sondern wir sagen Datenminimierung und das wird schon gut gehen das heißt es ist ein Plädoyer gegen eine neue also du sagst wir haben die Gesetze wir müssen sie anwenden und eben diese Kontextualisierung die sind Transfer leisten wir mussten identifizieren gibt es soziale Konflikte die jetzt nicht reguliert worden sind und Regulierung bedürfen das ist der erste Punkt und da gibt es wenige würde ich sagen und da wo wir bestimmte soziale Konflikte bereits Regulierung haben müssen wir nur beprüfen muss man Anpassungen machen weil jetzt einfach Automatisierungsverfahren gibt die bestimmte neue Aspekte dazu bringen so ich habe gesehen Stefan Knuppert ja weil ich auf einen Reizwort eigentlich reagieren wollte weil das du genannt hast also das Verstehen zum Beispiel das Verstehen der Paragrafen und so etwas das wäre natürlich genau der Schlüssel den ich zur Antwort vorschlagen würde das ist mal wieder muss es die Bildung richten was sie schon alles eigentlich was sie am Lehrer eigentlich machen müssten aber das war ein bisschen auch genau das was wir erfahren haben als wir hier wir haben ein ein mobiles Bildungsprojekt von der Gesellschaft für Informatik haben den Touringbus mit dem sind wir in die ländlichen Gebiete gefahren und haben festgestellt dass die Nachvollziehbarkeit eigentlich genau an dem Verständnis an dem grundlegenden Verständnis an nicht jeder muss programmieren können da sehen andere in der Informatik das vielleicht anders aber zu wissen dass man mit einem informationstechnischen System gerade umgeht und dass man das nicht autonent oder auch nicht Telefon sondern Universalcomputer in der Hosentasche oder so etwas also allein mit der Begriffsbildung schon mal klar wird wir haben es hier mit einem interaktiven System zu suchen mit einem informationssammelenden System und das hat folgende Eigenschaften analog kann man sagen das politische System wird ja auch von uns so erstmal natürlich nicht verstanden aber wir haben politische Bildung in der Schule und dann wissen wir wie dieses Wahlsystem funktioniert und mit der repräsentativen Demokratie und Prozentsatz von Leuten hat das ja trotzdem Schwierigkeiten damit mit dem grundsätzlichen Demokratieverständnis aber es ist vorgelagert in die Schulen und ich denke die Nachvollziehbarkeit würde ich auch unterstützen das zielt auf ein Grundverständnis technisches Grundverständnis ab und ich versuche Schwindelstens jetzt würde ich mir ein Lehrer oder eine Lehrerin wünschen die aufschreit voller Schmerzen und sagt verdammt noch mal was sollen wir denn den Kindern noch alles beibringen auf jedem Podium sitzt einer der sagt hat es vier Anträge ausfüllen Etikette und Tanzkurs und kochen und gesunde Ernährung aber es wird noch schlimmer und jetzt ich fordere nämlich nicht nur die Informatiklehre auf sondern ich greif genau das auf das ist ein interdisziplinäres Problem und was momentan gemacht wird dass diese vermeintlich technischen Probleme dann in die Informatik verlagert wird auch jetzt KI-Lehrstühle waren traditionell in der Informatik angesiedelt aber warum eigentlich das sind Fragen der Soziologie der Psychologie der Rechtswissenschaften und so etwas also insofern ja es wird noch schlimmer ich mach mir noch mehr weil ich sage eigentlich müsste man das sogar noch im Gesamtkollegium besprechen und im Raden einer Projektwoche und dann sprechen wir über Stunden ja möchte denn einer oder eine von euch was Fragen einwerfen widersprechen oder sagen ja genau so oder ganz anderer Gedanke möchtest du vorkommen oder dann warte kurz es kommt ein Mikro zu dir und sagst du vielleicht kurz wer du bist und aus welchem Orbit du vermerkst mein Name ist Talia Lupin ich habe gerade mein Master abgeschlossen an der London School of Economics und habe mich auch im weitesten Sinne mit dem Thema Techniksoziologie eigentlich auseinandergesetzt und ich frage mich immer wenn es darum geht in was wir in der Art und Weise wir durch Bildung schulische oder universitäre Bildung diese Technikprobleme gelöst bekommen was wir denn mit dem Rest der Gesellschaft machen der ja doch nicht ganz unerheblich ist der eben durch die Schule schon durch ist gerade im Hinblick darauf wie schnell sich eigentlich diese ganzen Dinge verändern in unserer Gesellschaft wer von euch möchte ich habe darauf also ich kann deine Frage nicht komplett beantworten aber ein Teil davon und in der Teil der Leute die du ansprichst ich habe gestern für so ein Treffen nochmal lange darüber nachgedacht was ich mir eigentlich wünsche an politischen Handlungsfeldern und Aktivitäten und wenn wir über Bildung sprechen dann reden wir oft über die schulische Bildung aber ich finde ein Thema das jetzt auch gerade durch die ganzen Parteiprogramme geistert ist ja auch lebensdanges Lernen und das Lustige an diesen ganzen Projekten die ich mir angeschaut habe die von Frauen entwickelt wurden und da so eine Diversitätskompetente reingebracht werden wurden von Frauen entwickeln Mitte 20, Mitte 30, Mitte 40, Mitte 50 oder älter die erst später umgesattelt haben und diesen Bruch in ihrem Leben hatten aber total hervorragende Programmierungen geworden sind weil sie eben so einen breiten Wissen hatten schon mal Teams geleitet haben und so weiter und sofort die fahren aber aus diesen Statistiken immer wieder raus und ich kenne ärtliche Frauen die mich ansprechen und sagen ich hätte echt Bock ich würde total gerne aber es gibt wenig Weiterbildungskurse und das Problem ist halt wie alle wissen Bildung ist ländersache das kann noch eine ganze Generation dauern bis wir da genügend Fachkräfte wie wir sagen ausgebildet haben und da wirklich sowas vielleicht auch eine Diversifizierung der Technik-Entwicklerinnen und Entwicklern hinbekommen und ich glaube dass man darauf viel mehr setzen muss weil es gibt ein riesiger es gibt eine riesige Menge von erwachsenen Menschen die Lust hätten in diesen Bereich reinzugehen und sich da weiterzubilden aber an Angeboten manget es halt wirklich oder einen coolen ansprechenden attraktiven Angeboten die vielleicht auch auf Menschen zugeschnitten sind die Familie haben die halt Abend stattfinden der wirklich eine angesehene Qualifizierung mit sich bringen oder sie kosten halt wahnsinnig viel Geld was für Leute nicht erschwinglich ist und das wäre so eine Sache wo ich glaube dass man da ein bisschen einhaken könnte und das wenigstens zum Teil lösen könnte wenn ich denke kurz ich würde dann nämlich gerne noch ein bisschen mehr daran an die Uni gehen ich würde Bildung viel breiter umfassen als die Menschen haben am Anfang Autothema der Abstand mit der Geschwindigkeit einzuschätzen das könnten die Menschen damals nicht der menschliche Auge braucht acht Jahre bis er lernt einfach solche Abstände einzuschätzen das muss man trainieren die Menschen damals die bereits über den acht den Lebensjahr waren hatten mehr Zeit gebraucht und es geht nicht darum einfach zu vorstellen was das Auto es ging damals nicht darum zu verstehen was das Auto ist es ging damals einfach einen Umgang zu entwickeln mit Abstand, Geschwindigkeit jetzt darf ich die Straße bequeren darum geht es glaube ich ja auch und man sieht dass Menschen durchaus in der Lage sind mit Automatisierungsverfahren umzugehen und ein Gefühl dafür zu kriegen und das bedeutet im Umkehrschluss wenn man ein Handy in der Hand hat dann auch ein Gefühl dafür zu kriegen das ist nicht nur zum Telefonieren da und da passieren auch Sachen mit Daten und da kann es auch Reaches geben und so weiter und darum wird es immer eine Generation geben der irgendwo Native ist und irgendwo Immigrant ist weil die Technologie sich immer ändert aber das ist in der Natur Technologieentwicklung immer da gewesen und damit haben Menschen immer gelernt um zu gehen zufern dann würde ich tatsächlich gerne nochmal Eingangs hat es ja gesagt in unsere ethischen Leitlinien gucken Stefan die die Gesellschaft für Informatik sich gerade die die jetzt auswendig vergeben hat nee ich lese dir einen vor Artikel 7 also es geht ganz viel um verschiedene Kompetenzen das hatten wir im Grunde hier auch schon besprochen Artikel 7 beschäftigt sich mit Lehren und Lernen und sagt das GI-Mitglied das Informatik lärt fördert die Fähigkeit zum kritischen Denken bereitet die Lernenden auf deren individuelle und gemeinschaftliche Verantwortung vor und ist hierbei selbst Vorbild was sagen denn deine Studenten wenn du sie auf ihre individuelle und gemeinschaftliche Verantwortung ansprichst sehen die das auch so fühlen sie sich als Schützer und Bewahrer der Menschenrechte oder denken die was will der Mann also ich weiß auch die die erste Begegnung war weil ich sie mein Studenten Bücher habe lesen lassen also so ganze Bücher und am Stück und das war eine Informatiker nicht gewohnt weil sie eher so Artikel und Coats und sie haben eher dieses Scanning als Kulturtechnik entwickelt also es ist schnell präzise den Sachverhalt erfassen aber in einem Roman ist der Sachverhalt oft das langweiligste sondern da geht es eher um die Geschichte und wie sie sich entwickelt und so etwas und da haben wir in einem Seminar vor zehn Jahren war das ungefähr es hieß dystopiener Informatik dystopiener Technik und da haben wir mal weil da kam gerade diese Begriffe wie wie großer Bruder und Big Brother is watching you auf ohne dass die Leute eigentlich George Orwells 1984 gelesen haben und wir haben das getan das heißt sie wussten schon nicht so recht erst mal bin ich hier im Informatik-Kurs und warum warum lesen wir jetzt Literatur oder Romane und so etwas ich glaube dass ich habe einfach nur die Methode weitgegeben die mein Doktorvater mit mir einfach die ja angewandt hat er hat gewartet bis das Klick macht das eigene Verständnis ach deswegen erzählst du mir das weil wenn wir wieder wo sagen es macht bei es reicht wenn also für mich ganz persönlich reicht es wenn es in meiner in meinem Kurs zwei sind oder einer das reicht schon so vom Schneeball-Prinzip her und dann habe ich gedacht okay dann reicht das schon so für den das so mein minimal Anspruch und es sind glücklicherweise mehr sie haben warm ihre Freizeit investiert und kritisches Denken ist etwas was man anwenden muss das kann man nicht lernen und jetzt bist du kritisch sondern das ist plötzlich eine Art und Weise Dinge zu hinterfragen es gibt Methoden also was ich denen zum Beispiel gesagt habe wenn du einen Zeitungsartikel hast dann diskutier mal nicht ob du damit einverstanden bist oder nicht sondern wer hat ihn geschrieben von wem wird er bezahlt wen erwähnt er welche Firma erwähnt er welche Firma erwähnt er nicht und sozusagen eine Diskursanalyse durchzuführen und das hat oft bei denen ein ganz groß Klick gemacht und das versuche ich jetzt auch als Methode auch im Weißmom Institute weiterzutragen ich hätte vielleicht als Studentin dann so die Frage okay, ich habe hier eine super Sache programmiert irgendwas kann die Drohne jetzt besser oder die Bilderkennung die Mustererkennung ist jetzt irgendwie effizient an mir fallen fünf wirklich total gemeinnützige tolle Anwendungen ein könnte aber sein dass es in der Rüstungsindustrie auch einen militärischen Nutzen erfüllt wie würde ich mich dann wenn ich bei dir studiere und dir die Fragestelle was mache ich denn was würdest du dann sagen was ist die Antwort die Antwort ist eigentlich der Prozess also ich würde es zurückgeben also was wir als Methode gemacht haben ist in dem Fall wäre ein Fallbeispiel zu entwerfen also ganz fiktiv zu fragen also ich skizziere jetzt einfach mal was tue ich gerade wer hat mir nochmal vor Augen führen welche Auswirkungen das haben könnte vielleicht bin ich mehr dessen gar nicht bewusst weil ich bin natürlich total begeistert von meinen fünf gemeinnützigen Anwendungsfällen und dann kommen wir zu dem entscheidenden Part und das ist eben und dann rede darüber also ich glaube ich bin kein Anhänger von so einer dikatschen Philosophie wir können uns irgendwie in so ein Lehnstuhl dann trinken wir ein schönes Glas Rotwein und dann denken wir und dann erschließen wir die Welt ich glaube das kann immer nur dialogisch erfolgen also es ist ein ein moralisches Spiel hin und her und plötzlich kommen auch Dinge aufs Tapir die man vorher nicht bedacht hat und ich denke da hat Fiona dann glaubt in den richtigen Punkt gesagt über Diversity ist das eine Abkürzung man käme wahrscheinlich auch auf diese Gedanken ohne ein diverses Team es würde aber wahrscheinlich länger dauern vielleicht auf Generationen länger bis das endlich durchsickert und es ist eine eine sehr wie ich finde elegante Abkürzung ist sich verschiedene Ansichten ins Boot zu holen vielleicht absichtlich diese Filterblasen in denen wir uns alle befinden zu durchbrechen und genau wieder strebende Meinungen zu diskutieren ja möglicherweise weißt mich aber niemand daraufhin was da noch für eine Anwendung drin steckt und das ist genau dass das was in den Leitlinien steht mit dem Mut haben eigentlich mit dieser freimütigen Rede das ist ja ein ganz altes philosophisches Konzept der Parisier das war dieser Mut der freimütigen Rede gegenüber einem Herrschenden Heute sind in der Forschung die Herrschenden die Fördermittelgeber und wenn man sich einfach anguckt wie unser Modebegriff der jetzt wieder kommt künstliche Intelligenz entstanden ist ist das weil es ein Förderantrag ursprünglich war und jetzt wenn die Fördermittel entsprechend gegeben werden dass artificial intelligence gefördert wird wird das plötzlich ganz ganz viele artificial intelligence Projekte geben und dann erfordert es eigentlich den Mut zu sagen Moment das hat eigentlich damit nicht zu tun oder nur in der und der Art und Weise so und so verstanden und das ist ein Mut und oft schließt man sich da auch ein Stück weit aus und ich kann leider nur aus der leidvollen Erfahrung sagen Informatik und Gesellschaft als institutionalisierte Form ist weitgehend in Deutschland abgeschafft worden mit der Emeritierung der Professoren weil die sich einfach zu oft kritisch gemeldet haben es kommt jetzt wieder wir sind ja am Weizenbaum-Institut für die Vernetzte Gesellschaft im Deutschen Internet-Institut das ist vom BNBF gefördert und beschäftigt sich genau eigentlich der Namensgeber Josef Weizenbaum hat das ja uns ins Stammbuch geschrieben also genau mit den Fragen der gesellschaftlichen Auswirkungen insofern ich hoffe es kommt wieder wir erleben auch wieder eine Renaissance dieser Themen aber es sieht nicht ganz schlecht aus dafür weil zum Beispiel ja das europäische Parlament auch über so was nachdenkt Verhaltens Codex für Software-Entwickler wie seht ihr beiden das Lorena und Fiona denkt ihr es braucht so eine Ausbildung und auch das was du jetzt als Dialog oder Reflexion beschrieben hast in dieser Zunft oder ist das da nicht letzten Endes doch vergebens weil ich werde halt irgendwo angestellt ich bekomme irgendwo mein Geld ich erfülle einen bestimmten Auftrag und weiß halt vielleicht nicht wie der weiter verwendet und bearbeitet wird ich komme mal mit der Coil und in mir juckt sie ganze Zeit den Fingern auch gegen zu reden es bringt überhaupt nichts uns über Ethik bei den Entwicklerinnen Gedanken zu machen wenn wir die gesellschaftlichen Rahmenbedingungen nicht repariert bekommen es gibt ein ganz interessantes Beispiel auch aus dieser Diversitätsforschung in der Technikentwicklung von Ruth Ruth Schwarz Cohen die hat über 50 Jahre sich angeschaut was die Automatisierung im Privathaushalt gemacht hat und zwar die ganzen Haushaltsgeräte die so in Privathaushalt kam und scheinbar Arbeit abgenommen haben und auch die Bedürfnisse scheinbar also die sollten die Bedürfnisse der Hausfrau damals redierte Hausfrau in amerikanischer Mystischicht adressieren und sollte denen Arbeit abnehmen diese Geräte haben es über nachweis über 50 Jahre nicht geschafft dass sich die wöchentliche Arbeit die mit Hausarbeit verrichtet wurde verringert hätte es war exakt die gleiche Anzahl da nämlich die äußeren Bedingungen sich da so also genau es gab Waschmaschinen ja die haben natürlich Dinge schneller gemacht aber gleichzeitig sind die Sauberkeitsstandards gestiegen gleichzeitig sind die Ansprüche daran gestiegen was eine Mutter in der Küche für Komplexe Gerichte zaubern sollte es sind gleichzeitig die Ansprüche daran gestiegen wie sauber der Haushalt sein sollte das heißt hat sich alles so gegenseitig aufgefressen da die gesellschaftlichen Rahmenbedingungen die geschlechter Stereotypen und welche Rechte und welche Möglichkeiten auf Freizeit das vielleicht geben sollte welcher Druck gesellschaftlich existiert hatte sich nicht verändert daran konnte auch Technologie nichts ändern ähm man hätte das vielleicht anders bewirken können oder in andere Wege leiten können wenn die Innovationsprozesse von verschiedenen Leuten gesteuert worden wären aber das war nicht der Fall deswegen ähm wesse Technologien ich meine wenn wir gefragt wären was ist denn mit Drohnen und so weiter was ist denn mit Technologien die wir entwickeln die aber total böse Absichten verfolgen und auch diesen Zielen dienen können haben wir keine gute Antwort darauf und ich glaube unser Anspruch sollte ja auch nicht sein uns nur auf die Technologien zu konzentrieren und jetzt komme ich mit der ganz großen Keule ähm ich habe mich vor ein paar Jahren Stärke mit Algorithmen im Alltag beschäftigt ähm Sprach Diagnose-Systeme ähm in Krankenhaus äh in der Landwirtschaft und bin dann immer wieder zu den gleichen Punkten geraten habe dann immer gedacht naja eigentlich wäre Algorithmen kritisiert ist nur zu feige für Kapitalismus-Kritik ähm muss man auf den Punkt zu bringen oder sind das ganz große Fass äh dann äh würde ich sagen ist das doch jetzt spätestens der Punkt äh wo ihr auch noch ein paar Fragen stellen könnte entweder zum engen Thema äh Algorithmen oder zum großen Thema Gesellschaftsstrich äh Kapitalismus-Kritik oder wo die beiden sich begegnen ähm seid ihr alle einverstanden ähm ja Fionna verbucht das unter Zustimmung wenn ihr jetzt nix sagt ähm ja vielleicht ähm so teilt es schon ähm vielleicht aber noch ähm noch mal eine andere Rolle der der Technik zu beleuchten zu dem was was du gerade gesagt hast oft macht die Technik aber auch das sichtbar was vielleicht im Argen liegt also das hatte ich vorher auch schon festgestellt ähm bei all der ganzen Kritik die wir jetzt haben zum Beispiel beim Autonomen äh fahren oder auch bei der ähm ähm bei den Dronen ähm ähm ähm Dronenstrikes, Dronenmorden äh haben wir vielleicht aber wieder eine überfällige Debatte in Gang gesetzt dass es vielleicht darum geht was was ist der Mensch was ist Selbstbestimmung was ist Autonomie ähm ähm ist es überhaupt moralisch gerechtfertigt andere Menschen zu töten und wenn ja unter welchen Bedingungen das sind ja die ganz großen Fragen also du sagst ja auch die ganz große Keule selbst so etwas wie Kapitalismus-Kritik dass es sich ähm ähm kann sich darüber äußern und äh Technik hat das sichtbar gemacht es liegt was im Argen und insofern bin ich auch ganz dankbar manchmal wenn sie die Brüche sich zeigen zum Beispiel auch die Fälle die du gesagt hast mit häuslicher Gewalt so furchtbar ich das finde ähm so ähm begrüßig ist dass es vielleicht auch wieder Gegenstand der Debatte wird weil das war oft ähm wurde tot geschwiegen weil es eben hinter den wirwänden geschehen ist und es ist ja nicht so dass sie das häusliche Gewalt mit der Technik entstanden ist aber sie wird vielleicht jetzt sichtbarer wir können sie nicht mehr wegwischen und müssen sie debattieren insofern ist das vielleicht auch ein weiterer Problem ist aber die Frauen reden nicht das erste Mal davon dass sie häusliche Gewalt erfahren also ne also es wird sich jetzt zeigen ähm werdet ihr denn die schlechten also das Problem wird das Problem bewusst in irgendeiner Form in diese Technologie ihren Weg finden ähm und das Problem ist halt also ich meine es ist eigentlich ein super Beispiel dafür ne Gehäusliche Gewalt existiert seit Ewigkeiten aber es wurde nicht hingehört und jetzt spielt Technologie eine Rolle wird es etwas ändern wahrscheinlich nein so lange wir nichts an die Geschäftsverhältnissen ändern wird es das kein Effekt ich würde gerne noch mal so ein Beispiel auf Jedoch hatte es aber Sinn äh Berufs über Berufsettingen nachzudenken denn die ähm also Berufsettingen haben wir in bei Berufsbereiche ähm sozusagen angeordnet oder als Gesellschaft erwartet wo wir meinen das ist systemkritisch ne also ein Arzt muss jeden einfach ähm das ist sonst unterlassene Hilferleistung ähm in Arzt muss einfach ein Muslima eine Jüdin ähm egal wählen einfach keine äh Hilfe sozusagen verweigern wenn er mitten im Krankenhaus ist und ähm er hat unter bestimmte Kriterien die Patienten zu bedienen also zwar der war den hypocratischen Eid der Propagierer richtig na ich würde nicht sein hypocratischer Eid aber ich würde es sagen Berufsettingen Leitlinien ja was ist das der hypocratische Eid der hypocratische Eid ist etwas was ein Prinzip äh so nah von Ethik in medizinischem Bereich es hat sozusagen keine Bindung aber es ist einfach ne ähm ein Eth also sozusagen eine Art von Moralstandard wie ein Arzt zu sein hat und es gibt davon einige rechtliche Prämissen aber nicht nur ähm und ich glaube das ist wichtig ist zu verstehen es gibt viele andere Berufssparten die ebenfalls kritisch sind für der Wohlstand in der Gesellschaft für das Wolle ergehen der Bürger für das Wolle ergehen der Nutzer für das Wolle ergehen vom Verbraucher und das sind nicht nur die Informatika by the way es sind auch die Manager die äh solche Systeme implementieren sei es ein Bankmanager Marketingmanager äh oder jemandem bei der Brust äh oder im Auto Katalog ähm dann würde ich tatsächlich gerne nochmal Artikel 9 äh der Leitlinien zitieren ich glaube das passt ganz gut Zivil Courage da geht es darum dass das G.I. mitglied also das Mitglied eurer Gesellschaft mit Mut für den Schutz und die Wahrung der Menschenwürde eintritt und dann kommt noch ein bisschen was mhm dies kann in begründeten Ausnahmefällen auch den öffentlichen Hinweis auf Missstände einschließen da habe ich gedacht das ist euer Edwards-Noden-Artikel oder? Das stand wahrscheinlich so 1998 noch nicht drin äh das also Zivil Courage stand schon drin stand schon auch in den ersten Leitlinien drin ähm wir haben das explizit mit aufgenommen ähm weil wir das äh darunter ge gefasst haben also unter dem unter dem Mut die Wahrheit zu sprechen dass das natürlich auch in begründeten Ausnahmen fällen den ähm öffentlichen Hinweis auf Missstände also das ist die deutsche Übersetzung von von von whistleblowing und das war in der Tat eines der der heftigst debattierten ähm Artikel dieser ähm zu Zivil Courage ähm interessanterweise gar nicht wegen des zweiten Teils sondern wegen des ersten Teils dass wir sozusagen wir sollen mit Mut für die Menschenwürde eintreten weil viele die am Prozess beteiligt waren gesagt haben warum warum so was ähm ähm obwias warum so was so was verständliches fordern wie sich an die Menschenwürde zu halten das sollte doch jedem klar sein und natürlich halten wir uns alle an die Menschenwürde und so etwas und ähm die Tatsache dass ähm die Gesellschaft für Informatik das so explizit macht heißt ja ähm vielleicht sollte man sich aber Gedanken machen ob man in jedem Moment bewusst oder unbewusst so handelt dass es vielleicht dem Widerspruch dagegen steht vielleicht ein einfaches ganz aktuelles Beispiel ähm die Bundesregierung hat gerade den Eckpunktepapier zur künstlichen Intelligenz rausgegeben und hat die Gesellschaft für Informatik gebeten zu kommentieren und Eingaben zu leisten und da steht auch genau ich glaube der zweite Punkt ist dass oder der erste Punkt sogar der oberste der wichtigste Punkt ist dass man sich an die Menschenwürde und die Grundrechte ähm ähm zu halten hat dann steht aber gleich ein paar Punkte drunter wir sollen aber zum KI Standort Nummer eins werden und äh und China überholen und wenn man sich halt anguckt wie wie sehr China ist gerade ähm Weltmarkt führe was was zum Beispiel Gesichtserkennung und so was angeht ich hatte vorher hier in der Pause ähm gesprochen da war eben jemand aus Hongkong da und ähm meinte dass sie einfach eine gewaltige Datenbank da äh Datenbasis zur Verfügung haben die eben von offizialer Seite von Überwachungskameras zu verfügen gestellt bekommen und jetzt kriege ich beide Sachen nicht zusammen ohne ein Interessenskonflikt also wollen wir Marktführer Nummer eins werden oder wollen wir Menschenwürde Menschenrechte und sonst wir in erster Stelle halten und ich persönlich glaube dass wir entweder das eine oder das andere haben äh können und dass wir nicht überholen können ohne dass diese Prinzipien zu verletzen okay dann jetzt die Grötchen oder meinetwegen Christian Lindner Frage also bedenken first hm aber was heißt bedenken first also es geht darum äh äh es geht darum einfach bedenken second war der Klamm der FDP naja also es gibt wissenschaftliche fachliche gutes Arbeit ich habe mit dem Namen nichts anfangs ja das war mal ein Politiker äh ich glaube äh dass äh wenn man Technologien wickeln muss man einfach äh ist das fachlich gut gemacht worden und das ist nicht bedenken sondern es ist einfach durchdenken und äh das Sachen erst mal nicht aus der Hüfte hinaus durch äh die Nasenloch in es all einfach geschossen werden ohne dann äh das man eigentlich sich ein Konzept dabei ausgesagt hat und einfach nun zu dessen ob das klappt oder nicht ich glaube das ist nicht das was gute solide Arbeit ausmacht und das ist auch glaube ich kein USP Deutschlands Deutschland war immer dieses made in Germany stand für ein gut durchdachte Produkte insofern es ist kein bedenken sondern äh es geht darum einfach etwas äh äh zu gucken im Befern das ein Impact hat auf die Gesellschaft auf das Individuum und äh im Befern das aber was nutzt dass man kreativ sein kann und dass diese Kreativität auch in den Raum äh eingeräumt wird musste ja klar aber äh die Frage ist äh was für ein Raum wollen wir für diese Kreativität einräumen was sind die Grenzen ähm und diese Grenzen haben wir in vielen anderen Bereichen beispielsweise in der Chimeriumforschung auch durchdeckliniert und gesagt es gibt bestimmte Sachen wo die Wissenschaft nicht hingeht und das mögen vielleicht andere Nationen machen das machen wir nicht und das ist eine ethische Entscheidung und die müssen wir tatsächlich treffen Chimeriumforschung also man man darf nicht menschliche Genen mit der Anis Hunis äh ver gemischen äh verklönen äh und und aus ethischen Gründen und ja ja vor allem ich mein ich will erstens nicht diesen Bedenkenbegriff von Lindner übernehmen weil ich finde es ist eine Herabwürdigung und Herabstufung eines unablich wichtigen gesellschaftlichen Prozesses den wir aushandeln müssen zweitens was soll den Digital First bitte heißen sollen wir was ist denn das ist ein komplett Lehrerbegriff naja ich glaube die Marktwührerschaft vorne dabei sein ja genau okay dann möchte ich halt wirtschaftlichen Vorragen ich möchte gerne Innovation der Wirtschaftszuliebe aber äh für mich ist der Digital First ich ich möchte keine Innovation der Innovationzuliebe ich möchte eigentlich auch keine Innovation lediglich wirtschaftlicher also mit kommerziellen Interessen im Vordergrund ich will eigentlich andere Interessen im Vordergrund dass sich Einstellungssache sicherlich debattierbar äh aber ich finde allein Digital First darf niemals es darf niemals Digital First sein es darf niemals Technologieentwicklung First sein es darf niemals Innovation First sein weil davon haben wir als Menschen erst mal nichts so das ist halt nur eine ein Weg der zu etwas hinführen kann und das müssen wir gemeinsam uns überlegen und deswegen ja bedenken First so jetzt aber ist ich sehe äh zwei Fragen möchte auf den letzten Metern noch jemanden nach vorne kommen oder machen wir das aus dem Saal raus weil tatsächlich sind wir schon ein bisschen in Verzug das Mikro kommt zu euch und die Frage wird insofern beantwortet ihr dürft sitzen bleiben aber euch kurz gerne vorstellen und eure Frage stellen ja Christian Groß ich komme aus im Bereich der Normung Elektrotechnik und mich habe euch gut zugehört und ein paar Fragen die auch aus meinem beruflichen Einstellungen erwachsen ich würde zum Beispiel sagen also mit diesem ganzen First Ding das was wir jetzt aus Amerikanen haben die kriegen da kampf sich natürlich den Wagen zusammen aber wir haben ein Verständnis das heißt Safety First und wir sind wenn wir Normungschanalisierung machen geben wir davon aus dass ein Prozess sicher sein muss und wir wollen auch definieren was Sicherheit ist und wir wollen als Ingenieure unseren Leuten klare Regeln an die Hand geben wie das funktioniert und vieles was wir heute diskutiert haben also wenn wir über Digital Reden bin ich ganz bei Ihnen ist einfach fachlich nicht sauber aber wenn es denn sauber wäre würden wir bereit sein aus dem Bereich der Elektrotechnik in den Bereich der Ethik reinzugehen mit Experten uns zusammenzusetzen und sagen in den Entwicklungsprozess wollen wir diese Regeln implementieren meinetwegen Programmieren wenn es geht wir verstehen er natürlich nur wenig von Ethik und von Moral das stelle ich immer wieder fest also zumindest aus dieser Wissenschaft aber wir sind es gewöhnt mit anderen Disziplinen zusammenarbeiten wir sind in der Lage zu kollaborieren egal ob mit Robotern oder mit Soziologen oder mit Biologen also wir sind offen aber es geht nicht ohne Regulierung und das ist für Verbände die machten das jetzt seit 125 Jahren Siemens hat hier damals mal angefangen und einer unserer Grundideen waren wir wollen nicht dass die Städte abbrennen wenn wir da Elektroleitung reinlegen das heißt und da wollen wir beibleiben genau das ist dann also tatsächlich einfach noch mal das Highlight und dessen was hier gesagt wurde nämlich tatsächlich Regulation finde gut also da absolut ist jetzt keine Frage ich stehe für Regulierung wobei ich wobei ich befürchte dass wir vielleicht eine Art von Paradigmen Wechsel hatten wir hatten am HIG übrigens ein ein ganz wundervollen Workshop zu Understanding AI und AS und ein Vertreter einer Raumfahrt Agentur ich glaube ich darf das nicht näher beschreiben hat auch beschrieben wie es von eigentlich zertifizierbarer Software ich meine wir reden hier von von sehr teuren Dingen die wir auf sehr weite Planeten oder Reisen schicken sich verabschiedet wurde und zu Gunsten von heuristischen Systemen die können wir jetzt Artificial Intelligence oder Maschinen-Learning-Systeme und sonst wie nennen hin entschieden haben und das glaube ich dass eben Safety First sich langsam auch sogar von diesem Gedanken vielleicht verabschiedet wird zu Gunsten einer vielleicht schickeren schnelleren Ergebnisse weil heuristische Systeme machen einfach spektakuläre Ergebnisse in ganz unserer Zeit das heißt wir sind auf ein ja, genau und wir sind glaube ich auch auf und es gibt diese Mission weil schlechte Technologie verbaut worden ist weil es keine redundanten Systeme war wir haben Fokusschime erlebt und wir haben daraus gelernt okay, also ein klares ähm ja Beipflichten für euren also super für euer Plädoyer für Regulierung glaube ich selten auf Podien in Berlin nachvollziehbarkeit vielleicht auch also nachvollziehbare ja klar, das ist ja gut zur Regulierung und ihr denkt die Dinge zusammen jetzt würde ich aber trotzdem ansetzen und dann leider die weiteren Fragen auf die Gespräche danach verschieben mit Blick auf die Uhr wir haben jetzt so viele unterschiedliche Bereiche besprochen so viele Desiderrate die ihr ausgemacht habt und Forderungen für das eine gegen das andere für interdisziplinäre Arbeit für eine Bildung in dem Bereich und so und trotzdem muss ich sagen aus meinem Alltag ist es so es gibt eine glatte einladende Oberfläche und ich wisch da viel darauf rum und tipp einiges ein habe aber wenig Ahnung von dem was dahinter liegt dann von dir kam ganz stark der Appell von euch beiden aber auch die Sache gesamtgesellschaftlich zu betrachten und nicht abzuladen im Fachbereich für keine Ahnung Informatik oder was anderes sondern gesellschaftlich drüber zu diskutieren aber so Effekt beladen und zersplittert wie die Gesellschaft sich gerade zeigt wer meine jetzt tatsächlich ein bisschen generelle Fragen euch woher nehmt ihr euren Optimist Optimismus dass das passiert dass diese Diskussion geführt wird weil die Flächen sind so einladend jeder ist da schon drauf reingefallen man ist da so zu sagen vielleicht nicht in guter aber in großer Gesellschaft woher nehmt ihr euren Optimismus dass diese Debatte geführt wird und dass die Entwicklung so verläuft wie ihr sie euch wünscht na wir haben ja schon also ich find's total super wenn ihr dein Gerät benutzen kannst und überhaupt nicht drüber nachdenken muss was dahinter passiert und eine glückliche Userin bist der aber auch nichts Schlimmes wie der Pferd das ist völlig fair enough aber es gibt halt andere Bereich es muss auch nicht jede und es muss auch nicht jede sich kümmern müssen finde ich das sollte nicht der Fall sein sondern es gibt bestimmte Verantwortungsbereiche und ich bin optimistisch zwei Sachen dazu also zum einen das ist so ein bisschen was ich vorhin sagen wollte Regulierungen oder vieles was wir machen ist sehr reaktiv ich möchte gerne dass wir bei der Technik Entwicklung ansetzen da sie ich großen Handlungsbedarf und da bin ich ja auch aktiv dass ich versuche da anzusetzen wo Technologie überhaupt erst mal entwickelt wird wo die Perspektiven mit reinfließen ungesellschaftliche Verhältnisse ich bin dort optimistisch weil ich gerade eine starke Diversifizierung sehe weil auch bestimmte Werte sich verändern weil soziale Bewegungen extrem auftrieb haben und ich glaube dass die sozialen Bewegungen gerade so stark werden dass sie wirklich auch zudem Hebel werden der sie sein können und ziemlich viel Aufmerksamkeit auch erfahren und es sind noch einfach bestimmte Sachen sehr unakzeptabel inakzeptabel geworden und wir finden ich finde wir haben generell weg so einen Grundskepses gegenüber Technologie was auch diesen Diversitäts vorhaben viel aufentfernt zweitens ich weiß ich das hat eigentlich nicht so viel mit meinem Optimismus zu tun aber ich finde was daran anschließt ist total wichtig wir haben darüber heute noch gar nicht so viel gesprochen aber ist und das schließt so ein bisschen an deine Sache an da würde mich nicht interessieren setzt ihr denn Open Source Technologie ein spielt das eine Rolle bei euch weil ich habe viel mit Siemens zum Beispiel darüber gesprochen und deren Industrie viel null verhaben die sagen naja wir sind ein etwas zu schweres Schiff um wirklich um Open Source zu kümmern wir wissen aber dass das eigentlich wichtig ist und da über Open Source kann man nämlich wirklich unabhängige Kontrollen in Stanz setzen darüber kann man wirklich gewährleisten dass verschiedene Leute Einblick haben und fachkundige Menschen und sich verschiedene Menschen da einbringen und Open Source natürlich auch bei Algorithmen und Machine Learning Libraries und so weiter und sofort eine Rolle spielen aber da gibt es konfigurierende Interessen mit finanziellen und vordergrundig kommerziellen Interessen und wenn ich mir dieses Eckpunktepapier angucke oder allein schon die Ansprache von Anja Kalicek von der Ministerin das klingt wahnsinnig dystopisch es geht nur darum USA und China die sind schon ganz schon weit vorn wir müssen echt nachziehen und das stimmt wir sind irgendwie die 70. der 70. Staat der behauptenden KI-Strategie die gerade entwirft aber es gibt anderen in der Kanada beispielsweise setzt es total auf Forschung auf die positive Entwicklung von Technologie es geht auch anders aber ich glaube solange wir Wirtschaftsfirst denken wird es alles nichts okay Stefan dann möchten wir die Quellen deines Optimismus das kennenlernen der Optimismus resultiert bei mir einfach aus der Maxime Handel so als ob es etwas ausmacht weil weil der Rest der führt nur zu Zynismus und das ist sehr sehr sehr schnell also ich habe das wäre sozusagen der innere Antrieb äußere Antrieb ist tatsächlich jetzt es hat mir schon einen Aufwind gegeben jetzt durch durch die Lande zu fahren an die Schulen zu fahren weil ich ein sehr voreingenommenes Bild von der Jugend habe die ja nur auf ihren Geräten rumwischt und überhaupt ganz ganz unkritisch damit umgeht und das Gegenteil war das Fall sie waren sehr selbst reflektiert sie waren sehr kritisch wir rannten mit unserem Workshops praktisch offene Türen ein das heißt also auch ein Großteil der nur weil der Leute darauf sind und wischen heißt das nicht das kann sein dass sie gerade hochinteressante Artikel lesen die müssen nicht alle Candy Crush spielen und so etwas also das heißt die sind mein Optimismus ist tatsächlich ähm die die Jugendlichen ähm Schülerinnen und Schüler ähm zu sehen wie sie mit der Technik umgehen und jetzt aufwachsen ok Lorena und bei dir Ich hab gar einen deterministischen Menschenbild ähm wenn man sich die gerade die die Geschichte zeigt dass Menschen immer in der Lage waren vor äh Gewohnheit und Traditionen an Fragezeichen zu stellen und zu sagen pass mal auf äh ich im Werfen einfach eine andere Zukunft die anders sein kann ähm ähm diese Technologien sind Menschen gemacht das heißt wir haben alles in der Hand und die Zukunft muss nicht schwarz sein Punkt Handler so als ob es etwas ausmacht vielen Dank für die Diskussion vielen Dank für euer hoff ich zumindest gespanntes zuhören und die Nachfragen ihr könnt jetzt auch noch weiter diskutieren es gibt ein bisschen was zu essen es gibt ein bisschen was äh zu trinken wir sehen uns hoffentlich wieder am äh 28. Oktober und zwar äh dann wieder im HEG nicht weit von hier auch in Mitte gelegen leicht zu finden Lahn gelegt wir reden dann über den großen Blackout apropos dystopie pfft mal gucken äh wir freuen uns natürlich äh wenn ihr ein paar Preppys vorbeischickt und CB-Funker mit denen wir sprechen können die Redaktion sucht die nämlich gerade ähm aber bitte die ohne Schnittmenge mit den Reichsbürgern äh und ähm herzlichen Dank euch noch mal für die Diskussion ich glaub sie war nicht mega kontrovers aber sehr facettenreich und ich glaub ihr habt viel Anregung um jetzt weiter zu diskutieren vielen Dank euch