 Live aus dem Hick, im Hick, auch mit ein paar Gästen auf unserer Terrasse. Schön, dass ihr und sie alle da sind. Ich begrüße auch unser Panel. Ganz herzlich, dass wir gleich noch später vorstellen werden und wir freuen uns sehr auf den Abend mit euch. Technik, das wissen wir alle, ist nie neutral. Und auch wenn uns das Internet als Medium zunächst eingeladen hat in vermeintlich neuen Öffentlichkeiten etablierte feststehende Rollenbilder und Identitäten zu dekonstruieren, tradierte Macht- und Herrschaftsverhältnisse aufzubrechen, so müssen wir doch heute vor allem über Ungleich-Verhältnisse im digitalen Raum sprechen. Schauen wir zum Beispiel auf das Thema digitale Gewalt. So sind gerade marginalisierte Gruppen auch in der digitalen Welt nach wie vor im besonderen Maße von Diskriminierung betroffen. Sexismus, Rassismus, Antisemitismus, Trans- und Homophobie sind die Hauptthemen von Hate Speech. Darüber hinaus erhöht die Zugehörigkeit zu mehr als einer sogenannten Minderheit, die im Netz angefeindet wird, die Gefahr, Opfer von digitaler Gewalt zu werden. Ohne also ein intersektionalen Zugriff auf Diskriminierungsstrukturen und manifeste Ausschlusssysteme ohne die Analyse und das Sichtbarmachen von exklusiven Kategorien-Systemen, ohne die sich nicht zuletzt Entsprache manifestieren, ohne all das können wir weder digital noch analog einen Zugriff auf dieses vielschichtige Thema finden. Sprechen wir also über Ausschlusssysteme als tradierte Strukturen über Gender und Race und die Frage nach Zugang zu materiellen wie immateriellen Ressourcen. Zugangchancen und Teilhabe Möglichkeiten, Chancen auf Bildung und Beteiligung sind innerhalb unserer Gesellschaft ungleich verteilt. Darauf machen feministische und antirassistische Bewegungen schon lange aufmerksam. Es gilt praktisch alle Ungleichheitsverhältnisse tragen sich nahtlos ins Internet, nicht selten laut verstärkt. Intersektional betrachtet wird schnell deutlich, dass Sexist oder Gender-Hate-Speech Frauen unterschiedlich stark betrifft, sie aber vor allem in ihrer Unterschiedlichkeit betrifft. Amnesty International zum Beispiel hat in diesem Bereich festgestellt, dass schwarze Frauen deutlich häufiger von Hate-Speech auf Twitter betroffen sind als weiße Frauen. Ständige Bedrohungen online führt also zurückzugsmechanismen oder silencing. Das ist empirisch belegt. Wiederum schließt digital wie analog Betroffene aus diskursiven Räumen aus. Hindert sie daran, ihre Meinungsfreiheit auszuüben, führt letztlich zu einer verzerrten Mehrheitswahrnehmung im sogenannten öffentlichen Raum und konterkariert mithin unser Verständnis von Demokratie als solches. Für eine umfassende wissenschaftliche Analyse von Diskriminierungsstrukturen in Deutschland aber fehlen uns schlicht die Zahlen, denn der erhobene Migrationshintergrund alleine ist wenig aussagekräftig. Schaut man sich zum Beispiel schwarze Lebensrealitäten in Deutschland an, so endet Rassismus-Erfahrung eben nicht nach der zweiten oder dritten Generation. Eine weiße deutsche Person mit Migrationshintergrund dagegen, die zum Beispiel weiße, sagen wir, dänische Eltern hat, macht es aber in Deutschland eher keine Rassismus-Erfahrung. Der bald startende Afro-Sensus soll hier Abhilfe schaffen und ist ein Projekt, das wir sicher alle mit Spannungen verfolgen. Mit Blick auf künstliche Intelligenz ist schon länger klar, dass diskriminierende Stereotype sich im Code manifestieren. Es ist hinlänglich bekannt, dass biometrische Gesichtserkennung schwarze Menschen und People of Color nur unzureichend identifizieren kann, da sie sich überwiegend auf Trainingsdatensätze von weißen Personen stützt. Noch Ende letzten Jahres hat das National Institute of Standards and Technology darauf hingewiesen, dass People of Color überdurchschnittlich häufig falsch zugeordnet, also zum Beispiel im Rahmen der Strafverfolgung für eine gesuchte Person auf einem Bild gehalten werden. Gebündelt als Big Data werden so tradierte Ausschlusssysteme implizit in den Code eingeschrieben. Wie kann das sein? Silicon Valley ist nach wie vor von weißen Männern dominiert. Übrigens auch alle unsere Zukunftsinnovationen und Utopien, die uns von dort erreichen, kommen aus den Köpfen von weißen, materiell durchaus gut ausgestatteten Zismen an. Computerschließlich und Maschinen lernen im Ende nicht anders als Menschen. Sie reproduzieren, was ihnen an Input angeboten wird und bilden daraus Kategorien-Systeme. Auch Algorithmen also sind anfällig für Vorurteile. Es scheint nun als gelbe es als Reaktion auf die Black Lives Matter-Demonstration ein Umdenken bei Technologiekonzernen, was das Thema Gesichtserkennung im Rahmen der Strafverfolgung angeht. Derzeit immerhin sieht es aus, als habe sich auch Microsoft nach IBM und Amazon dazu bekannt, US-amerikanischen Polizeibehörden ihre KI-Technologien zunächst nicht weiter zur Verfügung zu stellen. Zurück aber zur Sprache. Im Ankündigungstext zu unserer Veranstaltung haben sich schon gelesen, dass Google rassistische Begriffe aus seinem Code streichen will. Blacklist wird durch Blocklist ersetzt, Whitelist durch Allowlist. Ebenso überarbeitet werden sollen die Benennung der Hierarchie Zusammenhänge von Master und Slave im Rahmen digitaler Architekturen. Code ist Sprache und Sprache vom Denken. Sprache erst erzeugt Rahmen und Grenzen, Innen und Außen, ein Wir und ein Sie. Woher kommst du? Stellen Sie Menschen diese Frage? Wen fragen Sie das? Und warum eigentlich? Jetzt freue ich mich sehr auf Unterpenne. Vielen Dank. Vielen Dank, die Teileseilung heute nicht mehr ganz so digital ist wie in den vergangenen Monaten. Das ist für mich ein extrem ungewohntes Setting und ich glaube für ganz viele von euch auch. Ich habe vorhin gerade nochmal auch hier vorne bei meinen Gästen nachgefragt und bei einigen von euch und höre, ihr seid auch alle noch nicht so routiniert in dieser Art der Veranstaltung, damit es nicht so ein krasser Break ist zu diesen ganzen Zoom-Mosaikieren, die ihr euch die letzten Monate angeguckt habt, haben wir hier noch eine Glaswand eingezogen, damit es wenigstens den Impil eines Monitors hat, ob den ihr guckt, damit der dieser Realitäts-Shop nicht ganz so krass über euch herein bricht. Also schön euch, die ihr draußen auf der Terrasse sitzt, wenigstens face to face zu sehen. Ein anderen herzlich willkommen im Stream, wo auch immer ihr uns guckt auf AlexTV. Herzlich willkommen. Ich bin Katja Weber und freue mich, dann zumindest ein Teilpublikum wiederzusehen. Wie schön, dass ihr da seid. Es soll weiterhin eine Veranstaltung sein, wie für eure Fragen offen ist zu den jeweiligen Themen. Also hier vor Ort genauso wie im Stream. Wenn ihr Fragen habt und nicht vor Ort seid, dann stellt ihr Fragen gerne auf Slido oder auf Twitter unter dem Hashtag Dicksal oder ihr draußen hebt einfach eine Hand und dann wird Natascha vom HEG zu euch kommen und euch das Mikro hinhalten, in das ihr dann hineinsprechen könnt. Sonst hatten wir leider immer den heißen Stuhl. Den mussten wir jetzt leider Corona bedingt mal aussetzen. Mal sehen, wann der wieder zu uns kommt. Also nutzt gerne dieses Angebot. Ansonsten seht ihr, haben wir euch am Platz bewirtet mit ein paar Popkörnern, sonst greifen ja hier alle eine große Schale. Auch das ist nicht möglich. Aber ich glaube so im Rahmen der Möglichkeiten, netter wird es nicht. Also genießt diesen Abend. Wir wollen über Diskriminierung reden per Algorithmus. Katarina hat das glaube ich schon ziemlich facettenreich dargestellt über die Verlängerung unserer Einstellungen, unserer Vorurteile hinein in Apps, in Software oder in digitale Dienstleistung. Und ich habe drei super Gesprächspartnerinnen hier, also auf weitem Feld verstreut. Hallo, die sich aus unterschiedlicher Expertise heraus mit solchen Fragen beschäftigen. Ich möchte euch Shirin vorstellen. Shirin Riasi, sie hat Psychologie und Mathematik studiert, ist jetzt wissenschaftliche Mitarbeiterin an der Hochschule für Technik und Wirtschaft hier in Berlin und arbeitet dort mit am Projekt Ladi. Schönstes Englisch, Learning Analytics und Diskriminierung finden da zusammen. Und da geht sie der Frage nach, ob und wie digitale Lernsysteme anfällig sind für die Diskriminierung der Lernenden. Also vielleicht ein Feld, das man gar nicht bei dem Thema so als erstes auf der Scheibe hat. Herzlich willkommen jedenfalls. Schön, dass du da bist. Christina Dina ist da, sie hat soziale Arbeit studiert und beschäftigt sich mit der Frage, wie gegen Diskriminierung online fortzugehen ist, also Hate Speech, demokratisches Miteinander. Das sind Themen für sie schon seit langer Zeit, auch in den vorangesangenen Positionen, bei der Ebert Stiftung zum Beispiel, bei Wikimedia Deutschland oder der Amadeu Antonio Stiftung. Jetzt ist die stellvertretende Direktorin am Center for Human Internet and Human Rights. Und Francesca Schmidt ist da, hallo, nach da hinten links, kommt aus der Literatur und Sprachwissenschaft und ist am Gunder Werner Institut für Feminismus und Geschlechterdemokratie zuständig für das Feld feministische Netzpolitik. Also Katerina hatte ja schon angerissen, inwiefern sich vielleicht bestimmte Diskriminierungsmuster überlagern oder multiplizieren. Und auch sie beschäftigt sich mit der Frage, welche Rolle spielen Algorithmen, welche Erwartungen stecken in ihnen? Und ich würde euch alle drei gerne als erstes fragen und vielleicht bei dir Francesca beginn. Wie eben gehört, wir denken und wissen es eigentlich besser, aber wir denken oder mir geht es zumindest so im ersten Impuls Software, Programme, Mustererkennung. Das klingt so schön neutral, das klingt total schön objektiv, was wir übersetzen in Gericht. Wir alle wissen, dass sie es nicht sind, haben aber trotzdem ja oft Probleme, programmierte Einseitigkeit oder Vorannahmen zu erkennen, also das wieder rauszufiltern. Wann ist dir denn zuletzt angefallen, an der App, an dem Programm ist was faul, irgendwas ist hier schief? Da muss ich direkt bei der Rechnung, das fällt mir jetzt gar kein Programm ein. Tatsächlich, ich wurde mal, ich habe ein Spaß deshalb einmal dieses Gesichtsprogramm gemacht, wenn man älter wird, da wurde ich erst männlich gelabelt, das wäre dann rein theoretisch falsch gewesen. Vielen Frauen so oft, das haben wir ja gehört. Christina, wann ist dir das zuletzt so gegangen? Da weiß ich nicht, ob der Ton gerade verstärkt wird, oder? Wärt ihr mich? Jetzt würde ich sagen. Ja, ich, den Chatbot meiner Bank, würde ich sagen, was hat der für ein Instrument? Das Problem, was ich hatte, dass es irgendwie da kam, dann immer nur die FAQ, dann habe ich schon gleich gemerkt, okay, der Erklärrahmen ist ja abgesteckt und mein Problem kann ich darin nicht lösen. Aber die Bank hat mir jetzt auch nicht ohne viel anderes angeboten. Und das ist dann immer, läuft man immer so im Kreis. Und deine Reaktion darauf war ein Wechsel der Bank? Ja, also, das ist vielleicht. Okay, das lassen wir, dann deine Privatsache sein. Was, was bei dir zuletzt Schirin wurde, dachtest, hier müsste mal nach gearbeitet werden. Also, es ist eher ein menschlicher Fehler als ein algorithmischer. Aber bei meiner Sprachlerne App nervt es mich immer, tierisch, wenn die Beispielsätze lauten, meine Frau denkt schon wieder an Kleider. Oder also, wenn du Geld brauchst, dann frag doch mal deinen Mann um Hilfe oder so. Also, es sind quasi so Standard-Sätze, die man auf dieser Sprache lernt und es wiederholt sich. Also, die Frau denkt ständig an Schmuck. Also, man sieht dann immer so ein Bild von der Frau, die so Träume, also ganz verträumt an Schmuck denkt. Aber bald ist hier wieder Valentinstag und dann wird der Mann wünschebar machen. Okay, also, da sehen wir vielleicht auch schon mal so einen Hinweis darauf, inwiefern Sprache und Programmierung auch bei dem Chatbot verzahnt sind. Gesichtserkennungssoftware ist natürlich das Beispiel auch in der Einführung schon gehört, dass wir alle in der Zeit umgelesen haben, was vielleicht in gewisser Weise das Prominenteste ist, dass Menschen mit Hellerhaut besser identifiziert werden als Menschen mit dunkler Haut und Männer hin wiederum besser mit einer größeren Treffgenauigkeit als Frauen. Was auch dazu führt, dass ich beispielsweise als schwarze Person in den USA, wo die Polizei diese Methoden einsetzt, fältschlicherweise verhaftet werde, weil das Programm mich verwechselt mit einer gesuchten Person. Vielleicht, für euch der Hinweis, vielleicht kennt ihr den TED Talk der Computerwissenschaftlerin Joy Buolambini noch nicht. Das ist eine schwarze Frau, die das sehr eingehend und eindringlich demonstriert. Dass sie eine weiße Maske aufsetzen muss, damit ihr Gesicht als Gesicht erkannt werden kann von der Software. Coded Gaze, nennt sie das. Das könnt ihr euch vielleicht gerne angucken. Jetzt beschäftigst du, Shirin, dich ja mit Voreingenommenheit. Ich habe es vorhin gesagt, die vielleicht viel weniger sichtbar und spürbar ist, wo man sie auch irgendwie nicht vermutet. Beim Lernen hofft man ja auch so eine gewisse Objektivität der Personen, die mich beurteilen. Inwiefern sind Lernprogramme irgendwie bayest oder diskriminierend? Was kann da aber schiefgehen? Ne Menge. Es gibt tatsächlich extrem viele Quellen von Bayes oder von Tendenzen, systematischen Fehlern. Das offensichtlichste ist, die KI ist dazu da, um den Menschen nachzuahmen und der Mensch, der diskriminiert nun mal. Und deswegen ist es eigentlich nicht verwunderlich, dass die KI das auch nachahmt. Aber tatsächlich gibt es noch viel mehr Quellen von solchen systematischen Fehlern zum Beispiel. Es reicht schon aus, wenn Menschen unterrepräsentiert sind. Es gibt den technischen Bayes. Wenn Menschen zum Beispiel weniger technisch affin sind. Oder wenn zum Beispiel gewisse Dinge gemessen werden, an denen der Erfolg, oder die Strebsamkeit festgemacht wird, die aber nicht unbedingt fair sind. Also zum Beispiel, wie lange war ich eingeloggt? Ganz lange. Ich habe aber zwischendrin Spaghetti gekocht, gegessen und irgendwie mir die Fußlegel lackiert. Und dann zählt das aber trotzdem ein auf, die ist besonders fleißig, während andere, die vielleicht punktuell zielgerichteter Arbeiten hinten überfallen. Ganz genau. Also was auch ganz klassisch genutzt wird, sind auch so Klickzahlen. Also wie oft klickt jemand auf irgendeinen, wie oft hat jemand dieses PDF-Dokument gedownloadet, wie oft hat jemand diese und jene Seite aufgerufen. Das muss natürlich kein Indikator für Kompetenz sein. Okay, aber wir sind heiß auf Quantifizierung. Klicks kann ich messen, Verweildauern kann ich messen. Wenn ich jetzt wieder herum Lehrerin bin und arbeite mit einem solchen Programm, bin ich mir dann, ich weiß nicht, ob ihr das erhoben habt, aber bin ich mir dann üblicherweise darüber im Klaren, dass da eine gewisse Schieflage herrschen könnte oder vertraue ich auch von der anderen Seite nicht als Lerende, sondern als Lehrkörper der Neutralität dieser Anwendungen. Ja, also es gab tatsächlich, also unsere Partner-Uni hat tatsächlich eine Umfrage gemacht an vielen Schulen und auch in Hochschulen und wir haben gesehen, dass Moodle haben wir und das ist so eine Online-Plattform, die jetzt auch mehrere Unis nutzen. Das Moodle-Moment vor allem genutzt wird, um Dateien abzustellen. Das heißt, noch wird es nicht so exzensiv genutzt, aber es gibt in Moodle schon eine KI-basierte Funktion, die gefährdete Studenten erkennt. Also wie zum Beispiel die einem Lehrer vorhersagt, diese und diese Personen werden vermutlich durchfallen, durch die Prüfung. Anhand welcher Kriterien, das kann ja durchaus auch hilfreich sein, weil es gibt mir vielleicht den zeitlichen Vorsprung, den ich brauche. Das stimmt, das ist natürlich die gute Intention dahinter, aber es gibt natürlich auch den Rosentaleffekt, das, was man erwartet, das tritt vielleicht auch eher ein. Also wenn ich erwarte, dass ein Student eher durchfällt, dann begünstige ich das vielleicht auch durch mein Verhalten. Also, ja, also da gibt es auf jeden Fall Unsicherheiten auf allen Seiten sozusagen. Jetzt haben wir vorhin schon gehört in der Einführung, Garbage in, Garbage out. Also die Datensätze, die ich reinspiele, werden mir in gewisser Weise symmetrisch auch wieder ausgespielt. Wenn ich die Systeme, also mit Schrottdaten oder mit sehr einseitigen, sagen wir, Gesichtsdatensätzen küttere, dann fällt das Ergebnis entsprechend aus. Jetzt würde das vielleicht auf Schieringsbaustelle übersetzt heißen, die Datensätze sind zu alt, es werden die falschen Zeitfaktoren abgefragt und gemessen. Manche Aspekte vielleicht zu stark gewichtet. Würdest du sagen, Christina, so ein sensibles System, wo ja jede Menge Faktoren miteinander in Beziehung treten, lässt sich überhaupt so kalibrieren, dass es frei ist von Vorannahmen oder ist das ideal, einfach Vorannahmen irgendwie runterzuschrauben, aber so ganz eingenordet bekommt man es nicht. Ja, generell würde ich schon sagen, vor allen Dingen, weil wir es ja mit Datensätzen zu tun haben, da sind sicherlich auch noch mal Interessante Datensätze, die häufig, also wo bestimmte Perspektiven fehlen. Und wir haben diese alten Datensätze, die wir hineingespeist. Und wir wollen dann irgendwie klassifizieren, die Gegenwart damit und wollen die Zukunft damit beschreiben und irgendwie funktioniert das aus einer bestimmten Perspektive nicht. Also es gibt ja viele Beispiele, aber ich denke jetzt zum Beispiel, es gibt Forschung über Google News, die ganz spannend und interessant sind, wo sehr deutlich wird, dass am Ende diese Datensätze, wie das hat der Forscher schon beschrieben, der hat gesagt, ja, am Ende würde dieser Datensatz ein Roboter bespielen, der Roboter würde dem Mann des Bier anbieten und die Frau beim Abspülen helfen, sozusagen wie die Textkorporer bei Google liegen, um diese Google News daraus auch zu bekommen. Also wenn man sozusagen diese reproduzierten Geschlechterbilder dort hat und die nicht aufräumt, dann kommen wir da auch eigentlich gar nicht weiter oder kommen wir auch nicht raus aus der Falle. Also ich mag auch solche Projekte gerne, die eher fragen, okay, wie können wir neue Daten kreieren oder zum Beispiel speziell feministische Perspektiven oder andere Perspektiven von Frauen bereinbringen als eben solche, die irgendwie nach 50er-Jahre riechen und fürchterlich Stereotyp sind und auch die mangeln und die braucht es auch und die sind ja nicht nur digital, sondern die sind ja schon relativ alt. Francesca, jetzt wird ja oft bei solchen Diskussionen der Begriff Black Box bemüht, also der Algorithmus, wir stehen davor wie Schwein vom Urwerk, wissen nicht, wie es funktioniert hinten, fällt irgendein Ergebnis oder irgendeine Entscheidung raus. Dann wird auch oft noch gesagt, ja, durch Machine Learning sind diese Prozesse darin irgendwann auch so komplex, dass selbst die Entwicklerinnen und Programmierer nicht mehr ganz hinterherkommen, welche Daten hat sich das System denn da jetzt, wo irgendwie zusammengesaugt, teilst du diese Einschätzung, also dass wir diesen Algorithmus nicht in der Art und Weise durchleuchten können, dass wir von einer Black Box reden müssen oder würdest du sagen, nee, da gibt es schon Schalter und Hebel und Sachen, die wir machen können? Naja, also ich bin ja keine Technikerin, aus der Perspektive würde ich es wahrscheinlich teilen, weil ich es selber nicht spielen könnte, aber ich kann mir schon vorstellen, dass es natürlich Schalter und Möglichkeiten gibt. Eine Frage ist zum Beispiel die Daten, die andere Frage ist, was will ich denn überhaupt mit so einem Algorithmus, was soll der dann am Ende mir sagen, aus welcher Grundlage, also geht es darum, Profit zu maximieren oder alles muss schneller gehen oder geht es darum, eine faire Gesellschaft zu gestalten, zum Beispiel. In der Regel, die Algorithmen, die mir jetzt so spontan einfallen, da geht es eher nur um Profitmaximierung und da geht es selten um Gerechtigkeit und selten um Fragen von Fairness. Und das wäre zum Beispiel auch ein Schalter, den man nehmen könnte. Also wo man sich tatsächlich nochmal fragen müsste, warum wollen wir diese Technik überhaupt haben? Was soll die uns bringen jenseits von alles geht schneller und alles, wir können mehr Geld damit machen. Also die Sinnfrage, und ich höre da drin ja auch so, sage ich mal eine pädagogische Absicht, da kommen wir vielleicht noch zu. Vorher würde ich dich Stiering gerne nochmal fragen, Blackbox ist das ein Begriff, mit dem ihr arbeitet oder sagt ihr, ihr habt mir vielleicht mehr als das haben hier erhält. Eigentlich benutzen wir den Blackbox Begriff nicht mehr. Also es gibt quasi die drei, ich sage mal die drei Etagen, Transparenz, Interpretierbarkeit und Explanability, Erklärbarkeit. Und an der Transparenz mangelt es eigentlich nicht. Also die meisten Mathematiker verstehen die klassischen Machine Learning Algorithmen zumindest. Aber das war ein ganz interessanter Punkt, den du aufgebracht hast Francesca, weil es nämlich genau um die Optimierung geht. Es geht nämlich genau um die Modellierung, was wird denn hier genau optimiert und warum kann man nicht noch eine Fairness Komponente in die Modellierung reinbringen. Und das ist gerade ein aktuelles Problem, daran wird geforscht. Und es ist zwar auch Teil der Transparenz, weil es in der Transparenz nämlich um den Algorithmus geht. Wenn ein Mathematiker auf das Modell schaut, kann man das begreifen im mathematischen Sinne. Ja, das kann man oft, außer die Firmen optimieren nun mal nach Profit oder nach, wonach auch immer, aber nicht nach Fairness. Ja, und die, ich sag mal die Stufen, die danach kommen, Interpretierbarkeit, Erklärbarkeit, das sind jetzt auch nochmal ganz interessante Stufen, weil es da nicht nur um, darum geht, verstehe ich die Mathematik dahinter, sondern es geht darum, kann ich das visualisieren und kann ich einem Menschen, eine Begründung dafür, diese eine Entscheidung oder für Summen von Entscheidungen liefern. Okay, ich glaube da, durch diese Stufen werden wir noch gehen. Christina Oft heißt es ja, oder hieß es in den vergangenen Jahren, die Diskussion ist ja keine ganz neue, diverse Teams würden helfen, wobei ich hier natürlich eine Fußnote reinschalten muss, dass wir heute Abend die Position von Männern hier vorne auch nicht zwingend abbilden oder die von schwarzen Personen. Und ich hoffe, wenn ich euch jetzt sage, dass das an einer großen Anzahl von Terminkollisionen und urlaubsbedingten Absagen gelegen habt, dann glaubt ihr mir das und sagt, nicht klingt genauso lame, wie wenn die Redaktion Maischberger das sagt. Also trotzdem nochmal die Frage, ist es so, dass möglichst diverse Teams vor Urteile fair und möglichen durch diese drei von Schirin genannten Stufen hindurch, oder ist das auch wieder so ideale Tage gesprochen? Es ist beides so ein bisschen, aber ich, also natürlich macht das schon was aus meiner Erfahrung würde ich schon sagen, aber diese Diversenteams alleine setzen das ja nicht um, sondern es ist ja letztendlich, wie gesagt, so ein Auftraggeber, Auftraggeberin, die dahinter setzt, also jemand, der die Software auch gerne hätte oder diese Form von Algorithmus, der den würde. Ich sehe ich eher in einer stärkeren Verantwortung, weil wenn ich jetzt als Programmiererin da sitze und auch als Schwarze Programmiererin und ich bin in so einem diversen Team, heißt es noch lange nicht, dass das sozusagen, also da sind da auch auch Hierarchien und da sitzen doch dann meistens Männer, die das auch mitentscheiden, die vielleicht diese Interessen auch gar nicht mittragen. Also ich bin da so ein bisschen, diversity wichtig, ja, macht ein Teil aus, aber auch nur ein Teil und dann auch auf einer bestimmten Entscheidungsebene. Jetzt haben wir ja ganz oft auch mit statistischen Effekten zu tun, die so eine Verzerrung reinbringen. Also lange mussten Frauen zum Beispiel höhere Beiträge zahlen und die Lebensversicherung als Männer, weil höhere Lebenserwartung, du hast es gesagt, Francesca. Da wird geguckt, was optimiere ich, wie ist die Kalkulation, wo ist der Gewinn, wie teile ich das auf? Dann springt sowas bei raus. 2019 hat Apple eine Kreditkarte gelauncht, die Frauen in geringeren Kreditrahmen eingeräumt hat, als Männern. Und ich vermute mal, weil Frauen im Schnitt weniger verdienen. Christina, du hast es gesagt, quasi Blick in die Vergangenheit, der dann verlängert wird als Projektion in die Zukunft. Ich würde mir vorstellen, dass es bei Lernprogrammen auch so ist. Es wird gesagt, okay, da ist eine Frau, die studiert einen Mintfach. Wie viele erfolgreiche Abschlüsse von Frauen hatten wir da in den vergangenen Dekaten? Da nicht so viele. Wahrscheinlich ist die Prognose eher nicht so prall für die einzelne Person. Würdest du sagen, Francesca, sowas ließe sich rausrechnen oder kommen wir da wieder zu dem Fernesscheiter, der so als Gegenpol da implementiert sein muss? Wie gesagt, technisch kann ich das gar nicht beantworten. Ich bin mal wahrscheinlich schon, aber dafür müsste man natürlich diese ganzen Formen von Diskriminierung erstmal anerkennen, benennen und feststellen, dass sie tatsächlich da auch stattfinden. Also das Lustige bei dem Apple-Beispiel ist ja, dass die Frauen teilweise schlechter Kredite dran kommen haben, als die Männer aber mehr verdient haben als die Männer. Also doppelt so viel wie die Männer und trotzdem weniger Kredit. Und ich glaube, das ist eigentlich unser Hauptproblem oder das Problem, dass wir sozusagen ein Ungleichheitverhältnis, Ungleichheitsverhältnisse nicht wirklich bekämpfen wollen, können, tun, wie auch immer. Und solange wir das nicht machen, können wir uns lange über Algorithmen unterhalten, die irgendwas besser machen sollen, aber sie werden es halt nicht besser machen, weil wir als Gesellschaft nichts an Ungleichheitsverhältnisse in Diskriminierung verbessern. Also du sagst, also am Algorithmus ansetzen, interpretiere ich jetzt rein, ist nicht so das Ding. Ich glaube, dass es einfacher ist, einen Algorithmus bewusst anzupassen, als 10.000en Leuten Vorurteile abzutrainieren. Das ist jetzt natürlich so der Klassiker, Huen und Ei. Wo geht es los, wo muss angesetzt werden? Analog bei den gelebten Ungleichheiten oder digital quasi erzieherisch oder mit pädagogisch-daktischer Absicht bei den Programmen und Anwendungen. Was wären da so euer Guest jeweils? Was Tina guckt? Gerade als Pädagogin würde ich sagen, es ist immer beides, sorry. Und gerade junge Menschen leben ja nie in der Welt, wo sie das auseinanderdividieren würden. Also ihre Lernwelt ist digital, aber sie ist auch analog. Und sie würden das glaube ich nicht so machen, wie wir das immer noch auseinanderdenken. Aber das ist ja auch eine spannende Herausforderung, die da an uns steht. Also dieses Zitat, das denkt Technik und Mensch und sozusagen digital. Ich denke, es muss zusammengehen und auch dieses Bewusstsein darüber zu schaffen. Algorithmen machen Fehler. Und wann misstraue ich denn diesen Fehler? Chatbot, oder Dinge, die sehr eingängig sind. Die sehen wir ja noch, aber es wird ja immer komplexer werden. Und wann nehmen wir das eigentlich dann? Wann ist die KI so stark, dass wir das noch wahrnehmen? Die Herausforderung finde ich noch mal viel interessanter. Auch als Frage, die man pädagogisch mit der Diskriminierung bewältigen muss. Was wir jetzt tun, ist ja sehr offensichtlich. Würdet ihr da zustimmen, oder würdet ihr die Gewichte jeweils anders hängen? Ero und Ei, beides. Auf jeden Fall beides, ja. Dann habt ihr ja sicherlich noch nicht den ausgearbeiteten Masterplan dabei, aber zumindest die ersten drei Steps oder Empfehlungen wie dieses beides und dieses Zusammendenken, diese Engführung, ja, zu bewerkstelligen ist. Vielleicht Beispiele von denen ihr wisst, Best Practice bei Lernprogrammen, bei der Benachteiligung von Frauen oder Minderheiten, wo gezeigt wurde, okay, hier ist die Stellschraube und hier ist dieses Fairness-Tool, dass ich in die Programmierung reinhole. Wisst ihr, wo das gelungen ist? Ich, also vielleicht fällt euch was ein, aber mir fällt jetzt nichts ein. Ich glaube, wir müssten auch mal über Fairness als Gesellschaft diskutieren. Was ist denn überhaupt fair und was ist gerecht? Hier ist der Fairness-Hebel und da machen wir irgendwie zwei Punkte und dann ist alles fair. Also wir sehen es ja gerade, aus einer feministischen Perspektive sieht man es schon sehr lange, an der Bewegung, aber wir sehen es jetzt auch gerade bei der Black Lives Matter Bewegung. Da geht es gerade um Gerechtigkeit und Fairness ist ein schwieriger Begriff, aber da geht es um Gerechtigkeit und die Abschaffung von Ungleichheitsverhältnissen. Wir sind mitten in dem Aushandlungsprozess. Also ich glaube, das ist nicht so easy und es gibt viele, wo ihr sagen könntet. Na, ist doch offensichtlich, da und da hat das geklappt. Also wenn es irgendwie aus dem Publikum die entsprechende Eingabe gibt, gibt gerne ein Handzeichen, dann können wir uns das gerne an. Auch für andere Fragen, wie gesagt, ich gucke natürlich hier vorne ganz viel, aber ihr habt gerne die Hand, wenn es eine Frage gibt. Da wird irgendwie nach dem stillen Postprinzip weitergeleitet, aber ich weiß gar nicht, dass es unheimlich wichtig zu unterscheiden, weil es immer so ein bisschen durcheinander geht zwischen klassischen Algorithmen, wo ich eine Entscheidung treffe nach bestimmten Kriterien. Ich sage, wenn jemand schwarze Hautfarbe hat, blaue Augen hat, wenn jemand bestimmtes Alter hat, dann ist zum Beispiel sein Kreditschor besser oder schlechter. Seine Prognose, dass er rückfällig will, wenn er in der Haft ist, ist es schlechter oder besser. Da kann ich das relativ klar strukturieren und kann das auch nachprüfen. Im besten Fall, wenn es open source ist. Ich würde das ganz klar unterscheiden von neuronalen Netzwerken, weil es ein bisschen durcheinander geht. Es ist immer noch leider eine Blackbox. Man kann es in gewissen Weise mit diverse Engineering zu testen, was passiert, wenn ich bestimmte Daten reingebe und was kommt raus. Kann ich versuchen, das rauszufinden, was macht das Ding eigentlich. Aber es ist am Ende eine Blackbox, wo ich Daten reingebe und ich kriege danach irgendwas raus, wo ich gar nicht weiß, welche Kriterien sind dahinter. Zweite Sache ist ganz wichtig, ganz kurz Transparenz, weil in der Regel ist es wirklich so, für den, den es betrifft, wichtige gesellschaftliche Entscheidungen hatte ich ja schon mal Haftentlastung zum Beispiel, Rückfallquote, so was. Oder ein Kreditscore. Ich weiß letztendlich nicht, was ein Kriterien dahinter steht. Ich kriege ein Score und da muss ich mich mit abfinden. Ich kriege ein Kredit, ich kriege kein Kredit. Ich werde aus der Haft entlassen. Früher habe ich ja nicht aus der Haft entlassen. Ich kann es in der Regel nicht wirklich nachvollziehen, was sind die Kriterien. Also erstens, ganz klar unterscheiden. Neuronale Netzwerke, klassische Algorithmen. Und wenn klassische Algorithmen, dann ist die Frage, sind sie open source und es muss zumindest irgendwo eine Dokumentation sein, wo beschrieben wird, nach welchen Kriterien sozusagen entschieden wird. Okay, also ich nehme mal mit, oder fasse nochmal zusammen, da wir ja hier vorne, ich würde sagen, Skirin steht noch am nächsten sozusagen, dem ganzen Coding, aber ich nehme nochmal mit, die Unterscheidungen, Algorithmus, der wird programmiert, läuft so und so ab und ist relativ simpel zu verstehen und doch nochmal das Play-Doyer ein bisschen zur Seite gelegentlichen Begriff Blackbox für neuronale Netzwerke, die tatsächlich wesentlich undurchdringlicher sind. Kannst du der Unterscheidung folgen, weil du hast das eigentlich dagegen argumentiert? Ja, klar, ich habe einfach was für mich gebrüllt und du erklärst es mir nochmal. Ja, ich bin da tatsächlich ein bisschen anderer Meinung. Es gab da eine sehr schöne Publikationen im Nature Communications, falls der Herr da nochmal nachgucken möchte, zur Explainability von neuronalen Netzwerken. Es gibt schon gute Ansätze, da kann man jetzt drüber streiten, ob man das immer noch weiterhin Blackbox nennen möchte oder nicht. Es gibt tatsächlich in der Machine Learning Literatur diese Unterscheidung zwischen regelbasierten Algorithmen und eben Machine Learning Algorithmen. Das können dann wie Blending Algorithmen sein, neuronale Netzwerke oder aber auch probabilistische Methoden. Also Wahrscheinlichkeitsberichtungen. Genau, genau. Aber der andere Punkt war ja auch, ich muss damit in irgendeiner Weise leben. Es gibt auch im Stufa zum Beispiel, die genau diesen Kreditschor versuchen zu hinterfragen. Aber ich kann ja nicht bei jeder einzelnen Entscheidung, was für sich die Verkehrslänkung Berlin entscheidet, irgendwas vielleicht betrifft es mein Leben, dem werde ich wahrscheinlich nicht jeden Tag nachgehen, was am Ende des Tages so aufgelaufen ist. Ein anderes Beispiel ist vielleicht, auf einen und derselben Online-Shopping-Plattform werden die und mir unterschiedliche Preise für das Produkt angezeigt. Ich weiß es aber gar nicht, dass du was anderes angezeigt bekommen hast. Weil der Algorithmus dahinter sagt, die eine verdient mehr oder die lebt im falschen Bezug oder die scheint sparsamer zu sein. Irgend solche Faktoren beeinflussen diesen Preis. Wie kann ich das denn überhaupt nachweisen? Weil darum ging es ja auch gerade in dem Beitrag, wie mache ich mir das klar und wie verfolge ich das weiter oder wie decke ich das auch? Tatsächlich, bei solchen Beispielen würde ich sogar mitgehen, bei dem Begriff Blackbox, weil die Firma den Algorithmus gar nicht als Preis gibt. Das heißt, die können sonst was machen. Das könnte Machine Learning sein, das könnte regelbasiert sein. Da können wir keinen Einblick gewinnen. Aber tatsächlich gibt es Möglichkeiten, auch Blackbox-Systeme zu untersuchen. Das heißt Counter-Factual-Fernes zum Beispiel. Da wohnen zum Beispiel Sentiment-Analyse-Systeme verglichen. Sentiment-Analyse-Systeme weisen einem Satz eine gewisse Wertigkeit zu. Entweder ist der Satz positiv oder negativ. Da wohnen dann zum Beispiel die Sätze Ben ist sauer und Ali ist sauer verglichen. Warum ist Ali ist sauer negativer als Ben ist sauer? So kann man das reverse engineern. Einfach mit der Vorannahme diese Sätze sollten gleich bewertet werden für unterschiedliche Namen. So kann man das sozusagen. Das ist die akademische Seite. Aber ich als Verbraucherin, der gesagt wird, ich kann dir keinen Kredit geben für eine neue Anschaffung. Noch öfter gefragt, kann ich hinterfragen oder weiter dagegen vorgehen, dass mir dieses oder jedes Urteil beschieben wird? Das ist eine sehr gute Frage. Da könnten sich nur Verbraucher zusammentun und vielleicht Ergebnisse vergleichen. Aber das ist natürlich eine sehr gute Frage. Auf der EU-Ebene haben wir die DSGVO, die letztendlich auch das Recht einschreibt, Entscheidungen, die algorithmisch basiert sind, nachzuvollziehen zu können. Ich glaube, da gibt es so eine Möglichkeit, was kommt. Aber ich denke, ich sehe auch eher, dass diese Entscheidungsrahmen viel deutlicher gemacht werden, als dass man die Verantwortung komplett abgibt. Das heißt, man kann das auch wieder transparent machen. Ich glaube, da kommt noch viel. Aber wenn man die DSGVO ernst nehmen sollte, dann liegt auf jeden Fall ein Recht, das zu wissen und zu erklärt bekommen. Gerade wenn es Entscheidungen sind, im Rahmen der Sozialarbeit wird zum Beispiel sehr häufig, gibt es Verwahrung nach Kindeswohl, da gibt es das Software, die Sozialarbeiter letztendlich eine Entscheidungsrahmen geben zu entscheiden, okay, muss das Kind verwahrt werden oder nicht, weil es eine brenzliche Situation ist, weil es einen Notruf gab. Und da ist das sozusagen eine Orientierung. Aber die Entscheidung trifft natürlich dann sozusagen das Team und die Sozialarbeiterin in dem Fall immer vor Ort. Das ist nicht so eine Beziehung, die völlig in Ordnung ist, also als sozusagen eine Hilfestellung, aber nicht, dass die Software das Ganze alleine entscheidet. Christina sagt, ich hätte prinzipiell ein Anrecht darauf zu erfahren, wie eine Entscheidung, die mich in irgendeiner Weise betrifft, zustande kommt. Aber wo fordere ich das ein? Ich weiß nicht, ob du Francesca-Tipps oder Hinweise hast und wen ich mich wende, irgendwelche Ombudstellen, Schiedsstellen, keine Ahnung, keine Selbstkontrolle für solche Art von Programmen gibt, wo man sich dann rechtfertigen müsste. Nicht, dass sie fürstisch spontan würde ich zum Verbraucherschutz gehen, genau. Es ist auch so ein bisschen die Frage, wie es denn vorher war. Also wir wurden ja auch vorher schon bestimmte Dinge aufgrund von bestimmten Regeln verweigert und ich weiß gar nicht, ob die dann immer so offen lagen, warum man einen Kredit gekriegt hat und warum nicht. Also ist jetzt kein Play-Doh jeder für, dass man sozusagen das wahrscheinlich schon länger hat. Jetzt würde ich gerne um es nochmal klarer gewichten. Wir haben jetzt so ein bisschen die Grundannahme verfolgt, dass Algorithmen Ungleichheit reproduzieren. Also das, was wir offline leben, du hast ja auch gesagt, diese Unterscheidung trägt eigentlich auch nicht mehr so fürchterlich gut, wird ins Netz verlängert und in das, was wir online tun. Andere sagen aber auch, dass diese Ungleichheit online nicht nur reproduziert wird zu gleichen Teilen, sondern verstärkt und in viel größeren Drive bekommt, weil ganz kleine Aspekte, wir hatten das ja in diversen Beispielen, ganz kleine Aspekte von einem Datensatz ein ganz großes Gewicht bekommen. Wie würdet ihr euch da zu verhalten? Seht ihr das Netz sozusagen als Verstärker oder einfach als Verlängerung, wo das 1 zu 1 ausgespielt wird? Ich kann gar nicht so prochalsagen. Für bestimmte Sachen ist es ein Verstärker, zum Beispiel für digitale Gewalt ist es auf alle Fälle ein Verstärker, was sozusagen an Öffentlichkeiten hergeht. Aber ich kann mir auch sehr gut vorstellen, dass es so für algorithmische Entscheidungssysteme ist, für Versicherungen und so Fragen nochmal verstärker ist, weil die diese Daten mit sehr hoher Wahrscheinlichkeit einfach mit einbeziehen, die man im Netz sozusagen hinterlässt. Aber in anderen Bereichen ist es dann vielleicht tatsächlich ein weiter Leitung. Aber ich glaube, pro Schal kann man das jetzt nicht ja oder nein sagen. Also beides könnte zutragen. Jetzt haben wir ja gerade gesehen, es war auch schon angesprochen, dass bürgerschaftliches Engagement tatsächlich was bezwecken kann. Vergangene Monat hat Microsoft angekündigt, Polizeibehörden nicht länger die eigene Gesichtserkennungssoftware zur Verfügung zu stellen, bis eben der Einsatz solcher Programme gesetzlich geregelt ist unter Einhaltung der Menschenrechte. Amazon und IBM haben ebenfalls Programme zurückgezogen, ein bisschen anders argumentiert, aber tatsächlich zurückgezogen. Jetzt könnte man übersetzen, große Player rufen nachstaatlicher Regulierung nach dem Gesetzgeber, das kommt ja auch nicht so oft vor. Habt ihr eine Idee, wie eine sinnvolle Regelung, eine sinnvolle Gesetzgebung aussehen könnte, also wo man diese Zuständigkeit, das Recht auf Transparenz einklackbar zu machen, wo man das ansiedeln und praktisch beleben könnte, freiwillige Vorgaben? Naja, ich finde, also das ist jetzt, glaube ich jetzt für Deutschland und USA sind ja zwei vollkommen unterschiedliche Bereiche, in Deutschland ist das ja ganz gut geregelt mit diesen ganzen predictive Policing-Fragen und aus Grund von Datenschutzgründen, einfach eine informationale Selbstbestimmung, das ist in den USA ja ein bisschen eine andere Sache. Von daher, glaube ich, haben wir in Deutschland einen ganz guten Standard da, was da geht. Das wird hier natürlich auch das eine oder andere Dichwort Südkreuz, wo zu sagen Gesichtserkennung ausprobiert worden ist. Genau, das wäre jetzt aber eine spezielle Regulierung, habe ich jetzt natürlich nicht und ob immer so Ombuds-Personen, genau das sind, was wir dann am Ende brauchen, ist auch so ein bisschen die Frage, alles sozusagen juristisch zu regulieren, ist ja auch nicht immer die Lösung. Ich komme nochmal zurück zu meinem Play-dolier für, das müssen wir auch tatsächlich gesellschaftlich am Ende machen. Die Algorithmen haben uns nicht erledigt, die Problemen. Tatsächlich, das war vielleicht missverständlich, meinte ich, wo ließe sich in Deutschland eine solche Stelle, die jetzt nicht nur für Microsoft und Gesichtserkennungsprogramme, sondern generell an die ich mich wenden kann und sagen kann, hier geht mal dem nach, prüft es mal, mir kommt es komisch vor. Verbraucherschutz war ja schon genannt, wir haben Landesdatenschutzbeauftragte, also würde dir sagen, auf der institutionellen Seite eigentlich gar nicht schlecht ausgestattet aufgestellt. Also da geht immer mehr. So prinzipiell. Und ich habe auch nochmal geschaut, es gibt ja sehr viele NGOs, die sich auch verschiedenen Menschenrechtsverletzungen durch Algorithmische Systeme widmen in den verschiedenen Ländern. Es gibt jeweils verschiedene neuralgische Systeme, also weil sie nicht in Finnland war es der Kredit. In Österreich haben wir eine Arbeitsmarktintegration, die auch sehr zweifelhaft ist. Vielleicht muss man das auch alles sozusagen, ich sehe eher auch Zivilgesellschaft mehr am Zug da noch mehr Druck zu machen. Und diese Sache, also ich meine schön, wenn die Player ein bisschen zurückziehen, aber natürlich verfolgen die auch eine Strategie. Und deren Strategie ist sicherlich nicht, dass der Staat ihnen die Regeln rein dektiert, sondern dass sie wahrscheinlich vorschlagen werden. Wir schlagen ihnen ein paar Ethik-Richtlinien vor und dann ist es so eine schöne regulierte Selbstregulierung, wie das so schön heißt. Also man versucht sich an was zu halten, aber man möchte so ungern die algorithmische Entscheidung rausgeben. Also außerdem kann ich als Staat natürlich, ich bin ja auch nicht auf die angewiesen, ich kann ja auch andere Systeme nutzen. Also jetzt dieses Beispiel PIMEIS, was da aus Polen kommt, was auch von Interpol offensichtlich genutzt wird, wie ich erfahren habe. Also das sind ja auch nochmal schwierige. Also Staaten können auch, müssen nicht Microsoft benutzen. Sie können auch über andere Systeme an Gesichtserkennung und Datenbanken also da sehe ich jetzt nicht die Schwierigkeit. Okay, vielleicht gibt es ja Vorschläge der Zuschauerinnen und Zuschauer oder Fragen Natascha? No, doch. Bitte schön. Ach so, das vergaß ich für den Zusagen. Schön wäre es natürlich immer, wenn ihr euch vorstellt, wir tun sie auch. Ja meine, ich heiß Karl und ich würde mal sozusagen andersrum argumentieren wollen. Ich bin ja alt genug, um zu wissen, dass Diskriminierung nicht im Internet erfunden worden ist und mit EDEV und das zum Beispiel, nehmen wir Personalwesen. Wir wissen ganz genau, dass bei Personalentscheidungen abhängig gemacht wird bei individuellen Personalentscheidungen der Name des Bewerbers, das Geschlecht des Bewerbers, Herkunft, Schule, Gymnasium oder nicht, all solche Dinge und es müsste ihr mir erklären, warum ich ein algorithmusbasiertes System, was vielleicht darauf gezielt wäre, solche, sagen wir mal, Nebensächlichkeiten oder nicht so zentralen Sachen geringer zu bewerten, warum ich, warum das mich beunruhigen sollte. Wer ist eigentlich nicht toll, wenn ich jetzt nur noch Resümee habe, wo das hieß, der Kandidat A, hat die und die Qualifikation, die Kandidatin B oder noch nicht mal so, lassen wir den Gender weg, nicht? Also Kandidatin mit Stern nicht und dann kriege ich eine Liste und dann suche ich mir den oder diejenigen aus, die offensichtlich die Beste der Beste ist, ohne das Gesicht gesehen zu haben, ohne den Namen gesehen zu haben und so weiter. Wäre doch toll, wäre doch eine schöne Utopie oder nicht? Ja, genau, also schön wär's, es gab schon einen Skandal zu. Hast du darauf dran gemacht? Der bekannte Amazon-Skandal. Sie haben nämlich genau das versucht, ein Recruitment-Algorithmus, ein Recruitment-System bauen, ohne Namen, ohne Alter, ohne alles, was wogegen man diskriminieren könnte und der hat aber trotzdem frauensystematisch benachteiligt, warum, weil er frauentypische Wörter erkannt hat in den Bewerbungen. Was ist denn einer Bewerbung, ein frauentypisches Wort? Ich hab jetzt die genauen Wörter vergessen, aber Männer beschreiben sich einfach mit anderen Wörtern typischerweise und diese Strukturen hat der Algorithmus erkannt. Also, ah, jemand, der sich mit diesem Wort beschreibt, der kommt bei uns typischerweise schnell in die Chefetate und so jemand kommt eher nicht so weit. Also es gibt dieses Konzept, das implizite Diskriminierung und das ist tatsächlich ein großes Problem, selbst wenn wir die offensichtlichen Sachen weglassen, gibt es trotzdem noch Dinge, die uns als Frauen, Männer, wie auch immer outen und uns verwundbar machen. Ja, dann kommt natürlich die große Frage gleich, Moment, aber da möchte ich dir noch anschließen, was tun. Also wenn du sozusagen Vorannahmen nicht neutralisieren kannst, wir waren ja vorhin auch schon mal an dem Punkt, was denn dann? Also dann müsste man ja die Waffen strecken. Ja, also das ist tatsächlich ein offenes Forschungsproblem, weil es einfach noch nicht bekannt ist, wonach man den suchen kann. Weil die Algorithmen sind dafür gemacht, Strukturen zu erkennen. Wir wissen aber noch nicht, ob die Strukturen vielleicht korrelieren mit dem Geschlecht mit dem Alter, womit auch immer. Also es gibt da natürlich schöne Informationsmaße in der Mathematik, wo man berechnen kann, wie viel Informationen gibt mir das über das Geschlecht und so weiter, aber da spielt tatsächlich Datenschutz auch eine große Rolle, weil dadurch, dass es nicht mehr erhoben wird in Deutschland, kann es auch schwerer nachgewiesen werden. Okay, das ist ein großer Haufen Probleme, dank deiner Frage jetzt vor und sehen. Es gibt eine weitere Frage aus dem Publikum, bitteschön. Also mich würde jetzt interessieren, warum sucht... Ich heiße Tina, komme auch aus Berlin. Ich würde interessieren, warum die KI nach solchen Floskeln oder Satzbauten, wie auch immer Sprachwörtern, wie auch immer rausgesucht hat, die KI muss ja irgendwo hin trainiert werden. Also ich kenne KI, die entweder, das nennt man, unautorisiertes Lernen, dann suchen die irgendwas raus. Anzubeweisungen? Dann suchen die irgendwas raus. Das, was du beschrieben hast, du hast das gekauft, also andere haben dir das empfohlen. Die suchen da irgendwelchen Muster, das muss nicht Sinn machen. Aber bei Syberweißlearning wird ja gesagt, suche ein Gesicht raus, was so aussieht. Und dann, wenn ich nur weiße Gesichter habe, dann kommen auch nur weiße Gesichter dabei raus. Und wenn ich nur nach bestimmten Sätzen suche, die muss ich ja wiedererkennen. Algorithmus weiß ja nicht, das ist ein Muster oder es erkennt ein Muster, weil es sich wiederholt. Aber das ist noch keine Wertung. Das habe ich in den letzten Tagen zusammengebracht. Das ist in dem Ursprungs- und Zielraum. Also der Zielraum ist in dem Amazon Recruitment Fall gewesen, ist erfolgreich oder nicht zum Beispiel. Und der Input war dann Text und alles, was an Bewerbungsunterlagen gesendet wurde. Und in diesem Ursprungsraum, da wird nach Strukturen gesucht, die mir zuverlässig vorhersagen können, ob jemand ein guter Kandidat ist oder nicht. ist diese Person kompetent oder nicht. Aber da ist gerade eine Verwechslung, hat stattgefunden zwischen dem Ursprungs- und dem Zielraum. Der Zielraum ist quasi wirklich nur das Ergebnis, wonach ich optimiere. Das stellt die Frage. Was ist ein guter Kandidat? Was ist ein guter Kandidat? Muss ja die KI wissen, wonach suche ich denn, damit das ein guter Kandidat ist? Das muss Kriterien haben, die müssen ja bestimmt werden. Nein, das ist der Unterschied zwischen den regelbasierten Systemen und den Machine-Learning-Systemen. Die Machine-Learning-Systeme sind dazu da, um Strukturen zu finden, anhand von statistischen Modellen. Aber ganz kurz um zu dem Emerson Beispiel. Ich glaube, die haben das doch alles mit den ganz alten Unterlagen, die sich je bei dem Emerson beworben haben und erfolgreich auch beworben haben gefüttert. Genau, da hat Algorithmus dann herausgefunden, was denn erfolgreich ist bei Emerson, nämlich offensichtlich männliche Flussungen zu verwenden, mindestens. Tatsächlich. Ja, aber dafür musst du es halt wissen, dass das sozusagen, genau, das ist dann sozusagen wieder die Aufgabe, die gesellschaftliche Aufgabe nochmal klar zu ziehen, was ist denn eigentlich Diskriminierung? Also, die gibt es ja vielfach. Natürlich wird man, also praktisch unendlich, man wird nicht jede Form benennen können. Aber am Ende ist das sozusagen die Aufgabe, man müsste eigentlich hinter jedem Ergebnis nochmal drüber gehen. Und nach, weiß ich, mindestens 50 Kategorien durchgucken, passt das jetzt hier einigermaßen und das werden noch 50 zu wenig sein oder 100 zu wenig Kategorien, die danach prüfen, wie diskriminierungsarm ist das dann am Ende? Also, dann haben wir zum einen fest, dass es eine ganz schön komplexe Thematik ist mit diversen Vokabular und diversen Zielvorgaben. Und zum anderen kommen wir, glaube ich, immer wieder zurück zu, was ist denn die gesellschaftliche Aufgabe und wie wird dieser Diskurs seitens von Menschen, die programmieren, seitens von Menschen, die wie wir möglicherweise Apps einfach konsumieren, betrieben. Mir hat kürzlich eine Forscherin gesagt zum Thema Rassismus und Black Lives Matter wir müssen die Matrix sichtbar machen. Das fand ich einen sehr geilen Ausdruck, um zu beschreiben. Es gibt Strukturen, Privilegien, die ich zum Beispiel genieße, die andere nicht genießen und ich muss es mir vergegenwärtigen. Also ich sehe es selber nicht, ich bin wie Betriebsblind. Ich kann es aber sichtbar machen und ich finde, das ist im Alltag direkt machbar und diese Argumentation leuchtete mir unmittelbar ein. Aber wie mache ich denn die Matrix hinter einem Algorithmus sichtbar, wenn ich vom Programmieren keine Ahnung habe, wenn ich jetzt das mal zusammenfasse, was ihr gesagt habt, in einer gesellschaftlichen Debatte. Das findet nicht in irgendwelchen Coder Seminaren statt, vielleicht auch, aber da nicht hauptsächlich. Oder? Um eine Frage daraus zu machen. Ja, absolut. Als Coderin sage ich nur mal, dass es wirklich komplett unklar ist und dass man noch viel Input aus Unterhaltungen, aus gesellschaftlichem Input, sag ich mal, braucht, um überhaupt zu operationalisieren, was Fairness bedeutet in einem Algorithmus. Weil es extrem viele Ansätze gab, extrem viele Versuche gab, Fairness in einem mathematischen Sinne zu definieren und die widersprechend sich teilweise und es ist wirklich unglaublich schwer, wohl alles erstmal einleuchtend klingt. Ja, ich sollte A nicht anders behandeln als B, aber irgendwie doch, wenn A schlechter ist als B oder so, also es ist alles irgendwie einleuchtend, aber insgesamt unlösbar, ohne, ich sag mal, gesamtgesellschaftliche Anstrengung. Blöderweise habe ich immer das Gefühl, wenn dann gesagt wird, gesamtgesellschaftliche Anstrengung tut not, dann diffodiert die Verantwortung und alle denken, war echt und leben so ihr Leben weiter. Also, wo geht das los? Also nochmal diese Matrix-Prage, wo mache ich die sichtbar oder definiere sie vielleicht für mich auch um, Christina? Also, manchmal denke ich an solche Web 1.0-Systeme, wie WGP, weil da kann ich mir nämlich zum Beispiel aussuchen, also das wird mir nicht voreingestellt, also diese Wahl finde ich wichtig. Okay, wir benutzen Algorithmen, die sind wichtig. Aber dass ich vielleicht eine Wahl bekomme, das nicht zu nutzen. Oder wenn ich jetzt über bestimmte Suchendesysteme komme, weiß ich das ganz viele Faktoren da rein. Aber ich kann ja nicht sozusagen, ich müsste ein anderes Suchsystem nutzen, weil das sich wahnsinnig schon viel gemerkt hat, aber irgendwie das Recht, sozusagen einen Ausknopf zu finden, ist ja genauso ein bisschen das Recht zu sagen, ich möchte diese Entscheidung verstehen können und mir selber einstellen können. Ich möchte viel mehr Teil davon sein von diesem Algorithmen, die mir jetzt in eine Code drin irgendwo, also da irgendwie finde ich das gut, wenn ich sozusagen so ein Google hätte, ohne Voreinstellung. So, das ist dann auch eine interessante Lernerfahrung, an der man viel mehr machen könnte. Oder das Pricing. Ja, also natürlich hätte ich auch gerne den billigeren Preis, aber ich weiß es ja gar nicht. Also benutze ich sozusagen ganz viele verschiedene Systeme, um das zu knacken. Also wenn man clever genug ist, aber eigentlich wäre das schön, wenn das sozusagen eine ethische Grundeinstellung wäre, dass man es auch ohne könnte, weil eigentlich soll er mir ja helfen und mich nicht diskriminieren, also wenn wir da irgendwie hinkehlen. Na dann würde ich jetzt vielleicht doch nochmal, vielleicht kristallisiert sich das jetzt raus als Knackfrage, würde ich es doch nochmal andersrum aufziehen und fragen, vielleicht Francisca müssten wir die Frage stellen, um das Prozess zu initiieren, gehören die Amazon, andere Kundinnen kauften auch und so weiter, oder gehören die mir und ich entscheide, wer die, wo, für welche Operationen und Rechenleistungen einsetzen darf. Das wäre ja vielleicht diese Teilhabe, die Christina gerade angesprochen hat. Also müssten wir reclaim the data mäßig dafür eintreten, dass das Datenspulen, die ich lege, auch tatsächlich meine sind. Ja, das wäre der Idealzustand, halt in sozusagen einem kapitalistischen Verwertungssystem, deshalb wird das nicht eintreffen, deshalb gehören die Daten sozusagen unrechtmäßig, könnte man jetzt sagen, den großen Firmen, aber das ist klar, reclaim the data wäre ein erster Schritt oder ein wichtiger Schritt tatsächlich. Aber trotzdem müssten wir dann uns natürlich auch verantwortlich zeigen, also was wir mit den Daten machen, also ich meine, das kommt ja auch nicht aus sich heraus, also wo wir Datensprung hinterlassen und warum es wichtig ist, dass wir sie sozusagen reclaim das ist ja auch für viele Menschen, ja gut, dann haben die halt ein paar Daten. Ich versuche immer noch in euren Sinne, hoffe ich, hier so eine Take-Home-Message raus zu quetschen und würde es gern einmal noch versuchen, vielleicht derweil Christian das Mikro rüber bringt. Was mache ich denn jetzt? Also ihr sagt, ich sitze hier im Publikum, hör mir an, ich soll meine gesellschaftliche Verantwortung wahrnehmen, die Moderatorin sagt irgendwas mit Matrix, dann diese ganzen technischen Griffe, jetzt gehe ich nach Hause, sitze gleich in der U-Bahn und denke, was mache ich jetzt? Ich verlasse die großen Plattformen beispielsweise oder ich schreibe den Mitgliedern des Bundestages, aber bloß keine E-Mail, weil wer weiß, lieber ein Brief, ich trete Algorithm Watch bei, also hättet ihr so ein praktisches Hands-on, so zack, zack, zack, jede ein Ding, hier ich mach so wie ihr versucht in eurem Alltag diese Verantwortung wahrzunehmen der Gerecht zu werden. Rundumschlag. Ich glaube es ist einfach wichtig informiert zu bleiben. Also einfach auf dem neuesten Stand bleiben und sich aktiv bemühen das Beste daraus zu machen, natürlich ist es ein riesen Problem, dass es im Moment keine Alternativen gibt zu den großen Plattformen, aber vielleicht gibt es ja bald eine und vielleicht kann man selbst eine gründen und also einfach aktiv dabei bleiben, am Ball bleiben, an sich selbst arbeiten, an seiner Sprache arbeiten. Ja, das würde ich sagen. Christina. Ja, ich habe ja schon mal so versucht, so ein Ausblick von meinem zweiten Versuch einen billigeren Flugplatz zu bekommen gegeben und ich habe auch das Gefühl, ich bin ja immer auf so einem persönlichen Battleground, aber natürlich wäre auch das Reclaim the Data und Reclaim the Privacy, das heißt ja nicht, wir brauchen, aber sozusagen bestimmte Daten sollen meiner Meinung nach uns gehören und auch nur uns und wir entscheiden auch welche wieder davon raus geben. Ich glaube, das wäre so das, was, da kommen viele andere Schritte, aber was ich mitgeben würde, liegt dabei bei dir. Ja, also ich gehe jetzt mal von mir aus, ich mache natürlich politische Bildungsarbeit und mache da sozusagen nichts anderes als Sensibilisierung, was das angeht für mich persönlich jetzt noch aus einer schwarzen feministischen Perspektive. Ich bin auch sozusagen so zivilgesellschaftlich unterwegs, dass ich in einem Verein bin, der sich um Netzpolitik dreht und zwar auch um eine feministische Netzpolitik, aber grundsätzlich gehört man sozusagen oder ich gehöre auch natürlich feministischen Bewegungen an einfach und gehe halt auf die Straße tatsächlich immer noch dann und wann. Okay, und dann hat das letzte Wort, ich glaube ein Zuschauer, da gibt es noch eine Frage, ne? Ich hoffe es, ich hoffe es ist nicht das letzte Wort. Ich bin Goode von der Humboldt Uni. Ich wollte eigentlich nochmal eine provokante Frage stellen, ich weiß gar nicht, ist das Mikro überhaupt an. Ich wollte nochmal eine provokante Frage reingeben, weil ich ein bisschen Probleme habe mit so individualistischen Lösungsansätzen, also die, die dann sagen, ja ich steig dann halt aus Google aus oder ich mache irgendwie halt das und das nicht mehr. Ich frage mich, sind wir nicht irgendwie diesen ganzen Internetkonzernen auf ein Lime gegangen? Also dann wurde eigentlich aufgegeben irgendwie Technik zu steuern. Also ein Auto darf nicht auf der Straße fahren und dann als better Version deklariert werden. Also nur ein Beispiel zu nennen, es ist hochreguliert, auch ein Atomkraftwerk kann man nicht einfach so betreiben. Also um das nochmal ein bisschen weiter zu übertreiben, wir haben jetzt irgendwie bei der US- amerikanischen Wahlen ja gesehen, dass etwas wie soziale Medien tatsächlich irgendwie oder scheinbar Ausgang austragen können. Dann muss man sich ja fragen, wie ist es warum lässt man in einer Gesellschaft es zu, dass private Internetkonzerne dafür sorgen, dass eben halt selbst sogar so etwas wie Wahlen eben halt beeinflusst werden. Warum steuert man nicht einfach Technik, wie man genauso irgendwie dieses Gebäude hier reguliert hat, wie man die Autos reguliert. Warum lässt man irgendwie Software und Informationstechnologie eben halt so vollkommen freien Lauf? Okay, da bin ich aber jetzt gespannt, ob die bündige Antwort. Machen wir es jetzt nochmal so. Francesca. Also ich spontan hätte ich jetzt nochmal meine kapitalistische Verwertungslogik angebracht, aber das zieht ja nicht so richtig, weil, wie er sagt, das Autos und so weiter werden auch reguliert. Also das jetzt so ehren aus dem Bauch raus. Die Antwort und das schließe ich an Katharina an, die ja auch zum Anfang nochmal gesagt hat, diese Idee, dass das Internet ein Raum ist, der alles ermöglicht und der frei von Diskriminierung ist und der sozusagen der neue Gesellschaft schafft. Und ich glaube, diese Idee hat sich von der hat sich einfach noch niemand verabschiedet. Alle denken noch, das Internet macht die Welt besser und das Leben besser und die Gesellschaft besser. Und genau, ich glaube deshalb wird das auch nicht wirklich reguliert, weil man denkt, das kann sich alleine regulieren, das passiert ja eigentlich nichts Schlimmes. Das kann ja nichts Schlimmes passieren. Also es wehren jetzt so ein bisschen aus dem Bauch raus. Ihr beiden. Also ich bin für die für sozusagen lange für die eine Antwort wäre, okay, wenn man das demokratisch macht und man möchte eine gute Struktur schaffen, dann hätten wir eine Open Source Lösung. Also wenn ich mal so überlege, wie Städte sich dann mit Microsoft verhängeln haben und dann habe ich irgendwann mal der Punkt, dass die einzige Stadt, die sozusagen nur Infrastruktur nutzt, die Open Source ist Moskau mit Linux. Also irgendwie schwierig, aber ich denke, dass sozusagen, wenn Politik das so regulieren will, so wie du das beschreibst, so die Gebäude und die Autos und so weiter, dass dann auch eine Infrastruktur ist, die sozusagen Gemeinwesen orientiert ist und die sehr datenarm und sparsam arbeitet und dass das denken, das muss nur sozusagen noch passiert und wir sagen, wir kaufen einfach der Package bei Microsoft und dann haben wir ein Login und das war es dann. Also das ist noch ein Umdenken, was passieren muss. Ja, ein weiterer Punkt ist auch, dass ich glaube, dass es noch nicht überall angekommen ist, dass Algorithmen die Sache nicht objektiver machen. Also ich finde es ziemlich ungeheuerlich, dass das nicht wirklich reguliert wird und muss aber sagen, dass wir einfach nicht wissen tatsächlich, auch viele Mathematiker, also viele Kollegen, auf die man trifft, wenn man denen sagt, ja, ich forsche zur Diskriminierung bei Algorithmen und so was, die diskriminieren nicht. Also das Bewusstsein ist noch nicht mal bei Fachleuten ganz durchgedrungen und ja, daran sollte man arbeiten, man sollte das Bewusstsein schaffen und einfach diese Illusionen loswerden, dass nur weil es durch einen Computer läuft, dass es hierher ist. Also, okay. Vielen Dank auch dafür noch mal und auch für die letzte Frage. Euch dreien hier vorne herzlichen Dank fürs Mitdiskutieren, euch fürs Mitdenken und Fragen stellen und herkommen. Es war schön mit euch. Wieder mit einem echten Publikum, das man vom Scheite bis zur Sole sehen kann. Das allgemeine Abhängen jetzt natürlich der Wermutstropfen und Nachgespräch mit dem Computer entfallen. Da bitten wir euch um euer Verständnis, also Mund-Nasen-Schutz auf und mit dem gebotenen Abstand im Gänse-Marsch zur Tür wird auch irgendwann anders sein, hoffentlich. Bevor wir uns trennen, noch zwei Hinweise auf hig.de findet ihr die vergangenen Salons als Podcasts. Also zum Beispiel denen aus dem Juni, aus dem vergangenen Monat über smarte Textilien, Technikaut Nahe hieß der, kann ich euch sehr empfehlen das was wir heute Abend besprochen haben noch ein bisschen, und zwar um den Aspekt Umgangsform. The Troll Next Door ist dann der Titel, wird uns beschäftigen. Also die allgemeinen benimmenden Regeln analog wie online und der Umgang mit denen, die sie brechen. Wir sehen uns also hoffentlich am 28. August wieder. Vielen Dank, kommt gut nach Hause. Danke fürs Kommen. Tschüss und euch auch.