 Einen wunderschönen guten Abend. Herzlich willkommen bei der Summer Edition, unsere Vorlesungsreihe Making Sense of the Digital Society. Ich möchte Sie im Namen der BBB begrüßen und das Alexander von Humboldt-Institut für Gesellschaft und Internet. Herzlich willkommen bei Hebel am Ufer. Wir stellen uns die großen Fragen zur Digitalisierung und die Auswirkungen der Digitalisierung auf die Gesellschaft. Machtwechsel, Veränderungen in den demokratischen Strukturen in unserer Zeit, neue Organisationen unserer Arbeitszeiten, Veränderungen der städtischen und ländlichen Infrastrukturen und die Rolle der Plattform etc. Die Idee besteht darin, Fachleute einzuladen, Wissenschaftler einzuladen, um uns unterschiedliche Perspektiven zu geben, unterschiedliche Sichtweisen auf diese Fragen, die von Bedeutung sind für uns heutzutage. Wir freuen uns sehr, Frau Professorin Louise Amour zu begrüßen. Sie wird reden über die vertiefte Einbettung der Algorithmen in unseren tagtäglichen Leben. Wie verändert die Verwendung von Algorithmen, die Art und Weise, wie wir unsere Gesellschaften wahrnehmen? Was passiert mit unserem Zusammenleben und zwar mit den Aspekten unseres Miteinanders, die man nicht quantifizieren oder qualifizieren kann? Und was bedeuten Algorithmen für unsere Widerstandsfähigkeit gegen ungewollte Formen der Automatisierung? Tobi Mülle wird uns einen Grußwort halten, wird uns eine Einführung geben in das Thema. Danach wird es die Möglichkeit zu fragen und Antworten geben. Ich bedanke mich für Ihre Aufmerksamkeit und übergebe das Wort an Tobi Mülle. Vielen Dank, Janet Hoffmann. Vielen Dank, dass ich heute wieder dabei sein darf. Es freut mich sehr, dass heute an diesem heißen Tag so viele hergekommen sind. Es ist eigentlich auch heute der letzte Abend hier im Hebel am Ofahau in Berlin. Vielen Dank auch an die Dolmetscher. Sie können sie nicht sehen. Wir befinden sich hinter der Bühne, aber sie leisten hier wichtige Arbeit, denn sie liefern die deutsche Übersetzung. Das gilt auch für die Fragerunde, die wir nach dieser Rede und nach unserem Gespräch hier auf der Bühne haben würden. Wenn Sie also keine Frage auf Englisch sprechen, fragen möchten, dann gerne auf Deutsch. Wir haben jetzt schon über selbstbestimmtheit, politische Selbstbestimmtheit, mit dem Umgang mit neuen Medien, mit verschiedenen Plattformen und der europäischen Rolle dabei gesprochen. Wir haben auch gehört, dass künstliche Intelligenz menschlichen Systemen sehr unähnlich ist, beispielsweise mit unserer Rednerin Rebecca. Heute werden wir etwas über ähnliche Änglichkeiten zwischen Algorithmen und Menschen hören. Etwas, das uns weiter von unserer Hoheit entfernt. Wir könnten also fragen, nicht nur, wie wir sie kontrollieren können oder wie Algorithmen sich selbst kontrollieren, sondern wie Algorithmen dazu beitragen, wie wir menschlich sind. Wir werden auch über die Rolle des Zweifels bei der Schaffung von Algorithmen sprechen. Und das bedeutet dann eine Art Wendepunkt für unsere Vorlesungsreihe, weil es nicht mehr nur um Transparenz geht, nicht darum, den Algorithmus zu öffnen. Und unsere Rednerin würde jetzt wahrscheinlich fragen, welchen Algorithmus. Sondern es geht um Intransparenz, Verständlichkeit, Unsicherheit, und zwar nicht als Nachteile, sondern als gewünschte Kategorien des Denkens und der Berechnung. Intransparenz und Zweifel in der Dunkelheit und das trotz dieses starken Lichts, das mich hier jetzt schon zu Beginn unserer Sitzung zum Schwitzen bringt. Sie haben schon einiges über die heutige Struktur, den Verlauf unseres Abends gehört. Und wir benutzen auch den Hashtag, den Sie hier sehen können, Digital Society. Außerdem wird diese Veranstaltung gefilmt. Wir werden diese Veranstaltung wahrscheinlich im Fernsehen zeigen, auf LexTV. Und außerdem werden wir auch während unseres Gesprächs immer mal wieder auf Twitter zurückkommen. Nutzen Sie bitte auch die Möglichkeit hier nach unserer Sitzung gegen 9 die Getränke und Snacks zu nutzen. Unsere Rednerin ist Professorin für Geografie an der renommierten Durham University in Osten von England. Sie konzentriert sich auf globale Geopolitik und Grenzkontrollen, vor allen Dingen in Zusammenhang mit Daten und Risikomanagement. Sie hatte in den letzten Jahren an einem Projekt, einem sehr großen Projekt namens die Ethik der Algorithmen gearbeitet. Ich kann nur mit Unsicherheit vermuten, dass ein Großteil dieser Forschung auch Teil ihres Buches Cloud Ethics sein wird, das bei dem Duke University Press Verlag veröffentlicht werden wird. Wie lange bevor wir etwas über ihre sogenanntes Algorithmusgespräch wussten, dass uns noch weiter vor Unsicherheit hat, den Bereich der speziellen Eigenschaften von Algorithmen, und lange bevor sie an ihrem Projekt Datenkriege neue Regulierungsräume im Europäischen Terrorkrieg, einem vierjährigen Projekt, Forschungsprojekt mit der Universität von Amsterdam gearbeitet hat, zeigte bereits ihre Arbeit, etwas, was sich als neu eingesetzt Maßnahmen der präventiven Sicherheit bezeichnen würde. Auch ihr Buch, Politik der Möglichkeiten, Risiken und Sicherheit hinter der Wahrscheinlichkeit, wurde 2013 in der Duke University Press veröffentlicht. Nun konzentrieren wir uns allerdings auf das, was unsere Rednerin uns zu sagen hat. Begrüßen Sie aus Nordengland, Louise Amour. Ja, meine Damen und Herren, eine wunderschöne guten Abend. Herzlichen Dank für die freundlichen Worte, liebe Tony, und ich bedanke mich bei Christian und seinen Kollegen für die Einladung. Ich wollte immer in der Humboldt oder vor der Humboldt-Universität eine Rede halten, also diese Traum lässt sich heute Abend erfüllen. Mein Thema, unsere Leben mit Algorithmen. Wie versteht man das Digitale? Diese Frage möchte ich aber etwas umkehren und die Frage stellen, wie wir uns verstehen und wie wir Entscheidungen treffen, wie wir die Welt verstehen in eine digitalisierten Welt. Das heißt, wie verstehen wir auch unsere Beziehungen, unsere Verhältnisse zu anderen Menschen und Wesen in der Strafrechtspflege. Ich möchte folgende Sachen unter die Lupe nehmen, und zwar tiefen neuronale Netzwerke. Keine Sorge, das ist nicht so schrecklich, wie es klingt. Es geht darum, wie unsere Art und Weise uns selbst zu verstehen, sich verändert. Ob es um die Kreditwürdigkeit in der Strafrechtspflege geht, ob es um lebenswichtige Fragen geht, wie zum Beispiel die beste Behandlung eines Krebsfalls aussehen sollte oder die Frage, wer in ein Land einreisen sollte. Ich werde argumentieren, dass unsere Leben und unsere Lebenschanze immer mehr von den Beurteilungsspielräumen der Algorithmen abhängig werden. Das sind natürlich ganz unterschiedliche Aspekte. Unsere Leben, Grenzen, Einreise, Auf- und Haltstatus. Man könnte in manche Hinsicht argumentieren, dass Algorithmen was Gutes tun in anderen Bereichen allerdings was Negatives. Wenn ein Onkologe zum Beispiel, der auf bestimmte Krebsarten spezialisiert ist, eine solche Onkologe, hatte mir erzählt, dass bestimmte Verbesserungen erfolgt sind aufgrund von Algorithmen, und zwar im Bereich Identifizierung von bösartigen Tumoren. Das ist ein sehr gutes Beispiel dafür, wie wir Algorithmen auch verantwortungsvoll verwenden im Dienst unsere Gesellschaft einsetzen. Wie kann man die Grenze zählen zwischen dem, was gut ist und dem, was böse ist, was schlecht ist? Was ist eine gute ethische Entscheidung? Was ist eine schlechte ethische Entscheidung? Es gab eine Gruppe von Ärzten, die an diese Frage gearbeitet haben, wie man bestimmte Tumoren identifiziert, um die Tumoren besser zu behandeln. Diese Expertisen wurden anhand deren Arbeitsergebnisse im Bereich Glücksspielsucht entwickelt. Dies habe ich im Rahmen eines Interviews mit dieser Gruppe an Ärzten festgestellt. Die Firma Betfair hatte diese Experten, das waren nicht Ärzte, sondern Informatiker, diese Gruppe von Informatiker wurden von Betfair beauftragt, um die Glücksspielsucht zu untersuchen. Das selbe Team an Informatikern wurde auch beauftragt, Algorithmen für Drohnenaufnahme zu entwickeln. Diese Gruppe von Experten von Informatikern haben mir Folgendes gesagt. Am wichtigsten ist, dass wir wissen, wie gut und böse aussieht. Wir wissen anhand unserer Daten, was zum Normalen und was zum Normalen ist. Also, das Problembereich sieht überall in diesen unterschiedlichsten Bereichen ganz ähnlich aus. Ein Algorithmus kann uns genauso gut erzählen, was zwangshaftes Spielen darstellt, wie es uns über erkranktes Gewebe was erzählen kann oder uns erzählen kann, ob es sich bei einem Fahrzeug, um ein ziviles Fahrzeug oder um ein militärfahrzeug handelt. Ich möchte heute Abend also Folgendes vorzuschlagen. Das, was wir als gut oder als böse einstufen, das ist eine Frage, auf die wir als Gesellschaften immer wieder reagieren wollen, nämlich die Frage, wie wir maschinelles Lernen zum Guten anwenden wollen, dass die Grenze zwischen ethisch und unethisch, zwischen maschinellen und humanen Entscheidungen, dass es sich hier nicht um einfache Fragen handelt. Das sind sehr schwierige Fragen, die wir zu beantworten haben. Trotz aller Anforderungen, die sogenannte Black Box zu öffnen, Algorithmen nachvollziehbar zu machen, Algorithmen sollten Rechenschaft ablegen können. Statt mich darauf zu konzentrieren, möchte ich mich eher auf die Konzentriere, auf die Frage konzentrieren. Möchte ich mich nicht auf die Frage konzentrieren, wie die Algorithmen so gestaltet werden können, dass sie der Gesellschaft zu Gute kommen. Diese Frage bringt uns, finde ich, nichts. Und stattdessen möchte ich mich auf eine weitere Frage, auf eine andere Frage konzentrieren. Nämlich, wie generieren algorithmischen Lernen Ideen über das, was gut, normal, regelwidrig oder riskant ist. Und ich werde heute Abend Ihnen auch erklären, wie Algorithmen des maschinellen Lernens nicht nur über die Welt zu sagen berichten, nicht nur Entscheidungen treffen, sondern auch unsere Welt zu sagen. Nämlich, es geht in diesem Vortrag heute Abend darum, Ihnen zu erklären, wie Algorithmen unsere Welt prägen und selbst verändern. Ich möchte mich auf einige Punkte konzentrieren, die unterschiedlichen Verfahren, Prozesse hier erläutern. Der eine Prozess, maschinelle Prozess, heißt Tag. Das heißt, bestimmte Zielgruppen oder Zielpersonen identifizieren oder ansprechen. Das zweite Phänomen ist Deciding, also Entscheidungen treffen. Wie werden Entscheidungen im Rahmen des maschinellen Lernens getroffen und welche Auswirkungen hat das? Ich gebe Ihnen ein Beispiel. Es ging eben darum, das Gute zu erkennen. Jetzt kommen wir zu der Situation, wo ein Algorithmus trainiert wird, um ein Protest zu identifizieren, zu erkennen. Das Jahr 2016, ein Start-up versucht, seine Protesterkennungssoftware an Regierungs- und Unternehmenskunden zu verkaufen. Es wird gesagt, wir trainieren unsere Algorithmen um zu verstehen, was ein Protest ist und was kein Protest darstellt. Was für ein Treffen stellt ein Protest dar? Das ist das Ziel dieser Software. Auf dem Bildschirm, während diese Präsentation, werden die Städte gezeigt, aus denen die Trainingsdaten für den Algorithmus stammen. Islamabad, Paris, Baltimore, Istanbul. Daten von Facebook, Twitter und Instagram werden mit anderen Datenquellen zusammengeführt. Kombiniert Regierungsdatenbanken zum Beispiel. Und all dies wird in eine Reihe von Deep Learning Algorithmen eingespeist. Der Vertreter des Start-ups behauptet, das System werde Tag für Tag immer besser. Das heißt, die Daten werden immer wieder modifiziert. Wir geben Ihnen den Code, das Vertreter dieses Unternehmens, damit Sie den Code editieren können. Das heißt, es wird folgendes verkauft. Nämlich ein Algorithmus, der schon mit Daten versehen worden ist und dem Kunden wird überlassen, diesen Algorithmus zu justieren. Aber was bedeutet ein Algorithmus für das tagtägliche Leben in der Großstadt für unsere Treffen und Versammlungen? Nehmen wir Baltimore im Jahr 2015 und die Lupe ein Jahr nach diese Präsentation zu Protest Recognition Software. Im Jahr 2015 kam es in Baltimore zu großen Protesten gegen die Ermordung durch die Polizei von Freddie Gray. Diese Proteste im Rahmen dieser Proteste hat das Polizeipräsidium und das Heimatschutzministerium gezielt nach Menschen gesucht, die sogenannten disruptive Proteste angefeuert haben. Mehrere Terabyte an Bildern, Beiträgen aus sozialen Medien, das war alles in dieses Protesterkennungssystem von der Stadt Baltimore eingeflogen. Menschen wurden verhaftet. Es gab sogar eine Gruppe von Menschen, die nicht in einen Bus einsteigen durften, weil aufgrund dieses Algorithmus zu dem Schloss gekommen war, dass sie sich auf den Weg zu den Protesten befinden. Das heißt, eine Intervention ist erfolgt, und zwar auf Grundlage von Daten über diese Menschen. Das heißt, die Menschen sind in den Schulen und die Daten bestand darin, eine Zunahme der Onlineinteraktionen unter Schülern durch die Sicherheitsbehörden zu beobachten. Für den Algorithmus ist es egal, ob die vermuteten Attribute, die von einem solchen System abgeleitet werden, sich um Verbraucher handeln, um Wähler, DNS-Sequenzen, um Kreditnehmer. In diesem Fall wurde die Schlussfolgerung gezogen, dass diese Menschen sich auf den Weg zu den Protesten befanden. Deswegen wurde ihnen die Mitfahrgelegenheit mit dem Bus verwehrt. Das sagt uns einiges über unsere Herangehensweise aus. Es ist deutlich für uns, inwiefern die Daten, Restdaten aus vergangenen Ereignisse in die Systeme eingespeist werden, um über bestimmte Zukunftszenarien zu Entscheidungen zu treffen. Diese Daten aus historischen Ereignissen, sei es die Ereignisse in einem Park in Istanbul gewesen oder in einer der syrischen Bürgerkriegs. Diese Datenreste werden in Systeme eingespeist, die dann Entscheidungen über zukünftige Szenarien entscheiden. Und auch in diese Algorithmen, z.B. in diesem Baltimore-Fahr, waren solche Namen wie Freddie Gray und die Hauptakteure in das System eingeflossen. Und das bedeutet alles, dass das Urteilsvermögen des Algorithmus beim nächsten Großereignis auf den Daten von Baltimore z.B. basieren werden. Sehr wichtig für die Verarbeitung diese Daten ist natürlich die Feinjustierung der Daten durch das System. Damit das System richtig erkennen kann, dass es sich um ein Protest handelt, wo es sich einfach um eine stinknormale Versammlung oder über einen Marktplatz handelt. Was für eine Auswirkung hat das in diesem Fall, wo die Schule nicht in den Bus einsteigen durfte? Heißt es, dass die Fähigkeit, sich politisch zu engagieren, sich an eine Demonstration zu beteiligen, zu nicht gemacht werden kann durch algorithmische Verfahren, die die Attribute der jeweiligen Personen im Voraus schon modelliert haben. Das heißt, die Personen, die sich an solchen Maßnahmen teilnehmen, sind in Bezug auf ihre Attribute schon vor Beteiligung an der Veranstaltung bekannt. Das Zielergebnis Algorithmus kann fast alles sein. Lassen Sie uns an eine Debatte denken, die uns alle bekannt sein dürfte, nämlich als die Firma Cambridge Analytica Maschinen als Lernen eingesetzt hatte, um Wähle beim Brexit-Referendum zu erreichen oder bei den US-Präsidentschaftswahlen. Hier ging es darum, Menschen anzusprechen, die noch unentschlossen waren oder überzeugt werden konnten. Das ist für mich das Wichtigste hier. Ein Klassentrum, das sich in Bezug auf die Veranstaltungen um eine bestimmte Gruppe zu erreichen, um die Erreichbarkeit dieser Gruppe zu prüfen, zum Beispiel für Rechtsaußenparteien, um sicherzustellen, dass Menschen erreicht werden, die noch überzeugt werden konnten. Und die nützlichsten Methoden zu definieren, zu definieren, diese Klassentrum war in diesem Fall. Das ist ganz interessant, festzustellen die Modeindustrie. Also die am besten entwickelten Modelle in diese Hinsicht stammt aus der Modeindustrie, sprich Mode Marketing. Hier gibt es sehr viele Leute offenbar, die noch nicht so ganz überzeugt sind, ob sie die eine oder die andere Modeentscheidung treffen und auf diesen System bei diesen Modellen von Cambridge Analytica in Bezug auf die Wahlen. Im letzten Fall ging es natürlich darum, die Demokratie zu unterminieren, vielleicht um das Ergebnis des Brexit-Referendums im Voraus zu bestimmen. Es gebe auch die Möglichkeit über eine solche Art und Weise, das eine Art und Weise, den Ausgang eines Gerichtsverfahrens zu beeinflussen. Aber für mich ist das Wichtigste dabei, dass die Verwendung eines solchen Algorithmus, nämlich die Rahmenbedingungen für solche Prozesse, neu definiert. Jetzt widmen wir uns der Frage, wie ein Ziel generiert wird. Das würde ich jetzt etwas konkrete machen. Ein Beispiel aus meiner Feldforschung zu Algorithmen an der Grenze und bei der Einreisekontrolle erzählen. Eine der Algorithmen-Entwickler hatte mir beschreibt, wie sein Modell trainiert wird anhand der schon vorhandenen Grenzen- und Ausländerbehörden-Daten. Er erzählte mir, er würde mit seinem Modell Neural Net Algorithm spielen erstmal, fein justieren, fein abstimmen und sein experimentelles Modell dann an den uniformierten Grenzbeamten herantragen und ihnen die Frage stellen, ob das Modell nützlich ist oder nicht. Also es geht nicht nur darum, dass ein solches System auf unterschiedlichen Daten basiert, die gut oder schlecht, richtig oder falsch sein können. Hier geht es auch darum, dass es einen gewissen Spielraum gibt, wie ich das nenne, zwischen dem Ergebnis, das ein Algorithmus erzeugt und dem Ergebnis, das gewollt ist von dem Anwender. Die Frage hier ist, wie man die Lücke zwischen dem gewünschten und dem gezielten Ergebnis schließen kann und dazu gibt es die Möglichkeit, mit den Gewichtungen zu spielen, wie der Entwickler mir erzählt hatte. Also er stellte den Grenzbeamten die Frage, ob der Algorithmus nützlich sei oder nicht. Das ist die Frage, ob das Modell in deren Weltbild passt oder nicht. Also es geht nicht nur darum, eine richtige Entscheidung zu beeinflussen oder die Entscheidung über eine Inhaftierung zu beeinflussen. Hier geht es für mich eher um den Spielraum, der der Entwickler hat bei der Feinjustierung der Algorithmen. Das ist eine aneinanderreihung von Wahrscheinlichkeitsprognosen, die wir in Algorithmen haben. Aber das unterliegt auch den Entscheidungen der Programmierer und Nutzer. Man kann in diesen unterschiedlichen Schichten des Algorithmus die Gewichtung verschieben, um das Zielergebnis zu verändern. Also die algorithmische Entscheidung ist sehr bedingt, ist von vielen Faktoren abhängig und ist auch eine sehr fragile Sache. Eine algorithmische Entscheidung macht für die Betroffenen sehr viel aus, kann aber leicht modifiziert werden, indem die Gewichtungen hin und her geschoben werden. Also dieses Beispiel von der Entwicklung eines tiefen neuronalen Algorithmus enthält unterschiedliche Möglichkeiten, Wahrscheinlichkeitsprognosen, Faktoren, die nicht mal der Entwickler gut verstehen kann. Das heißt, man hat mit unterschiedlichen Möglichkeiten, Ergebnissen zu tun, der Algorithmus entscheidet, sich aber nur für ein Ergebnis, ein einzelnes Ergebnis, also der Output eines Algorithmus ist, liegt zwischen 0 und 1. Man reduziert die Vielfalt auf die Einfachkeit, auf ein einzelnes Ergebnis. Und das ist für mich ein sehr wichtiger Punkt, weil in unseren Gesellschaften geht es in der öffentlichen Debatte zu Algorithmen eher darum, dass man Algorithmen umprogrammieren kann, dass man ungewollte Ergebnisse einfach herausfiltern konnte, zum Beispiel, wenn der Output diskriminieren wäre aufgrund von Rasse oder Geschlecht, dass man die Regeln einfach verändern könnte, um den Output anzupassen. Aber diese Herangehensweise in unserer Debatte ist äußerst problematisch. Die Algorithmen generieren Regeln überaus auf Grundlage von unterschiedlichen Eventualitäten. Nehmen wir die Gesichtserkennung an zum Beispiel am Bahnhof oder an der nationalen Grenze. Wenn es darum geht, dass wir innerhalb von 24 Stunden die Daten löschen wollen, das sind die Daten, die in den Algorithmen schon eingepflegt wurden, das bedeutet nicht, dass der Algorithmus nicht mehr anhand dieser Daten modifiziert worden ist. Es bleiben Restspüren, es bleiben Überbleibsel, Restdaten von allem, was wir machen. Bei jedem Vorgang des Algorithmus, bei jedem Kontakt zu unserer Welt, bei jedem Einsetzen von Gesichtserkennungssoftware zum Beispiel an einem Bahnhof oder an der Grenze oder in der Großstadt, werden die Bedingungen generiert, dafür, wer oder was identifiziert werden kann, wer zur Zielscheibe gemacht werden kann. Was würde es bedeuten, also unsere Algorithmen zu kontrollieren oder Regeln dafür zu schaffen? Weil, wie ich argumentiere, werden wir heutzutage von Algorithmen geregelt und werden die Rahmenbedingungen für unsere Entscheidungsfindung durch Algorithmen entsprechend verändert. In der Debatte ging es oft sehr darum, den Umfang der Algorithmen zu beschränken. Im Mai 2018 haben zum Beispiel 3.000 Mitarbeiter von Google einen offenen Brief unterschreiben an den eigenen Vorstand, in dem sie sich beschwert haben über die mutmaßlichen Missbrauch der Objekt-Erkennungsalgorithmen als Waffe für militärische Zwecke. Das heißt, Mitarbeiter und Schreiben einen Brief an Herrn Sundar von Google, wo behauptet wird, dass das Unternehmen nicht im Kriegsdienst, sozusagen, aktiv sein soll. Aber ich möchte argumentieren, dass man die Nutzung seiner Algorithmen nicht so begrenzen kann, wie es die Mitarbeiter von Google versucht haben, weil das Erreichen von bestimmten Zielen und Entscheidungen über andere Art und Weise, nämlich bei Algorithmen zur Sache, gehört. Das ist ein untrennbarer Teil der Gestaltung von Algorithmen. Es ist also sehr schwierig, eine Linie zu ziehen zwischen Gut an Erkennung von Tumoren oder Böse, Identifizierung von Aufständischen oder Verwendung von autonomen Waffen. Algorithmen generieren gerade Ideen darüber, wie das Gute aussieht. Manchmal wird es gewünscht, dass noch mehr Ziele generiert werden. Der heilige Grahl des Maschinenlernens ist es gerade, die Entscheidungslücke zu schließen, den menschlichen Analysten Ergebnisse in die Hand zu geben, die aus der Ziffernsprache in Text, also in Worte, übersetzt werden können. Das heißt, das Leben der entscheidungsträgenden Person zu vereinfachen. Also mit MRT-Aufnahmen in der Terrorismus, Bekämpfung beobachtet man Folgendes, nämlich wie Computerwissenschaften, wie die Informatik und die algorithmische Entscheidungsfindung neu definiert. Es gibt ein Verfahren Show and Tell, das sagt mir ein Informatiker, nämlich we call it show, attend and tell. Hier geht es nicht nur um die Objekterkennung, sondern darum, den Kontext zu verstehen, die Szene sozusagen zu verstehen, zu beschreiben, wie die erfassenen Objekte miteinander verbunden sind, also welche Bezüge und Beziehungen zwischen Objekten und Aktivitäten bestehen. Der Algorithmus stellt also bestimmte Merkmale als wichtig heraus. Es geht also nicht nur darum, dass Menschen mit Algorithmen algieren, sondern darum, wie Algorithmen mit anderen Algorithmen agieren. Um festzustellen, was in einer bestimmten Szene, was in dem Bild wichtig ist, als zweite Schritt dann natürliche Sprachverarbeitung zum Einsatz kommen zu lassen, um den Outputs verständlich für einen Sachbearbeiter zu gestalten. Was konnten solche Ergebnisse für eine Großstadt zum Beispiel bedeuten? Dazu schauen wir uns diese Folie an. Das Bild vor uns, Menschen sammeln sich auf dem Marktplatz. Man weiß ja nicht, man kann ja auch nicht wissen, wie, was für ein Verhältnis diese Menschen zueinander haben. Man weiß nicht, wozu sie sich versammelt haben. Man kennt die Attributen diese Menschen gar nicht. Aber aus den zahlreichen Zusammenhängen, die sich dabei ergeben, die Menschen, das Gemüse, die Erde, die Marktboden im Hintergrund, aufgrund dieser Zusammenhänge, kann der Algorithmus ein kurz gefasstes Ergebnis produzieren. In zwei Sätzen, eine Gruppe von Menschen kauft auf dem Markt ein. Am Obstand gibt es viel Gemüse. Man erkennt den Fehler mit dem Gemüse. Aber hier sehen wir, wie Algorithmen das Bedeutungsfeld definieren. Die Algorithmen inszenieren die Zähne. Sie können Obst und Gemüse nicht unterscheiden. Das liegt an den Trainingsdaten, die im Vorfeld in den Algorithmus eingeflossen sind. Aber auch diese Fehler kann nützlich sein, wenn wir das System weiterentwickeln wollen. Schauen Sie sich diese Artputs hier an. Das sind auch Ergebnisse von diesem System mit dem Marktplatz. Mein Lieblingsbeispiel ist das hier mit dem Surfbrett. Ein weiteres Beispiel ist ganz witzig, dass der Mann ein Hut trägt und ein Skateboard trägt. Aber Fehler werden dabei so verstanden, dass man die Fehler einsetzen kann, verwenden kann, um Intuition in das System einzubauen. Das heißt, Fehler fließen zurück in das System, um festzustellen, was ein zukünftiges System besser erkennen könnte. Wir sollen uns einige Fragen stellen in diesem Zusammenhang. Was ist der Unterschied zwischen einem Mann auf einem Skateboard und anderen Situationen, die zum Beispiel an der US-Grenze zu Mexiko vorkommen konnten oder auf den Straßen eine Stadt vorkämpfen konnten? Wie wäre es zum Beispiel, wenn wir an der US-Grenze eine Frau mit einem Kind auf dem Arm sehen würden oder auf dem Tarje Platz ein Bild von einem Transparent sehen würden und von einer Gruppe von Menschen, die sich trotz Versammlungsverbot auf dem Platz versammeln? Was würde das für die Polizei bedeuten? Und was würde das letzte Bild mit Frau mit Kindern auf dem Arm für die Grenzbeamten bedeuten? Algorithmen versuchen die Elemente im Leben, die sonst miteinander unvereinbar sind oder die Probleme, die nicht gelöst werden können, um Entscheidungen zu treffen. Wenn ein konvodationales, neuronales Netzwerk sagt, dass ein Fahrzeug mit einer Wahrscheinlichkeit von 0,65 ein militär Fahrzeug ist und ein recurrentes neuronales Netzwerk dann sagt, dass dies eine Bedrohung ist, auf die man reagieren sollte. Was passiert dann aber mit der Wahrscheinlichkeit von 0,35, mit der dieses Auto ein Ziviler-Bus ist? Wie denken wir also über diese unterschiedlichen Möglichkeiten die bei der Schaffung des Outputs außer Acht gelassen wurden? Diese neuronalen Netzwerke verwandeln Daten in Merkmalsvektoren, die als etwas gesehen werden können, was auch in anderen Situationen bereits gegeben war. Was dem Algorithmus also wichtig ist und was der Algorithmus wichtig macht, ist die Möglichkeit in der Lage zu sein, was in einer Szene in einem Bild verborgen liegt. Und genau diese aufkommende Allianz, wie man sagen könnte, zwischen Algorithmen, die mit Attributen arbeiten und diese Show in Tell benutzen und moderner Politik, die vorweg zu nehmen versucht, was die verborgenen Attribute von Bevölkerung sind. Genau das ist das Interessante und das habe ich auch in einem meiner Bücher beschrieben. Es geht also nicht nur um eine Kapitalisierung oder einen Marktaufbau, wenn es darum geht Algorithmen in unser öffentliches Leben einzuführen, sondern es gibt eine Allianz zwischen diesem verhaltenen Status und dem Erkennen von Möglichkeiten des Marktes für diese Algorithmen. Für mich ist das eine grundlegende ethisch-politische Herausforderung unserer heutigen Zeit, wie wir darauf reagieren. Ich glaube, dass das ein nicht zu verleugnendes, schwieriges Problem ist. Es ist durchaus verständlich, warum es eine Art moralische Panik in den Medien gibt, wenn man die Entscheidungsfindung von Algorithmen betrachtet, beispielsweise in Bezug auf autonome Waffen oder auch Roboter, die Operationen durchführen oder autonome Fahrzeuge. Was ich allerdings sage, ist, dass Teil des Menschseins sich ebenfalls in Bezug auf unsere Interaktion mit Algorithmen ändert. Das bedeutet mit Hinblick auf diese Show and Tell Algorithmen, dass der Onkologe, der Grenzkontrolleur und der Richter mehr und mehr die eigene Rolle und die eigene Expertise auf andere Art und Weise verstehen werden, und zwar aufgrund der Interaktion mit Algorithmen und wie diese Show and Tell nutzen. Ich habe für Sie ein paar Auszüge von Interviews mitgebracht, nur ganz kurz. Ein Onkologe hat ihr gesagt, wie diese Entscheidungsfindung Ihnen darin verunsichert hat, was die beste Behandlung für einen bestimmten Patienten wäre. Der Onkologe zeigt dir auf, welche Grenzen sein eigenes Wissen hat. Ich denke, dass er damit zumindest teilweise die Präsenz des von ihm als so empfundenen Wissens, der durch Erfahrungen anderer Spezialisten beschreibt, und zwar der Daten, die in dieser Software beinhaltet sind. Etwas, was Teil des Algorithmus ist. Allerdings fragt er sich stetig, was man denn wissen kann, und es fällt ihm sehr schwer, sich gegen den Strom zu entscheiden, mit seiner eigenen Entscheidung. Wir sprechen ja immer davon, dass auch ein Mensch Teil des Prozesses sein muss, um Ethik aufrecht zu erhalten. Dieser, dieser Person versteht aber nun die eigene Beziehung mit seinen Patienten, mit der Umwelt auf andere Art und Weise durch den Algorithmus. Was meinen wir also eigentlich, wenn wir sagen, es muss ein Mensch Teil dieser maschinellen Entscheidungen sein? Der Mensch ist vielleicht eigentlich schon Teil des Algorithmus, und der Algorithmus ist Teil des Menschen. Ich glaube also, dass es einige grundlegende Probleme mit der Vorstellung gibt, dass Algorithmen Entscheidungen treffen. Zum Beispiel, weil es keinen Menschen jenseits des Algorithmus gibt, der feststellt, dass das Gute getan wird. Es gibt also als solche keine Entscheidung innerhalb der algorithmischen Entscheidungsfindung. Es gibt Outputs, ja, das ist in der Tat so, aber es bleibt immer noch ein gewisser Raum der Unsicherheit, ein bedeutender Raum der Unsicherheit, und zwar zwischen dem Output, dem Kalkulus und einer Entscheidung, die wir als solche auch wirklich bezeichnen würden. Und zwar etwas, was innerhalb der Unsicherheit entschieden wird, mit unterschiedlichen Optionen, die das Ergebnis sein könnten. Und das kann niemals nur ein Output sein. Sei es also die Entscheidung, ob man jemandem eine Hypothek gewährt, einen Job gibt, ob jemand eine Krankenversicherung bekommt, ob jemand von der Polizei angehalten wird, usw. All das, was wir als algorithmische Entscheidung bezeichnen würden, sollte etwas sein, bei dem wir überlegen, was ist Output und was ist wirklich die Entscheidung. Und ich glaube, dass wir uns darauf mehr konzentrieren sollten. Ich glaube nicht, dass das Ganze automatisiert ist. Ich denke, dass es sich dabei um ein ethisch-politisches Thema handelt, dass Weltanschauung mit beinhaltet, Erfahrungen aus der Vergangenheit, die durch den Kontakt mit anderen Menschen und Orten generiert wurde. An dieser Stelle könnte man also berechtigter Reise fragen, was können wir denn jetzt machen? Wir suchen also nicht eine Art Öffnung, wir suchen keine verstärkte Kontrolle im Bereich der Beziehung von Algorithmen und Menschen. In der mir verbleibenden Zeit möchte ich kurz die Parameter umreißen, von denen ich glaube, dass wir an dieser Stelle von Ihnen reden sollten. Ich glaube, dass wir aktuell bei den Bereichen Targeting und Deciding immer mehr eine Zusammenarbeit mit Maschinen-Lern-Algorithmen sehen. Die öffentliche Reaktion darauf besteht oft darin, dass wir sagen, es handelt sich um autonome Technologien, die man nicht verantwortlich machen kann. Das sind Maschinen. Sie treffen Entscheidungen, die der menschlichen Kontrolle nicht mehr unterliegen. Wir können also nicht verstehen, was dort passiert. Sie sind uns verschlossen. Aber um das kurz zu fassen, möchte ich eigentlich vorschlagen, dass der Schaden das Problem nicht unbedingt darin besteht, dass der Mensch keine Kontrolle mehr hat. Nein, das grundlegende Problem besteht darin, dass wir zusammenleben und auf ungewisse Art und Weise aufgrund schwieriger und unlösbarer Probleme Entscheidungen treffen. Das ist Politik, das ist das öffentliche Leben. Der Anspruch darauf, also eine unsichere Zukunft sicher vorherzusagen mit Algorithmen, die unterschiedliche Versionen der Zukunft beinhalten und das sogar mit neuronalen Netzen selbst, ist nicht möglich als solches, denn es gibt unterschiedliche finale Ergebnisse. Ich möchte, dass wir stets im Kopf behalten, dass der Algorithmus nur ein Ergebnis liefert, dass dann noch Folgen nach sich zieht, beispielsweise ein Kind in der Beziehung zum Sozialwesen. Vor allen Dingen Großbritannien gibt es dort Algorithmen, die wichtige Entscheidungen im Leben der Kinder treffen, aber auch Entscheidungen im Bereich der Immigration, ob man verhaftet wird, verurteilt wird oder ob eine Situation auf der Straße wirklich gefährlich ist, wenn es sich um eine brudelnde Gefahr, eine Demonstration handelt. Ich bin also der Meinung, dass man keine algorithmische Rechenschaft erwarten kann in Zeiten der Transparenz durch die Aufklärung, der wir uns ausgesetzt sehen. Ich glaube auch nicht, dass es einen ethischen Codex für Menschen geben sollte, die in diesem Bereich arbeiten und auch die Blackbox muss nicht geöffnet werden. Wir sollten stattdessen verlangen, dass Algorithmen zumindest teilweise Rechenschaft ableben. Ich glaube, das ist gar kein neues Problem. Die Unmöglichkeit, Rechenschaft abzulegen, ist die Grundvoraussetzung für Politik, für die Schwierigkeit einer Entscheidung. Philosophen und Forscher haben darüber schon seit langem gesprochen, dafür, dass es so schwierig ist, Rechenschaft abzulegen. Algorithmen stellen also eigentlich kein neues Problem dar. Sondern sie zeigen ganz deutlich ein weiter bestehendes Problem, nämlich Ethik und Verantwortung mit den Vorstellungen einer objektiven Sicht und Wissen in Einklang zu bringen. Die Philosophin Judith Butler hat uns daran erinnert, dass wir die Grenzen der Ethik nicht an die Grenzen der Verständlichkeit erreichen, sondern dass Ethik genau dort am notwendigsten wird, wo wir die Grenzen unserer Verständlichkeit erreichen. Wir müssen also unterschiedliche Formen des Sins und des Verständnisses in Erwägung ziehen. Ich verlange also unterschiedliche Formen von Ethik und möchte dazu drei Vorschläge machen. Zum Abschluss würde ich diese gerne vorstellen. Ich schlage zunächst vor, dass wir neu überdenken müssen, was Ethik im Bereich der Algorithmen bedeutet. Es geht nicht mehr darum, uns vorzustellen, dass wir außen vor sind und das Verhalten der Algorithmen festlegen. Der Philosoph Michael Foucault hat verschiedene Formen der Ethik festgelegt. Er hat zum einen gesagt, dass dies ein Code ist, der festlegt, was erlaubt ist und was verboten ist. Das ist für mich eigentlich das Art von Silicon Valley Problem. Man müsste einfach nur festlegen, was erlaubt ist und was verboten ist. Und so könnte man schon Vortritte erreichen. Aber der behandelt es sich um eine begrenzte Form der Ethik. Das stammt vielleicht aus seiner eigenen Arbeit, bei dem er sich auf das Vorherrschen von Normen im Bereich der Sexualität konzentriert hat. Er spricht auch von der unausweichlichen politischen Formation von Relationen eines selbst, mit sich selbst und mit anderen. Und dieser Unterschied ist meines Erachtens sehr grundlegend. Denn welche Handlungen erlaubt oder verboten sind, ist eine Art geschützte Form der Ethik. Wir könnten stetig versuchen, festzulegen, wann Algorithmen einen Schritt zu weit gegangen sind. Darüber können wir vielleicht später bei der Fragerunde noch ein wenig sprechen. Was machen Algorithmen aber eigentlich in Bezug auf das, was ich heute beschrieben habe? Sie funktionieren durch eine Reorientierung des selbst, mit sich selbst und mit anderen, durch diese unausweichliche politische Formation. Und genau damit versuche ich zu arbeiten, nämlich dass Algorithmen ein Teil der politischen Formation sind. Und dabei müssen wir uns fragen, was das im Bereich Maschinenlernen denn bedeuten kann. Zweitens glaube ich, dass wir den Output überdenken müssen und uns ansehen müssen, was er für unsere Welt bedeutet. Wir könnten auf andere Weise darüber nachdenken, denn der Output sollte nie als entscheidend für eine Entscheidung gelten. Stattdessen bin ich der Meinung, dass wir nicht als Output davon sprechen sollten, sondern als eine Art von Blendenöffnung, also aus dem Bereich der Fotografie, wo die Blendenöffnung an der Linse immer zugleich ein Verschluss aber auch eine Öffnung ist. Wir könnten dadurch also vielleicht in der Lage sein zu überlegen, was wären die Alternativen gewesen? Was hätte noch geschehen können, bevor dieser Verschluss geschehen ist? Ich glaube, dass wir im Bereich dieser Blendenöffnung ein wenig Ärger machen sollten, wie die Feministin Donna Haraway gesagt hat. Sie sagte, man solle diesem Ärger folgen und dann den Fäden in die Dunkelheit folgen. Selbst bei einem reduzierten Output glaube ich, dass wir die Spuren dieser verworfenen Alternativen verfolgen könnten. Das ist für mich ein Gedankenexperiment. Das habe ich im Bereich der Gesichtserkennung beispielsweise verfolgt. Sie wissen vielleicht, dass im April ein Student in den Vereinigten Staaten mit zerlankischen Eltern fehlerhaft durch die zerlankische Regierung als mit den Bombenattentatsrelankers verbunden identifiziert wurde. Dieses Gesichtserkennungssystem hat also eine fehlerhafte Erkennung gemacht, aber da war es natürlich bereits zu spät. Es gab bereits Morddrohungen gegen diese Personen. Wir dürfen also den Output nicht nur aber durchaus als fehlerhaft ansehen. Wir müssen dabei aber im Kopf behalten, was im Bereich dieser blenden Öffnung geschehen ist. Diese Person hatte als Studentin einen Brief an Donald Trump geschrieben und sich gegen die Diskriminierung von Menschen wie sich selbst ausgedrückt. Und das alles, wenn man den Hintergrund mit einbezieht, sehen wir, dass ein ganzes Narrativ entsteht, sodass das Ergebnis, was wir im Output erhalten haben, nicht unbedingt ein Fehler gewesen ist. Es geht nicht also nur darum, Fehler zu erkennen und zu sagen, wir sind in der Lage, diese zu verbessern, sondern wir sollten fragen, was sind die anderen möglichen Verknüpfungen, die hier einen Einfluss gehabt haben? Wenn wir also dieses Gedanken-Experiment weiterführen, bedeutet das, jedes Mal, wenn wir einem Algorithmus ausgesetzt sind von dem man sagt, dass es sich um einen optimierten Algorithmus handelt, zunächst gefragt werden muss, welche verworfenen Alternativen gab es denn aber? Was für Möglichkeiten hätte es gegeben, die hier nicht Teil des Ganzen gewesen sind? Was wäre der andere Output gewesen? Was gab es für Wegabelungen, die zu anderen Ergebnissen geführt hätten? Was sind die Möglichkeiten, die unterhalb dieser optimierten Lösung liegen? Und nun mein dritter Punkt. Ich möchte, dass die Gewichtung im Bereich Deep Learning und der Algorithmen gewichtiger werden. Einige Freunde von mir aus diesem Bereich haben mich gebeten, nicht weiter in diese Richtung zu forschen. Das sollte man nicht machen. Sie haben zu mir gesagt, die Neugewichtung ist ein undurchdringlicher Prozess, der weiterhin für Unklarheit sorgen wird. Da kann man keine Fortschritte machen. Einer von ihnen hat sogar zu mir gesagt, man kann die Gewichtung nicht politisch machen, Louis, denn wir wissen nicht, wie sie funktionieren. Wir spielen damit einfach ein bisschen. Damals war ich mir noch nicht darüber im Klaren, dass das genau das ist, was ich eigentlich untersuchen wollte, diese Stichworte, unklar und undurchdringlich diese vermenschlichte Beziehung zum Algorithmus und den Daten war genau das, was mich interessiert hat. Denn diese gewisse Unklarheit bleibt. Wenn also der Richter, der Ornkologe, der Arzt oder der Grenzkontrolleur mit Algorithmen entscheiden, glaube ich, dass sie auch nicht unbedingt wissen, wie sie funktionieren, denn auch sie spielen nur damit. Also, einige der wichtigsten politischen und auch aus anderen Bereichen Entscheidungen werden durch diese modifizierten Entscheidungen getroffen. Genau das ist der Abschluss unserer Überlegung hier. Die Beziehung mit uns selbst und mit anderen. Vielen Dank. Vielen herzlichen Dank, Louis, für diese sehr präzise Zusammenfassung, auch sehr pünktliche Zusammenfassung. Es ist Punkt neun Uhr, bzw. Punkt zwanzig Uhr. Es bleibt also noch eine ganze Stunde für die Diskussion. Ich möchte einige Punkte ansprechen, die Sie angesprochen haben. Also erstmal fange ich mit dem Vogelblick an sozusagen. Könnte man nach Ihrem Vortrag Folgendes feststellen, dass die latenten Möglichkeiten, die der latenten Zukunftsmöglichkeiten, die wir sozusagen außer Acht lassen, werden wir dabei von unserer eigenen Zukunft beraubt. Ja, wir berauben uns selbst von alternativen Zukunftszenarien. Aber das ist ein politisches Spiel in zweifacher Hinsicht. Also da spielen auch praktische und pragmatische Sachen eine Rolle. Zum Beispiel, ich habe ja dieses Beispiel über den verwährten Eintritt in den Bus gebracht. Es gibt unterschiedliche Arten und Weise, wie sich die Menschen versammeln können, um ihre politischen Ansprüche zu erheben. Rechte, die noch nicht in Gesetz und Recht eingeflossen sind. Und da muss man sich fragen, welche Rollen würden Algorithmen des Maschinenlernens in solchen Bewegungen haben, wo es darum geht, neue Rechte durchzusetzen, Rechte durchzusetzen, die noch nicht in die Gesetze eingegangen sind. Aber politisch betrachtet haben wir mehr Möglichkeiten, als nur diese sogenannte Black Box zu knacken. Wir sollen uns fragen, wie die Vielfalt sozusagen auf diese eine Entscheidung reduziert wird. Algorithmen sind viel einfacher, als ich zunächst gedacht hatte. Es geht hauptsächlich um Wahrscheinlichkeiten, um zu einem bestimmten Ergebnis zu kommen. In Ihrem Buch Cloud Effects verweisen Sie auf Wittgenstein, dass Algorithmen sozusagen von Natur aus diskriminieren. Das definiert, das ist sozusagen die Definition, die technische Definition eines Algorithmus. Daher stelle ich Ihnen die technische Frage, wie könnten wir diese Blendenöffnung sicherstellen? Wie könnten wir die Algorithmen so trainieren, dass diese Blindheit anderen Möglichkeiten gegenüber aufgehoben wird? Weil das hat ja mit der Struktur des Algorithmus zu tun, wenn ich den Algorithmus richtig verstehe. Es geht hier um sozusagen die Geburtsfehle eines Algorithmus, das Intrinsische. Auch die kritischen Stimmen, die wir hier in diesem Bereich hören, weisen auch darauf hin. Man sieht zum Beispiel die steigender zunehmende Rassendiskriminierung aufgrund der Gesichtserkennungssysteme. Was mich allerdings besorgt, ist die Frage, ob man eine Befangenheit oder Vorurteile jemals rausfiltern kann. Und damit glaube ich, dass der Algorithmus von Natur aus immer eine ethisch-politische Seite haben wird. Ein Algorithmus wird immer diskriminieren. Auch in Fällen, wo man felsenfest überzeugt, ist das die Trainingsdaten gestimmt haben. Ein gutes Beispiel. An dieser Stelle nehmen wir an, es gibt eine Polizeibehörde, die ein Algorithmus zur Gesichtserkennung in Anspruch nimmt. Und die Polizeibehörde stellt fest, dass es viel zu viele Treffer gibt, in Bezug auf die eigene Bevölkerungsgruppe. Und deswegen wird es nachjustiert. Das ist nicht nur sozusagen ein Sliderfunktion, sondern eine Schwellenwert, der dann verändert werden kann. Aber das stellt eine Modifizierung des Algorithmus dar. Und das bedeutet, dass auch die Vorurteile der Polizeibeamten zurück in das System eingespeist werden. Das stellt uns vor, die Herausforderung zu erkennen, wo der Algorithmus anfängt und wo der Algorithmus tatsächlich aufhört. Und das führt uns zu der Frage, wie Urteile hier überhaupt getroffen werden können. Jede Einsatz eines Algorithmus modifiziert den Output. Wie könnte man dann überhaupt solche Diskriminierungsfälle ausschließen, insbesondere anhand der Art und Weise, wie der Algorithmus funktioniert? In der Einführung in Ihr Buch erwähnen Sie eine Sache, die Judith Butler auch angesprochen hat und nämlich den sogenannten iterative process, also den Wiederholungsprozess. Das sind wiederholten Vorgänge, die nie aufhören, die immer wieder vorkehren. Und das hindert uns daran, also dadurch verändert sich der Algorithmus. Und das ist ein Spannungsverhältnis, um sozusagen auf den Grund gehen zu sollen. So schreiben Sie in Ihrem Buch ein Algorithmus basiert auf Wiederholungsvorgängen, auf Anpassungen. Wie kann ein Algorithmus oder wie können wir lernen? Die Ergebnisse, die Produkte eines Algorithmus auf eine Art und Weise verstehen, wie auch diese Wiederholungsvorgänge berücksichtigt. Also bei dieser Anmerkung war mein Ausgangspunkt wie folgt, wo befinden wir uns, wie reagieren wir auf diese Aspekte. Und in meinem Buch habe ich versucht zu untersuchen, wie man die Frage klären kann, wer den Algorithmus entworfen hat. Wer steckt hinter dem Algorithmus. Das ist auch mit der Arbeit von Kate Crawford verboten oder konnte damit verboten sein. Da liegt die Behauptung, dass man Algorithmen besser trainieren kann. Und es wird immer wieder auf die Frage zurückverwiesen. Naja, also der Autor des Algorithmus, der Urhebe des Algorithmus, kann da Veränderungen vornehmen. In New York wurde zum Beispiel der Versuch gestartet, den Quellcode zu veröffentlichen. Und das war sozusagen das erste Zeichen dafür, dass langsam angefangen wurde, nicht nur über den Urheber sich zu denken, nicht nur ein Algorithmus als Produkt seines Urhebers sich vorzustellen, sondern sich vorzustellen, dass ein Algorithmus ein Prozess ist, der auf einen bestimmten Code zurückzuführen ist. Diese Wiederholungsaspekte erfordern von uns einen neuen Herangehensweise, eine neue Sichtweise, ein stetiger Veränderungsprozess. Und das ein Algorithmus nämlich immer neu geschrieben werden kann, modifiziert werden kann. Das heißt, jede Person deren Daten in den Algorithmus einfließen, könnte dem entsprechend als Autor des Algorithmus wahrgenommen werden. Das bedeutet aber nicht, dass jemand, dessen Daten nicht in den Algorithmus eingeflossen sind, sondern in der Algorithmus-Aktur ist, weil der Algorithmus trifft Entscheidungen auch über Menschen, deren Daten dem System nicht zugrunde gelegt worden sind. Also hier gibt es unterschiedliche Aspekte. Es wurde sehr viel gesagt über die zugrunder liegenden Daten. Aber dementsprechend gibt es andere Aspekte der Algorithmen, die wir sozusagen an den Grund gehen, an den wir an den Grund gehen sollen. Und das meine ich, wenn ich die Frage stelle, wie sieht unser Leben mit Algorithmen aus? Sie hatten ja die Gesetzgebung in New York schonmal erwähnt, wie könnte eine erfolgreiche Gesetzgebung in diesem Bereich aussehen? Wir hatten ja über die Sichtweisen von Michael Fukus schon gehört. Also welche Gesetzgebung könnte es geben, die sich auf diese ständige Fortschreibung des Algorithmus beziehen konnte? Ja, man hört sehr viel von Gesetzgebaren, die sich die Frage stellen, wie die Ergebnisse eines Algorithmus zum Beispiel vor Gericht verwertet werden konnten und welche Regeln, Prozessregeln man dafür braucht. Ein Jurist hat mir die Frage gestellt, wie würde ein Gesetz aussehen in diesem Bereich oder wie würde ein Verfahren aussehen vor einem Gericht, wenn es um die Auswertung, die Verwertung von Algorithmen angeht. Und meine Antwort war, dass es eher darum geht, ein Algorithmus, wie sozusagen ein Zusammenspiel von unterschiedlichen Akteuren sich vorzustellen. Eine Gruppe von Jurgen haben zum Beispiel den Da Vinci Surgical Robots eingesetzt. Viele von den Wissenschaftlern hier wussten nicht, dass sie auch mit Algorithmen zu tun haben in diesem Bereich. Und viele wussten auch nicht, dass es einige anhängige Gerichtsverfahren zu diesem Thema schon gegeben hatte. Was ist zum Beispiel, wenn ein Chirurgieroboter einen Behandlungsfehle begeht, der zum Beispiel zum Tode des Patienten führt? Also erst, wenn, als sie mit diesen Robotern zu tun bekommen hatten, haben diese Ärzte richtig verstanden, wie ihre Rollen aussehen. Eine Ärztin hat zum Beispiel nicht von wir gesprochen, also nicht nur ich als Ärztin, als Chirurgien, sondern das, was der Roboter macht. Also das Selbstverständnis, das Verständnis, wie die Ärztin ihre Rolle sich vorgestellt hatte, hat sich nach dem Einsatz dieses Roboters vollkommen verändert. Also was weiß ich nicht nur über diesen, was weiß ich nicht nur selbst, sondern was weiß ich über diesen Tumor, wenn ich mich auf die Erfahrung von tausend anderen Ärzten beziehe, die in den Algorithmus schon eingeflossen waren. Also gegen ein Hersteller von Robotern vor Gericht zu gehen, kann der Komplexität diese Frage nie gerecht werden. Ich habe vor dem Parlament in Großbritannien ausgesagt und dort habe ich beobachten können dürfen, wie die Frage gestellt wurde, ob diese algorithmischen Systeme in der Strafrechtspflege verboten werden sollten, ja oder nein. Und eine solche ja oder nein Antwort kann ich natürlich nicht geben. Wenn wir nein sagen, dann lassen wir weiterhin zu, dass diese Modelle existieren. Die würden einfach woanders wachsen. Solche Modelle würden an anderer Stelle einfach zum Einsatz kommen. Und wenn man die Papiere der Informatiker in diesem Bereich liest, dann scheint es Bereiche zu geben, wo die Daten nicht ausreichen sind, zum Beispiel Lebertransplantation, da gibt es nicht genug Daten, um zu wissen, wie eine optimale Entscheidung aussehen würde, was die Behandlung angeht. Terrorismus zum Beispiel, könnte man akundieren, dass es nicht genug Vorfälle gegeben hatte im Bereich Terrorismus, um erfolgreiche Modelle zu erstellen. Wichtig ist, dass wir ein Modell haben, das mit Daten schon versehen worden ist, dass wir dann auf einen anderen Bereich übertragen können. Und das ist für mich der Kern der Sache. Man könnte diese Frage nie erledigen, indem wir sagen, dass wir bestimmte Systeme einfach verbieten. Das ist keine Lösung. Klar müssen wir den Algorithmus beschränken. Klar muss es Menschenrechte geben, aber andererseits ist es gerade sehr wichtig, dass wir Algorithmen einsetzen. Klar brauchen wir Gesetzgebung. Die Gesichtserkennungssoftware wird ohne entsprechende Gesetzgebung im Vereinigten Königreich eingesetzt. Das darf nicht der Fall seit eitlich, aber wir gehen jetzt zu einer anderen Frage zurück, und nämlich die Protestbewegung in Baltimore, von der sie im Rahmen ihres Vorurteils erzählt hatten. FOCO hat von Excitable Speech, Entschuldigung, Judith Butler hat von Excitable Speech sehr viel geschrieben auf Deutsch, Hass spricht 1997. In diesem Buch schreibt Judith Butler, die Selbstbestimmheit fängt an, wo die Hoheit endet oder schwindet. In diesem Zusammenhang möchte ich die Frage stellen, um welche Selbstbestimmtheit geht es hier? Gibt es um die Selbstbestimmtheit des Algorithmus? Gibt es um die Selbstbestimmtheit der betroffenen Person? Gibt es um die Selbstbestimmtheit des Gesetzgebers? Gibt es um die Selbstbestimmtheit des Ergebnisses? Also was kann der Teilnehmer einer der Protestbewegung in Baltimore machen, zum Beispiel, in Bezug auf diese eigene Selbstbestimmtheit? Ja, ich habe mich diese Frage der Hoheit sehr eingehend gewidmet, den ich machte mir Sorgen, wie man mit der Situation umgehen kann, das Behörden zum Beispiel zu nehmen, die Datamining in Anspruch nehmen, neue Arten von Daten in Anspruch nehmen, um bestimmte hoheitliche Beflugnisse effektiver ausüben, zu können. Aber jetzt muss man sich eher die Frage stellen, ob solche Methoden der Aufgabe gewachsen sind. Es gibt noch regelbasierte Algorithmen mit Formulierung, wie wenn, dann und dann und dann. Und daher stellt sich die Frage, ob wir das notwendige Werkzeug in der Hand haben, um die Hoheit richtig zu verstehen und zu erfassen. Also Benjamin Brottons, das, was er geschrieben hatte, über den Stack, im Stack. Also viele Probleme in diesem Bereich gehen auf die, also auf Abduktionen, sind auf Abduktionen zurückzuführen. Wir haben sehr viel Spielraum, was den Output angeht, wir modifizieren das System, um ein bestimmtes Ergebnis zu erzielen. Das ist, könnte man sogar sagen, ein Prozess der Abduktion. Hier müssen wir also das Verhältnis zwischen Hoheit und Wissen neu definieren. Also ein System produziert die genannten Ergebnisse. Kann es sein, dass die Formulierung des Problems den Output bestimmt oder fangen wir mit den Auswirkungen, mit den Effekten an, zum Beispiel beim Modell der Grenzkontrolle, da ging es sehr wohl, darum Entscheidungen zu treffen, wer einreisen darf oder nicht. Wer als Mensch wahrgenommen wird an der Grenze oder nicht, das war sehr wichtig für die Ausübung, für hoheitliche Befugnisse. Produziert ein solches System nur Ergebnisse oder fließen diese Ergebnisse zurück in das System, um die Rahmenbedingungen für die gesamte Entscheidungsfindung neu zu gestalten. Und diese Frage stelle ich im Ernst. Ich habe zum Beispiel in letzter Zeit 5 eine Doktordiszentation auswerten müssen. Es gibt natürlich sehr viele Leute, die die unterschiedlichen Kategorien, Souveränität, Staat, Bevölkerung verstehen und eine Neubewertung diese Begriffe fördern. Und das finde ich gerade notwendig. Eine letzte Frage zu Baltimore. Wir nehmen die Sichtweise der Demonstranten. Könnte man die Selbstbestimmtheit der Demonstranten dadurch steigern, indem man ihnen, die man sieht, dazu bereht, einfach ihre Handys auszuschalten, um den Datenfluss zu begrenzen? Also kann man die Selbstbestimmtheit begrenzen, indem man eine, kann man die Selbstbestimmtheit steigern, indem man einen anderen Aspekt der Selbstbestimmtheit reduziert? Ja, es gibt ein Regime der Erkennung und es gibt Möglichkeiten des Widerstands, also unsere Präsenz zu löschen sozusagen. Aber trotzdem begegnen wir vielen Problemen. Das haben Sie bestimmt in der britischen Presse gelesen. Eine Person wurde durch die Polizei verhaftet, weil er sein Gesicht verschleierte kurz vor einem Bahnhof, wo die Gesichtserkennung angewendet wurde. Er hat dafür ein Bußgeld zahlen müssen. Aber diese Frage hat mich sehr interessiert. Was bedeutet das? Es gibt hier nur darum, um die Ausübung hoheidliche Aufgaben und dass man sich diesen Überwachungsmethoden unterwerfen muss. Das bringt mich zur Frage der Blendenöffnung zurück. Wie gehen Informatiken mit verschleierten Gesichten um? Das hat wirklich die Sache im Kern getroffen, finde ich. Hier geht es darum, neuronale Netze in Bezug auf verschleierte Gesichten zu trainieren. Man nutzt Open-Source-Daten, sprich Bilder, die von Gesichten, die zum Teil verschleiert sind, aus dem einen Grund oder einem anderen, in dem Versuch, die Gesichtserkennung trotzdem zu steigern. Das heißt, die Technologie interessiert sich ja gar nicht für das Gesicht. Hier geht es nur um Pixelen ein, um das, was man aus Pixelen und Elementen zusammentragen kann. Die meisten machen sich Sorgen, weil es bei der Gesichtserkennung um ihre eigenen Gesichte geht. Aber eigentlich für ein System, das Gesicht absolut irrelevant. Man kann ein System auch auf Gesichter trainieren, die halb verschleiert sind. Aber das ist ein sehr wichtiger Punkt, finde ich. Weil wenn wir Widerstand leisten wollen und dadurch nur verschleiern oder verstecken, dann fehlt uns der Einblick, dass es bei dieser Technologie um viel mehr geht, nämlich auch um politische Fragen geht. Wenn ich meinen Gesicht verschleiere bei der Gesichtserkennung, dann habe ich mich dem System nicht entzogen. Was ich gemacht habe, ist dabei, die Empfindlichkeit des Algorithmus zu steigern, weil dann geguckt wird, wie man Gesichter trotz Teilverschleierung erkennen kann. Hier geht es um die Interaktion zwischen Technologie und im Staat. Das war eine ganz deutliche Antwort. Vielen Dank. Jetzt kommen wir zu Ihren Fragen oder Anmerkungen. Vielleicht sammeln wir erst mal ein paar. Ja, hier jemand aus der ersten Reihe. Sie vermischen ganz klar Algorithmen mit neuronalen Netzwerken. Das ist etwas ganz anderes, ob man über neuronalen Netzen oder klassische Algorithmen redet. Ich möchte Ihnen ein kleines Beispiel geben. Man möchte eine Maschine mit einer Maschine erstellen, die die Wahrscheinlichkeit errechnet, dass jemand wieder kriminell wird. Man nutzt also Wissen, dass man beispielsweise aus den Sozialwissenschaften und damit wird einem dann gesagt, dass jemand, der schwarz ist, mit 20 % größerer Wahrscheinlichkeit wieder kriminell wird. Wenn es sich um Open Source Daten handelt, kann jeder das lesen und jeder kritisieren. Ein neuronales Netz ist allerdings eine Black Box. Wenn man etwas ändert, fragt man sich, welche Faktoren werden für das Ergebnis ausschlaggebend sein? Beispielsweise die ethnische Zugehörigkeit, die Hautfarbe oder Ähnliches. Aber man weiß nicht, was das neuronalen Netz damit macht. Es ist nämlich eine Black Box, weil es nicht transparent ist und es sich um einen ganz anderen Ansatz handelt. Diese zwei Aspekte bringen Sie hier vollkommen durcheinander. Sie sprechen über neuronalen Netzen und Algorithmen, das ergibt für mich gar keinen Sinn. Ja, bis kurz vor Ende Ihres Kommentars war ich mit Ihnen noch einverstanden. Denn wir sprechen über regelbasierte Algorithmen, die könnten die Verständlichkeit beeinflussen. Also ich mache hier durchaus einen Unterschied zwischen den tief neuronalen Netzen und Algorithmen, auch zwischen den Rekorierenden und den Konvolutionalen. Aber ich würde das nicht als Black Box bezeichnen, denn man spricht das immer noch als etwas Verborgenes und nichts, was so einfach offensichtlich ist. Wenn Kritiker Sozialwissenschaftler sagen, das handelt sich um eine Black Box, dann frage ich, was ist denn mit den anderen Aspekten, bei denen Sie Forschung betreiben, sind die alle offensichtlich für Sie? Können Sie da immer eine Erklärung vergeben, die leicht verständlich ist? Wir sind also unterschiedlicher Meinung in dem Bereich, dass ich glaube, dass das Teil unserer Forschung ist. Es handelt sich um eine Black Box, ist aber trotzdem Teil unseres Selbstverständnisses in der Welt. Vielleicht wollten Sie sagen, dass wir ganz deutlich sagen, von welchen Algorithmen wir wann sprechen. Ja, das stimme ich Ihnen zu. Das Problem habe ich wahrscheinlich selbst noch nicht gelöst. Denn bei einem Publikum, das habe ich schon sehr oft gesehen, sehen wir immer wieder, je mehr Details wir besprechen, beispielsweise das 2012 Konvolutionale neuronale Netzwerke mit Image-Netzwerken verbunden wurden und was das dann wiederum für Gesichtserkernung bedeutet. Aber das könnten ein bisschen viele Details für ein solches Publikum hier sein. Stattdessen müssen wir überlegen, welche unterschiedlichen Formen und Einrichtungen der Algorithmen es gibt. Und trotzdem sollten wir im Hinterkopf behalten, dass es sich dabei nicht um technische Objekte handelt, die von uns und der Forschungswelt absolut abgetrennt sind. Aber vielen Dank für Ihre Frage. Ich glaube, ich habe da eigentlich keinen Unterschied gezogen. Vielleicht sollte das eigentlich Kritik an mir sein und nicht an Ihnen. Leider benutzt der Redner kein Mikrofon. Wir können dir nicht verstehen. Ich denke, Sie haben sich verständlich gemacht. Sie wollten sagen, dass es hier mehr Klarheit geben sollte. Aber ja, ich bin sehr dankbar für diesen Kommentar. Ein Großteil der kritischen sozialen Debatte zumindest in Großbritannien, vielleicht nicht in Deutschland, hat noch nicht verstanden, worüber wir eigentlich sprechen. Man hat immer noch das Gefühl, als würde man über diese Wenn-Dann-Das-Algorithmen sprechen. Man hat das Gefühl, irgendwas davon könnte nicht sozial annehmbar sein. Ich glaube also, dass es durchaus wichtig ist, diese genaue Beschreibung zu unterstreichen. Und uns auch zu fragen, wie viel wir davon leisten können. Meine Freunde aus der Branche fragen mich immer wieder, ist das, worüber du sprichst, nicht eigentlich etwas im Bereich der Vektoren? Dann sage ich, häufiger, vielleicht solltet ihr spezifischer werden. Wenn ihr von Vorurteilen spricht, solltet ihr auch wissen, was das genau bedeutet. Bei dieser Terminologie in diesem Bereich muss man also sehr genau aus sich, sehr genau ausdrücken. Als Cambridge Analytica dann Psychologen angestellt hat, um diesen Bereich der Einflussnahme zu untersuchen, war nicht deutlich, was Einflussnahme eigentlich genau bedeutet. Deswegen möchte ich, dass wir hier ein bisschen mehr miteinander und genauer sprechen. Jetzt eine Frage aus Reihe 4, bitte sehr. Vielen Dank für diesen tollen Vortrag. Ich bin absolut auf Ihrer Seite. Es gibt immer ein Vorurteil, und dieses Vorurteil ist produktiv. Wir müssen die Räume mit dem Betracht ziehen, wo Menschen Entscheidungen treffen. Wir müssen uns auch diese Blendenöffnungen ansehen, und zwar nach dem Output. Denn genau da versuchen wir, die Reduzierung der Algorithmen zu bekämpfen. Aber ich würde gerne noch einmal auf den Prozess zu sprechen kommen, nämlich auf die Vorhersagen mit Algorithmen. Glauben Sie nicht auch, dass es zusätzlich schlecht wäre, zu früh diese Blendenöffnung zu ermöglichen? Das geht in die Richtung dessen, was wir tun können, um die Ergebnisse besser zu verstehen. Denn viele arbeiten an der Programmierung und der Umsetzung, etc. Wäre es aber nicht besser, unterschiedliche Menschen zu haben, die miteinander kommunizieren und besprechen, wie sie zusammenarbeiten können, was diese Parameter überhaupt bedeuten? Ich glaube auch, dass das Beste, was ich jemals gehört habe, war, als ein Polizist, oder eine Polizistin, mir sagte, als sie begann Daten zu sammeln, gab es Geschichten hinter dieser Datensammlung, damit diejenigen, die mit den Daten arbeiten, auch Kontext dazu bekommen. Es hat mich überrascht, wie fortschrittlich dieser Ansatz gewesen ist. Ich glaube, das ist genau dieser Anfang, wie wir mit Blendenöffnungen spielen können. Vielen herzlichen Dank für die Frage. Ja, ich glaube, das stimmt. Ich habe eigentlich nur über den Zeitraum nach dem Output gesprochen, wenn man das so zeitlich ausdrücken kann. Aber vielleicht sollte man gerade den zeitlichen Aspekt betrachten, denn es handelt sich nicht um einen linearen Verlauf. Man müsste eigentlich deutlicher sagen, was ich hier mit Blendenöffnung meine. Jonathan Quarry und sein Hintergrund des Verstehens, des Empfangens, im Bereich der Kunst und der Wissenschaft ist hier sehr interessant. Ich glaube, dass für mich die Blendenöffnung eigentlich bedeutet, dass man etwas trennt, dass man Unterscheidungen vornimmt. Das habe ich bisher noch nicht gemacht, aber ich bin der Meinung, dass es eine gewisse Nähe zwischen einem konvulationalen, neuronalen Netzwerk gibt aus dem Jahr 2012, dass darauf trainiert wurde, eine bestimmte Frucht in einem Bild zu erkennen, beispielsweise, ob es sich in einem Apfel oder eine Kirsche oder was auch immer handelt, oder auch um einen Dermatiner neben einem Laborador zu erkennen. Diese besondere Art der Blendenöffnung ist Voraussetzung für die Dinge, die mehr interessieren, beispielsweise Technologien der Gesichtserkennung. Gleichzeitig ist die Fähigkeit, diese Unterscheidungen vorzunehmen, genau das, was dazu führt, dass Maschinenlernen lernen kann, dass bestimmte Organe nicht weiter verwendet werden können, oder doch. Also, damit könnte man eben zu diesem guten Beitragen, ein neuronales Netzwerk in der Lage ist, zu erkennen, welches Organ beispielsweise verpflanzt werden kann. Er gibt das Sinn, verstehen Sie das? Diese Art des Erkennens, das dort möglich gewesen ist, kann man in die Blendenöffnung übertragen, und damit auch auf jeden Fall den Sie genannt haben, der Polizisten. Ich glaube, Sie haben vor allen Dingen hier Verhältnis auch mit den Menschen und den menschlichen Entscheidungen gesprochen. Das war sehr nett. Vielen Dank. Vielen Dank für den inspirierenden, auch leicht verstörenden Vortrag. Ich würde gerne aus Sicht eines Lehrenden fragen. Die Algorithmen und der Einfluss auf unser Leben werden uns nicht verlassen. Das wird in Zukunft nur weiter zunehmen durch die steigende Zahl der verfügbaren Daten. Deswegen würde ich gerne für die ausbildenden Institute die zukünftigen Computer-Wissenschaftler ausbilden wissen. Was sollte man in die Curricula mit aufnehmen? Und noch eine weitere Frage. Fast jeder, ganz egal, was er in der Gesellschaft tut oder was er arbeitet, wird an einem gewissen Punkt mit diesen Algorithmen konfrontiert und mit Algorithmen Entscheidungen treffen. Was bedeutet das also für die generelle Ausbildung in unseren Ländern? Haben Sie da Anregungen für sehr gute Frage und auch sehr schwierige Frage? Auf gewisse Weise führt das wieder in die Falle, dass man etwas vorschreiben müsste, dass man Regeln festlegen sollte. Ich bin immer wieder davon erstaunt, dass Menschen meine Analysien kritisieren und dann sagen, die generativen Netzwerke angesehen, denn die haben noch sehr viel mehr Potenzial. Es geht nicht nur um diese Reduzierung auf ein Output. Und dann habe ich immer das Gefühl, dass es Hoffnung gibt, denn es besteht die Möglichkeit, Philosophie, Sozialwissenschaften, Computerwissenschaften miteinander in Verbindung zu bringen und dieses Wissen gemeinsam zu nutzen. Das haben wir in der Vergangenheit nicht genug getan. Und ich denke, das kann noch mehr getan werden. Ich selbst versuche, bei meiner Arbeit dies zu vermeiden. Ich möchte aber ein gemeinsames Vokabular finden. Ich möchte nicht festlegen, was Objektivität in dem einen Bereich und in dem anderen Bereich bedeutet. Stattdessen glaube ich, dass dieses Aufeinandertreffen der unterschiedlichen Definition genau diesen Knackpunkt ausmacht. Denn Vorurteil bedeutet in der Computerwissenschaft etwas anderes als ich vielleicht meine. Denn für mich handelt es sich dabei um einen wichtigen politischen Moment, denn ich frage mich, wie kann Vorurteil in diesen Aspekt mit eingebunden werden? Was müssen wir dabei beachten? Ich glaube also, dass wir durchaus Hoffnung haben können, denn es gibt entsprechende Ressourcen, die uns zur Verfügung stehen. Das, was ich als diese Spuren der verworfenen Alternativen bezeichnet habe, ist eigentlich etwas, was John Fowers bereits beschrieben hat, der Autor. Er hat gesagt, dass während er auf sein Finale hinarbeitet, er immer wieder diese Spuren der verlorenen Alternativen findet, Ideen, die er verworfen hat. Ich habe in meinem Buch also Ideen aufgegriffen, die auch Autoren beschrieben haben. Ich weiß, dass die Computerwissenschaftler genau das versuchen, sie versuchen, Möglichkeiten zu finden, diese verlorenen Alternativen auch aufzuzeigen. Also eigentlich, glaube ich, bin ich viel hoffnungsvoller, als ich das jetzt vielleicht hier ausgedrückt habe. Vielen Dank. Wir sind jetzt schon ein bisschen weit in der Zeit vorangeschritten. Deswegen sollten wir vielleicht jetzt einmal einen Blick auf Twitter werfen. Ich habe das Hashtag am Anfang erwähnt. Vielleicht können wir jetzt mal schauen, ob das so reingekommen ist. Wir haben eine Frage auf Twitter. Algorithmen werden von Daten gestaltet. Glauben Sie also, dass wir Daten so gestalten können, dass sie keine ethischen Gefahrenzonen darstellen? Könnten Sie das vielleicht noch einmal wiederholen? Algorithmen werden durch die zugrunde liegenden Daten gestaltet. Können Sie also, können wir Daten effektiv gestalten, damit sie in Gebieten genutzt werden können, die Gefahren darstellen? Also bezüglich dieser Frage, glaube ich, dass die Datifizierung, ein Wort, das ich sehr hasse, weil ich mich immer frage, was es eigentlich bedeuten soll, denn es geht mehr um die Darstellung der Daten. Die Frage nach dem Volumen, die Frage nach Big Data, die wir auch aufgeworfen haben, wird üblicherweise verworfen. Denn wenn wir sagen, wenn wir Daten reduzieren könnten, hätte das einen gewissen Effekt. Als ich vorher also darüber gesprochen habe, wie das es bestimmte Gebiete in unserem Leben gibt, wo wir glauben, dass es nicht genug Daten gibt, um ein effektives Modell zu erstellen, glaube ich jedoch auch und zwar aus eigener Erfahrung, dass das mich noch mehr stört, dass Modelle auf zu wenig Daten aufgebaut werden. Daten zu reduzieren oder den Zugang zu Daten zu reduzieren ist also nicht das, was ich mit meiner Arbeit verfolge, denn ich glaube, das geht gegen die Logik, die wir eigentlich verfolgen. Okay, dann noch eine Frage aus dem Publikum. Vielen Dank, dass Sie unterstrichen haben, wie die Daten unsere Weltanschauung geändert haben. Die gefährlichsten Aspekte dabei sind wahrscheinlich, dass wir eine naive Ansicht erreicht haben, nämlich, dass alles nur ein Urteil haben kann, eine Zahl zwischen 0 und 1. In der Geschichte haben wir gelernt, das entwickelte Gesellschaften in der Lage sind, zu lernen, mit dynamischen Prozessen umzugehen. Vor allen Dingen im Bereich der Rechtsprechung, wo man nicht nur ein Urteil bekommt, aber die Verfolgung oder die Anklage, die Möglichkeit bekommen, vor Abschluss die eigene Meinung auszudrücken. Glauben Sie, dass Computerwissenschaftler die Möglichkeit haben, aus diesem Bereich etwas zu lernen? Ich glaube, Computerwissenschaftler sollten hier nicht als der Feind dargestellt werden. Die Nutzung dieser Algorithmen im Bereich Polizei und Rechtsprechung, da glaube ich, dass wir immer noch nicht verstehen, was eigentlich passiert. In Großbritannien beispielsweise werden einige Algorithmen im Bereich genutzt, wo es nicht genügend Forschung gibt. Und das zählt für das Sozialwesen, wo es nicht genügend Mitarbeiter gibt, aber auch für die Polizei und andere Bereiche. Man versucht also, sich auf Algorithmen zu verlassen. Diese sollen wichtige Entscheidungen treffen. Bei der Polizei in Großbritannien ging es so weit, dass jemand alleine am Schreibtisch sitzt und eine Entscheidung treffen soll. Dämlich sollte jemand verurteilt werden oder sollte jemand auf Kozion entlassen werden oder verhaftet werden oder ähnliche Fragen. Dabei werden nicht nur die Daten dieser einen Person, bei der diese Fragen gestellt werden, genutzt, sondern Daten von Menschen, die in ähnlichen Situationen waren. Und ich glaube, das sind hier die Attribute, die in verschiedenen Bereichen angesetzt werden. Ich möchte also nicht sagen, dass wir auf der einen Seite die Polizei haben, auf der anderen Seite die Computerwissenschaftler, sondern ich interessiere mich dafür, wie diese Techniken verschiedene Grenzen überschreiten und dann von einem Gebiet auf ein anderes übertragen werden. Im Jahr 2017 habe ich mit diesen Menschen zusammengearbeitet, die zum einen, dass die Spielsucht untersucht haben, dann die MRT-Ergebnisse und dieses Wissen übertragen haben. Ich möchte also nicht hier Grenzen ziehen, sondern sehen, wie in verschiedenen Bereichen gearbeitet wird. Wir nehmen noch zwei Fragen an und danach müssen wir unser Gespräch leider zu Ende bringen. Vielen herzlichen Dank für Ihre Frage. Ich vertrete das Bundesamt für Familie und zivilgesellschaftliche Aufgaben. Das, was Sie am Anfang Ihres Vortrags gesagt haben, hat mich etwas verstört, nämlich der Satz. Wir wissen, wie gut und böse auszielen. Ich dachte danach ständig an die Konsequenzen, auch für die Politik. Was bedeutet das für uns und für die Politik? In welche Richtung bewegen wir uns? Gehen wir in eine Richtung, wo wir neue Normen und Uniformität aufbauen? Bewegen wir uns in eine Richtung, wo wir Uniformität verlangen? Ist das von vornherein schon ein politisches Statement, wenn ich an die Fortschritte der letzten zehn Jahre denke, in einem Bereich Antidiskriminierung, zum Beispiel gleichgeschlechtliche Lebensweisen, sieht man, wie viel in der Politik erreicht worden ist. Mir kommt die Situation also so fort, dass die Entwicklung von Algorithmen die Art und Weise, wie wir über Algorithmen reden, ist das der richtige Ausdruck, ist das der richtige Vorgehensweise? Ist das nicht kontraproduktiv, wenn man sich überlegt, an welchen Fortschritten wir tagtäglich arbeiten, zum Beispiel im Bereich der politischen Bildung? Entschuldigung, ich erkenne hier keine Frage. Könnten Sie sich etwas präziser ausdrucken, bitte? Sie hatten ja am Anfang gesagt, dass Sie sich etwas verstört gefühlt hatten durch diese Aussage, wie Ihr Wissen, wie gut und böse oder wie das Gute aussieht. Ich hatte zahlreiche Interviews geführt mit Wissenschaftlern und diese Antwort insbesondere hat mich auch etwas verstört. Denn hier geht es nicht nur darum, das Gute zu erkennen und Normen dafür zu setzen, in Bezug auf diese dehnbare Schwelle, die ich eben erwähnt hatte. Hier geht es darum, was das Gute überhaupt wäre. Wo liegt diese Schwelle? Wo liegt die Schwelle der Normalität? Und man muss sich diese Frage ernsthaft stellen. Welche Normen nehmen wir uns als Basis hier? Das ist eine sehr dehnbare Vorstellung von Normen, Normalitäten und Abnormalitäten. Ja, daher möchte ich meine Frage zu Ende bringen. Es geht nicht darum, was wir über die Algorithmen lernen, sondern darum, dass wir etwas darüber lernen, was wir versuchen, in Erfahrung zu bringen, wozu brauchen wir Algorithmen in unserer Gesellschaft? Es gibt eine Theorie der Kommunikationswissenschaften, wo nach Menschen Computer und die Aussagen von Computern so behandeln, als ob es die Aussagen oder die Ergebnisse eines Menschen wären. Es führt dazu, dass der Mensch in eine Art und Weise reagiert, die er sich vor diese Sache noch nie hätte vorstellen können. Wie sieht es in diese Hinsicht mit Algorithmen aus, so wie ich sie verstanden habe, basieren Algorithmen auf das menschliche Gehirn neuronale Netzwerke? Bisher haben wir die Dimension des menschlichen Gehirns noch nicht so ganz verstanden. Manchmal, wenn ich ein Vortrag über Algorithmen höre, stelle ich mir diese Algorithmen eher etwas menschlich vor. Wie sehen Sie Algorithmen? Nehmen Sie ein Algorithmus, als ein Mensch war oder als ein System war? Manchmal versuche ich mir selber die Frage zu stellen, welche andere Arten der Berechnung zum Einsatz kommen. Haben wir empirische Ressourcen, auf die wir zurückgreifen können, zum Beispiel Ian Hacking und seine Erzählung, seine detaillierten Ausführungen zur Geschichte der Statistik, wie die Verbindung zwischen Statistik und der Herrschaft des Staates entstanden ist, das Verhältnis zwischen Staat und Bürger, Biometrik, Eugenik etc. Das sind Sachen, die immer an diese Schaltstelle entstehen, zwischen diesen unterschiedlichen Werkzeugen. Und in meinem Buch versuche ich, die Sache anders wahrzunehmen. Mit Algorithmen haben wir eine andere Methode, um unsere Annahmen über die Welt einzuordnen und ein System einfließen zu lassen. Eine solche Ressource benötigen wir. Zum Beispiel Firdor Porter hat sehr interessante Ausführungen zu dieser Frage. Reichen uns die Ressourcen, um auf moderne zeitgemäße Art und Weise zu regieren. Was für eine Ausführung hat das auf unsere Vorstellung, was gut oder böse ist, was ein regelwidriges Verhalten darstellt und nicht? Ich glaube, dass wir die Algorithmen nicht unbedingt als Neuigkeit, als Novum wahrnehmen sollen, sondern einen Blick auf unsere menschliche Geschichte werfen sollen. Sie hatten ja selber gesagt, Algorithmen sind so eine Art menschlichen Gehirn. Und es gab ja schon Theorien der Kybernetik, die einen Vergleich gezogen haben zwischen den Funktionsweisen des menschlichen Gehirns und elektrischen, elektronischen Prozessen. Also ich stimme Ihnen in etwa zu. Man sollte Algorithmen nicht unbedingt als Neuigkeit wahrnehmen. Wir haben eine ganze Geschichte hinter uns, wie der Mensch regiert und Entscheidungen trifft, wie wir uns selbst darstellen, wie wir uns andere Menschen vorstellen. Und auch die Erkenntnisse dienen als Modell für das, was wir jetzt zum Beispiel in einem Grenzbehörde versuchen zu lösen anhand von unterschiedlichen Modellen. Ja, eine letzte Frage, die uns hoffentlich auf den Ziel geraten bringen wird. Normalerweise komme ich auf die Frage Gesetzgebung zurück. Das habe ich aber schon mal gemacht. Sie hatten ja schon über Parisier, über Risky Speech, also diese Theorien von Michael Foucault gesprochen. Das einzelne Ergebnis, das ein Algorithmus leistet. Ich weiß nicht, ob die Rahmenbedingungen für Risky Speech im Sinne von Foucault gerade vorhatten sind. Allerdings muss man feststellen, dass der Diskurs sich ausweitet, nicht nur auf Akademiker, sondern auch auf den Otto-Normal-Bürger, der im Internet diskutiert. Aber trotzdem wird es schwierige, immer schwierige, riskante Äußerungen zu bringen. Jedes Mal, wenn man eine umstrittene Meinung äußert, geht man ein gewisses Risiko ein. Also es ist gut, dass wir eine solche Entwicklung in der Gesellschaft haben, nämlich, dass mehr Menschen sich äußern können. Aber das steht im Widerspruch zu dem, was Sie gesagt hatten, nämlich über die Möglichkeit auf die Risiken hinzuweisen. Nein, also das, was ich zum Thema Risiko, zum Thema Risky Speech sagen wollte, gegen den Strom zu schwimmen, sozusagen. Und das für mich fing das damals an, als ich mit den Onkologen zusammengearbeitet habe, diejenigen, die Algorithmen zur Aufzeichnung der optimalen Behandlungsweise verwendet haben. Und hier wurde das Wort Flow Strom tatsächlich verwendet. Was bedeutet es, sich von der Expertise von anderen Menschen mitnehmen zu lassen? Und was bedeutet es, gegen den Strom zu laufen? Und daher entsteht das Spannungsverhältnis zwischen dem Ergebnis eines algorithmischen Systems und einer Einzelentscheidung, die sozusagen gegen die Weisheit des Algorithmus läuft. Das ist eine gewisse Bürde, wir sind sozusagen der Wahrheit geschuldet. Die Frage ist, was setzen wir aufs Spiel, wenn wir risikohafte Äußerungen bringen? Laut Judith Butler setzen wir uns selbst aufs Spiel, wenn wir so was machen. Aber da entsteht ein weiteres Problem, der Großteil der öffentlichen Debatte zu Algorithmen besteht darin, also die Befürchtung zu Äußerungen darüber, dass Systeme zunehmen, die Einzelperson erkennen. Aber die Gefahr erkannt zu werden, ist ganz anders wahrzunehmen, als sich das zurückziehen, was ich vorhin erwähnt hatte. Die Blendeneröffnung neu zu gestalten, um sozusagen gegen den Strom zu laufen. Vielen herzlichen Dank, Frau Professorin, damit ist unser Gespräch beendet. Wir freuen uns auf den Umtrunk nach der Veranstaltung. Vielen herzlichen Dank für Ihre Aufmerksamkeit.