 Herzlich willkommen im Sea-Base-Dream der Raumstation unter Berlin-Mitte am S-Bahnhof Janowitz-Brücke. Es freut mich ganz besonders, dass der Oscar heute hier ist mit dem Thema Computer Says No, Künstliche Intelligenz und Herrschaft. Das freut mich deswegen ganz besonders, weil ich ja ansonsten Technikphilosophie mache und wir sind ja nun seit ungefähr 25 Jahren darauf warten, dass die ganzen künstlichen Minderintelligenzen tatsächlich mal sowas wie mir Wusstsein entwickeln. Das scheint aber noch nicht der Fall zu sein. Es sei ein Oscar, hat hier Neuigkeiten für uns und die interessante Frage ist ja, wie es zu Rechtfertigen ist, dass solche künstlichen Minderintelligenzen dann Herrschaft über uns ausüben, indem sie uns Kredite verweigern, unsere Bahnkarten nicht verlängern oder auch unsere Steuererklärung für potentiell gefälscht. Das werden wir jetzt alles genau und näher erfahren. Wie das fast schon akademische Tradition ist, gibt es genau 45 Minuten Zeit für Oscar. Oscar, du hast die Bühne für ein Update zur künstlichen Intelligenz und Herrschaft. Vielen Dank. Herzlich willkommen auch allen Wesen an den Empfangsgeräten. Die schlechte Nachricht zuerst. Es gibt keine Neuigkeiten, sondern meine These ist eher, dass ich seit 1844 ungefähr nichts geändert habe, außer dass jetzt Computer dabei sind. Bevor ich anfange, man kann die Slides, alle meine Quellen und ein Transcript des Talks unter dem Link r.ovl.design.rc3-ki sehen oder über diesen oben eingeblendeten QR-Code. Ich habe den Link auch um 17.02, was ungefähr jetzt sein sollte, getwittert. Danke künstliche Intelligenz. Mein Twitter ist Herr Händels Unterstrich, o.v.lb. So, fangen wir an. Künstliche Intelligenz, was meine ich eigentlich damit, wenn ich über künstliche Intelligenz spreche? Künstliche Intelligenz an sich ist erst mal eine recht grobe Kategorie. Deswegen vorab auf einer technischen Ebene wird es vor allen Dingen um Machine Learning gehen. Ich werde aber trotzdem den Talk über von KI sprechen. Ich werde von KI sprechen, weil KI als gesellschaftlicher Begriff weiter ergreifend ist als nur die technische Ebene, sondern eine Formierung von Politik, Arbeit, Kultur und Kapital beinhaltet. Im Folgenden gehört vor allen Dingen Politik, Arbeit und Kapitalgehen weniger um Kultur. Und das Ganze wird sich folgendermaßen gliedern. Ich werde erst über ImageNet reden, eines der vermutlich einflussreichten Datensätze in der Geschichte des Machine Learnings, danach über Algorithmen und Arbeit und schließlich über ein Teil namens künstlicher Ideologie, wo ich ein bisschen über staatliche Herrschaft und wie sich Militär und Polizei künstliche Intelligenz zu Nutzen machen. Schließlich ein kleiner Ausblick unter dem Titel, was tun. Genau, das ist die grobe Gliederung. Es ist also kein technischer Vortrag. Ich werde nicht erklären, wie Machine Learning funktioniert und ich werde noch nicht erklären, was grundlegend künstliche Intelligenz ist oder also wenn ihr jetzt einen technischen Vortrag erwartet habt, tut mir leid, gibt's nicht. Okay, los geht's. ImageNet oder wie Machine Learning sich für immer verändert. Für die Leute von euch, die vielleicht nicht einen großen Hintergrund in der Geschichte der künstliche Intelligenz haben, eine kurze Erklärung, was ImageNet eigentlich ist. ImageNet ist wie schon erwähnt der vermutlich einflussreichste Datensatz, warum erkläre ich gleich und darauf aufbauen wurde vermutlich einer der einflussreichsten Algorithmen geschrieben. Die Idee ist so kompliziert wie simpel und wurde von Pfeiffer Lee im Jahr 2006 formuliert, nämlich den Gold Standard für Bilderdatensätze zu sammeln. Die Umsetzung gehen entsprechend auch relativ einfach Bilder sammeln. Nur ist das natürlich, wenn man von einem Gold Standard spricht und von den Mengen an Bildern, die damit gemeint sind leichter gesagt als getan. Pfeiffer Lee und ihre Mitforscher hatten zwei Sachen auf ihrer Seite, nämlich einerseits Bilder suchen, die relativ neu waren und andererseits immer leistungsstärkere Computer. Trotzdem dauerte es drei Jahre, bis genug Bilder zusammengesammelt waren. Genug heißt hier 14 Millionen. Und das, um das ein bisschen in Perspektive zu setzen, einer der Hauptvorläufer von ImageNet, Pascal VEC, Pascal Visual Object Classes, beinhaltete 19.737 Bilder in 20 Kategorien, anstatt wie jetzt in ImageNet 14 Millionen Bildern in 20.000 Kategorien. Nun stellt sich aber eine Frage, wie klassifiziert man denn eigentlich 14 Millionen Bilder? Nur wenn man in einer Bildersuche nach einem Apfel gesucht hat, heißt es ja nicht, dass jedes Bild, das da rausgekommen ist, ein Apfel beinhaltet. Traditionell wäre das ein Job für Studienanfängerinnen gewesen. Das heißt, man hat den Leuten, die gerade den Studium angefangen haben, gesagt, hier ist ein Datensatz, aber er arbeitet ihnen bitte gucken, ob er das korrekt ist. Das Problem ist, bei 14 Millionen Bildern hat einer der Mitforschenden ausgerechnet, würde es ungefähr 19 Jahre dauern, bis die Studienanfängerin diese 14 Millionen Bilder wirklich klassifiziert hätten. Aus der heutigen Perspektive mag man vielleicht auch sagen, vielleicht ist es ein Job für ein Algorithmus. Das Problem ist nur, die Algorithmen, die wir heute haben, sind schon nicht gut genug, dass man einfach sagen kann, hier sind die Bilder, sag uns was ist, sondern es muss immer wieder kontrolliert werden. Die Algorithmen, die es damals gab, waren noch schlechter, also auch nicht wirklich die Lösung des Problems. Die Lösung des Problems kam von einer etwas unverhofften Richtung von einer Micro-Working- oder Click-Working-Plattform namens Amazon Mechanical Turk, die in 2015 eingeführt wurde. Mechanical Turk ist benannt nach dieser Konstruktion, wo ein vermeintlicher Roboter von einem kleinen, wie siegen Menschen in diesem Kasten bedient wurde und dann so getan hat, als würde er Schach spielen können. Mechanical Turk erlaubte es, sogenannte Human Intelligence Tasks einzustellen, also kleine Sachen wie zum Beispiel Guck auf diesen Bild ein Abfall ist, die dann von den Arbeiten auf der Plattform vervollständigt werden konnten. Durch diese Plattform war es möglich, diese 14 Millionen Bilder auf 49.000 Leute aufzuteilen, die in 167 Ländern daran gearbeitet haben und so vergleichsweise schnell oder relativ schnell, zumindest sehr viel schneller als 19 Jahre in der Lage waren, die Bilder zu klassifizieren und zu gucken, ob das, was angeblich auf den Bildern drauf ist, auch wirklich drauf ist. Wir sehen hier eines der Probleme, die uns immer wieder begegnet werden, wenn wir heute Teilge auf Machine Learning gucken und zwar, dass menschliche Wahrnehmung auf einen rein mechanischen Prozess runtergebrochen wird. In dem Fall, dass visuelle Intelligenz eine reine Mustererkennung ist. Das heißt aber auch, dass zum Beispiel Erfahrungen von Menschen oder in Kontext, in welchen die Bilder gesehen werden, komplett ausgeblendet wird und dass nur noch über diesen mechanischen Prozess geht. Bei einem Apfelkuchen meint, das mag okay sein, aber ImageNet hat auch Kategorien für Menschen enthalten. Und da wird es schon wesentlich schwieriger zu sagen, alles ist eins. Okay, trotzdem, Sie haben es gemacht und Sie waren damit auch soweit zufrieden und hatten dann diese 14 Millionen Bilder, mehr oder weniger sauber klassifiziert herumliegen. Dann kam die nächste Frage und jetzt, was macht man jetzt mit diesem Datensatz? Was macht man mit diesen Bildern? Im Rahmen der Forschung gab es von 2010 bis 2017 die sogenannte ImageNet Large Scale Visual Recognition Challenge. In dieser Challenge hat sich erst mal relativ lange nichts getan. Es wurde geforscht bis schließlich im Jahre 2012, der bereits angesprochene Einflussreicher Algorithmus vorgestellt wurde, AlexNet. AlexNet ist eine Entwicklung von Alex Krzyzewski und seinem Team an der Universität Toronto gewesen und führte ein neues Konzept ein, nämlich das der neuronalen Netze, die in dem folgenden zu einem der atonengebenden Paradigmen in Machine Learning wurden, weil es dadurch möglich war, diese Bildmassen und diese Datenmassen um wesentlich, wesentlich schnell zu bearbeiten, zu bearbeiten, als es vor allem möglich war. Auch heute ist das quasi immer noch der der Mechanismus, der meistens verwendet wird. Okay, das ist quasi so als kurze historischer Hintergrund, worüber wir meistens reden, wenn wir von Algorithmen reden, nämlich um große Datenmengen, die im, mit Sinne von Machine Learning oder Deep Learning, wie man es auch nennt, bearbeitet werden. Okay, wir haben also unfassbare Mengen an Daten. Wir haben einen fehlenden Konzent, also niemand der Menschen, die in diesem Datensatz aufgetaucht wurden, wurde vorher gefragt, ob das vielleicht auch okay ist, dass deren Bilder da gespeichert wurden, sondern die Bilder waren einfach in diesem Datensatz, sonst sind es auch heute noch größtenteils. Wir haben ein mechanisches Verständnis menschlicher Wahrnehmung und schließlich haben wir Deep Learning als technische Art und Weise damit umzugehen. Das alles, diese vier Punkte, werden wir immer wieder und wieder finden. Okay, damit quasi der imitschende Teil zu Ende und der nächste Teil zu Arbeit und Algorithmen. Noch mal ich auch hier einen Schritt zurück. Die Frage, worüber geht nicht eigentlich, worüber reden wir in diesem Kontext, wenn wir von Arbeit reden. Wir reden einerseits von unbezahlter Arbeit, das Beispiel dafür ist zum Beispiel Google's Recapture, wo wir, um Beweis zu beweisen, dass wir Menschen sind, beweisen, dass wir einen Schornstein erkennen können. Wir haben als zweites unsichtbare Arbeit. Das bedeutet, wie zum Beispiel die Leute auf Amazon's Mechanical Turk Plattformen, diese 49.000, die tauchen nie als Co-Autor innen oder sowas in den Papieren auf, aber haben ja doch eigentlich einen fundamentalen Anteil der Arbeit geliefert. Schließlich haben wir durch Algorithmen kontrollierte Arbeit, hier zum Beispiel Amazon's Lagerhäuser oder Lieferdienste wie Lieferando oder Deliveroo. Über unbezahlte Arbeit möchte ich jetzt nicht wirklich sprechen, sondern mich auch unsichtbare Arbeit und die Algorithmitifizierte Arbeit konzentrieren. Wir fangen mit unsichtbare Arbeit an. Wie wir gesehen haben bei ImageNet, haben wir diese Erzählung von KI to this oder KI to jenes. Die KI erkennt, dass etwas in den Bildern ist. Oder die KI hat in Go gewonnen. Die KI schreibt mit GPT3 unfassbar schöne Texte oder dumme Texte von Teil zu Teil. Die KI betreibt Proteinfolien. Das Problem ist nur, die KI tut das nicht. Die KI ist für die Forscherin, die das eigentlich tun, ein Werkzeug, das benutzt wird. Und es ist nicht die KI, die plötzlich vom Himmel kommt und sagt, herzlichen Glückwunsch hier, Go kann ich, sondern eher im Gegenteil wie der Economist gezeigt hat, zeigte es Protein zu Tage. Ungefähr 80% der Entwicklungszeit eines Machine Learning Projektes sind menschlicher Arbeit. Nur dahinten beim Model Training kommt der Computer tatsächlich ins Spiel. Aber der allergrößte Teil ist menschlicher Arbeit, die aber sowohl in der öffentlichen Erzählung und in der Wahrnehmung unsichtbar gemacht wird. Und es braucht halt genau diese menschliche Arbeit, damit ein Algorithmus gut funktioniert oder ein Machine Learning System braucht das große Mengen an Daten, die müssen natürlich sauber sein, weil wenn die Daten aus denen der Algorithmus lernt nicht sauber sind, dann ist das was hinten bei rauskommt auch miss. Und deswegen muss das bis heute von Menschen unternommen werden. Wir sind also wieder da, wo wir bei Mechanical Turk schon so ein bisschen waren bei einer Maschine, die so tut, als wäre sie keine Maschine. Eine andere Metapher, vielleicht die, die man benutzen kann, sind Potemkinche Dörfer, wo vorne alles schön fein gemacht wird. Und die Fassaden sehen aus, als hätte man die schönsten Häuser der Welt, aber hinten, wo es niemand sieht, verfällt es einfach. Kate Crawford nennt diese Form der KI in Anlehnung dessen auch Potemkinche KI. Also wenig mehr als Fassaden, die demonstrieren, wie ein Autonomesystem aussehen würde, wenn es Autonom wäre. Wir müssen jetzt hier zu tun mit einem schönen Schein des Automatismus. Diese Arbeit kann aber auch anders aussehen. Das ist ein Foto von den New York Daily News. Und diese Schlange, die wir sehen, sind Obdachlose, meistens schwarze Obdachlose, die von einer Subfirma oder von einer Firma oder die von Google da beauftragt wurden, eine Firma hat Google beauftragt, Daten zu sammeln, und zwar bestimmte Daten, Daten der Gesichter von schwarzen Menschen. Diese Leute haben dafür ein Geschenkgutschein im Wert von fünf Dollar gekriegt, dafür, dass ihr 3D-Modell auf die Server von Google hochgeladen wurde, ziemlich niedriger Preis. Warum macht Google das? Weil Google immer wieder in Kritik kommt, dass ihre eigenen Algorithmen schwarzen Menschen nicht erkennen oder wenn sie schwarzen Menschen erkennen, so wie hier ein Beispiel von Algorithm Watch aus 2020, ein Thermometer in der Hand eines schwarzen Menschen plötzlich für eine Waffe halten, wenn man aber mit mittleren Photoshop Skills die Hand weiß macht, ist es plötzlich keine Waffe mehr. Sowohl bei dem Beispiel als auch Atlanta als auch bei dem Beispiel mit dem Thermometer tat es Google danach tierisch leid. Google tut es immer tierisch leid, wenn Google erwischt wird, wenn es Google scheiße baut. Es ist aber diese Geisterarbeit finden wir nicht nur im Training von Machine Learning Algorithmen. Wir haben es bei der Verifizierung von Bank Account, wenn man seine Daten hoch lädt und dann plötzlich kommt wie von Geisterhand eine Verifizierung oder nicht zurück. Wir haben es bei der Moderation von Inhalten bei Facebook, Twitter oder anderen sozialen Netzwerken. Das alles führt dazu, dass diese Erzählung davon, dass uns die Arbeiter die Arbeit wegnehmen, dass man die Arbeit erzielt. Vielleicht sollten wir uns nicht davor feuchten, dass uns die Technologie ersetzt, sondern eher, dass Menschen entwertet werden, dass Menschen Arbeiten machen müssen, die immer weniger wert wird und immer weniger wert geschätzt wird. Ich würde deswegen sagen, dass wir es hier mit einer Form von Frühkapitalismus im digitalen Gewand zu tun haben. Anderes Beispiel. Am 25. März 1911 brannte in New York die Triangle Shirt Waste Factory 46 Menschen. Teilweise war sie verbrannt, teilweise weil sie aus dem Fenster springen mussten, weil die Fabrikeigentümer beschlossen hatten, dass während der Arbeitszeit die Ausgänge der Fabrik abgeschlossen zu sein haben. Das Gebäude wurde so zur Todesfalle. Am 10.12.2021 traf ein Hurricane ein Amazon Lagerhaus und sechs Menschen starben während Jeff Bezos damit zufrieden war, dass er bald in den Weltraum fliegen kann. Mo Perfect Union, eine Organisation aus den USA veröffentlichte diesen Screenshot, eine der Analogostellten vor Ort. Er schrieb Well I will be home after the storm und seine Freundin schrieb What do you mean und er schrieb zurück Amazon What Letters Leave. Das ist das Letzte, was er seitengeliebten geschrieben hat. Kurz danach traf der Hurricane das Lagerhaus und er starb zusammen mit fünf anderen. Wenn man sich die Anzahl schwerer Verletzungen in der Lagerindustrie in den USA anguckt, hat Reveal herausgefunden, dass die Anzahl bei Amazon ungefähr doppelt so hoch ist, wie im Industriedurchschnitt. Wir haben es hier mit einem Phänomen namens kybernetischer Verdichtung zu tun. Das heißt, dass die Arbeitskraft und die Arbeitszeit immer weiter verdichtet wird, dass immer weniger Zeit bleibt, und dass man das Sortieren von Paketen in Amazon-Lagerhäusern schneller und schneller machen muss. Das führt dazu, dass mittlerweile ein Unterschied von einer Sekunde oder zwei Sekunden in der durchschnittlichen Zeit diese Aufgaben zu machen, der Unterschied sind, ob man gelobt wird oder ob man gewarnt wird, dass man zu schlecht arbeitet. Und das führt natürlich dazu, dass man anfängt, unsicher zu arbeiten, dass man nicht auf sich achten kann, dass man nicht auf sich achten kann. Man kann nicht mehr auf sich achten. Und diese Verdichtung nimmt immer weiter zu dieser Algorithmifizierung. Dabei ist das an sich erst mal kein neues Phänomen. Die Versuche, Arbeitskraft zu automatisieren oder durch Automatisierung zu optimieren, sind so alt wie der Kapitalismus selber. In 1844 hat Friedrich Engels Andrew Ur-Ör zitiert. Der schrieb, in wenigen Monaten schon war eine Maschine fertig, die dem Anscheine nach mit dem Denkvermögen Gefühl und Takt des erfahrenen Arbeiter begabt war. Von dieses Zitat könnte eigentlich auch heute in der verklärten Sicht auf Automatisierung und Roboter kommen, aber kommt aus dem 19. Jahrhundert aus der Zeit des Frühkapitalismus. Was aber auch aus der Zeit des Frühkapitalismus und der Zeit danach kommt, ist, dass die Arbeiter in Bewegung sich zu Sozialstandards erkämpft hat. Feste Arbeitsverhältnisse, ein Recht auf Urlaub, Beschränkung der Arbeitszeiten, recht auch gewerkschaftliche Organisierung und so weiter und so fort. Also alles das, was wir z.B. bei Amazon oder auch in anderen Firmen, ich nehme Amazon jetzt nur als prominentes Beispiel, es ist nicht so, dass Amazon der einzig Schuldige wäre, sehen, was wieder angegriffen wird wo Unionbusting betrieben wird und so weiter und so fort. Das wurde alles schon mal erkämpft und muss jetzt wieder erkämpft werden beziehungsweise muss immer wieder erkämpft werden. So haben wir das Phänomen, dass das, was heutzutage als radikale neue Form der Arbeit daherkommt, im lichtehistorischen Entwicklung oftmals nicht mehr, da fehlt nicht, obweils nicht mehr ist als eine Wiederkehr früherer Arbeitsverhältnisse. Es ist gar nicht so neu, was wir sehen, es hat sich nur in den modernen Formen geändert. Man könnte sagen und ewig grüßt das Kapitalverhältnis dir und deswegen erlaube man mir, die Pathetik Friedrich Engel selber zu zitieren, der schrieb in die Lage der klar arbeitenden Klasse in England, die Arbeiter müssen sich also beschrieben, aus dieser vertierenden Lage herauszukommen und dies können sie nicht tun, ohne das entgegen das Interesse der Bourgeoisie als solcher anzukämpfen. Ein anderer Punkt in dieser Arbeit ist die sogenannte algorithmische Undurchsichtigkeit. Algorithmische Undurchsichtigkeit bedeutet entweder, dass ein Algorithmus so kompliziert geworden ist, dass man ihn technisch nicht mehr verstehen kann, was vorkommt, oder aber, dass man nicht mehr den Einblick in den Algorithmus hat. Dass man also die Frage, welchen Anfluss haben Algorithmen auf meiner arbeitlichen Beantwortung gibt. Das ist im Lagerhaus vielleicht noch relativ offensichtlich. Wenn die Picking Rate immer schneller, schneller wird, dann kann man das auf den Algorithmus hinausführen. Aber wenn ich zum Beispiel bei Deliveroo arbeite, oder bei Livarando oder Fodorra oder wie die ganzen Buden heißen, da ist das nicht unbedingt so offensichtlich, weil die Algorithmen natürlich geheim sind und sich von Firma zu Firma unterscheiden. Deliveroo wurde in Italien verklagt, weil der Algorithmus diskriminiert hat, wenn man zum Beispiel krank gewesen ist, oder sich an Arbeitsorganisierung beteiligt hat, dann hat der Algorithmus einen so bestraft fliege, als wenn man einfach nicht gearbeitet hätte. Das führt natürlich dazu, dass Gerüchte entstehen und dass diese Unklarheit zu Wissensherrachien führt, dass man nicht mehr verstehen kann, was eigentlich passiert. Wir haben es mit einem Phänomen zu tun, wo die Daten, die angesammelt werden, nur noch in eine Richtung fließen. Sie werden von den ArbeiterInnen extrahiert und fließen in den Wissensschatz der Plattform, wo sie angehäuft werden, ausgewertet werden und so weiter. Das führt zu einer Frage, wie soll man denn eigentlich verstehen, was nicht fassbar ist? Also, wenn ich weiß, was der Prozess ist, wie soll ich den dann verstehen? Und wie sollen wir überhaupt fassen, was sich verändert? Natürlich werden diese Algorithmen weiterentwickelt und weiterentwickelt. Wenn ein Manager von der Lieferkette sagt, unsere Algorithmen sind unfassbar dumm, was tatsächlich passiert ist, sie können gar nicht so diskriminierend sein, wie ihr euch das vorstellt. Dann ist das ja keine Garantie. Erstens, dass er nicht lügt, was man der Manager vielleicht zutrauen sollte. Oder der Algorithmus, das vielleicht in zwei Monaten vielleicht nicht mehr so dumm ist. Und diese Hierarchien können nur aufgelöst werden, wenn die Algorithmen öffentlich gelegt werden, wenn es eine Möglichkeit gibt, zu verstehen, was eigentlich gerade passiert. Wir haben es hier also mit einer Verdichtung der Arbeit zu tun, die auch eine Verdichtung der Zeit ist. Unternehmen versuchen alle Sekunden, die hinter den Fabriktoren stecken, oder im Fall von GigWork, vielleicht auch in den Straßen, in Arbeitszeit und in kontrollierte Zeit zu verändern. Vielleicht hilft dagegen Faulenzen, um die Überwachung zu verändern, vielleicht aber auch nicht. Die Verlangensammlung der Arbeit ist ein Mittel des Arbeitskampfes, der sogenannte Bummelstreik ist, gut erprobt. Vielleicht kann man den noch gegen Algorithmen einsetzen. Es wäre eine These, die es auszuprobieren geht. Und dieses Bewusstsein von der Zeit ist nicht unbedingt neu. Walter Benjamin schreibt in seinen geschichtsphilosophischen Thesen über die Uni-Revolution in 1830, dass in ganz Paris, also die Uni-Revolution 1830 in Paris, das in ganz Paris unabhängig voneinander auf die Turmueren geschossen wurde, weil die protestierenden Verstanden haben, dass diese Turmueren als Symbol der Zeit und als Symbol des Drucks durch die Zeit stehen. Dieser Widerstand oder jeder Widerstand an sich braucht Organisation. Wir können nicht einfach, es gibt keine Möglichkeit, als Einzelperson etwas gegenzumachen, sondern man muss sich mit seinen Arbeitern, Kollegen zusammen organisieren. Und natürlich tun die Firmen alles, das zu verhindern. Aber sie müssen dabei nicht erfolgreich sein. Das zeigt alleine schon die Geschichte. Das wäre der Teil zur Arbeit. Gucken wir jetzt uns mal an, was der Staat mit der ganzen Geschichte zu tun hat. Ich rede hier ein bisschen über Daten und öffentliche Daten, dann über ökonomische Abhängigkeiten in der Forschung, über Polizei und Militär, ein kleines bisschen über Privatsphäre und dann zum Schluss. Das ist ein gut schönes Paket. Also öffentliche Daten und privates Geld. Ich würde sagen, dass wir es hier mit einer neuen Form der ursprünglichen Akkumulation zu tun haben. Also private Unternehmen versuchen möglichst viel wertbare Stoffe in ihrer eigenen Privatbesitz zu gelangen, um daraus Profit zu schlagen. Der Rohstoff in diesem Fall sind unsere Geschichten, unser Leben. Die Märkte sind, wie wir sehen werden, Kontrolle oder wie wir auch im Arbeitskapitel schon gesehen haben. Und Hokus Pokus, wo gesagt wird, künstliche Intelligenz wäre in der Lage, dies und dies zu tun, auch wenn es das auf keinen Fall ist, aber wir brauchen auch neue Daten. Ich würde deswegen sagen, dass die Innovationen, die uns da verkauft werden, keine ist, sondern einfach alt und gammlich und stinkt. Was wir aber trotzdem immer mehr sehen, ist eine Konzentration unserer Daten in den rechten Zentrum einiger weniger private Unternehmen. Und je mehr konzentriert wird, umso mehr sind wir als Gesellschaft darauf angewiesen, dass diese privaten Unternehmen gut zu uns sind. Als Beispiel, zum Beispiel, der Übersetzungsassistent von Google, Google Translate, der zwar für alle frei nutzbar ist. Aber auch für alle nicht dafür. Trotzdem sammelt Google alle unsere Daten. Und je mehr wir diese Nutzung in öffentliche Prozesse zum Beispiel einbauen oder auch in unser Leben einbauen, umso mehr werden wir von Google abhängig. Und umso mehr werden wir davon abhängig, dass Google nicht vielleicht irgendwann sagt, ja gut, kein Bock mehr auf uns, sonst wird ab jetzt bezahlt. Diese Abhängigkeit führt zu einer Frage, die wir in der Bankenkrise vielleicht schon gesehen haben, als Finanzinstitute als to big to fail bezeichnet wurden. Und immense Summengeld dafür ausgegeben werden, wo wir dann musste, diese Institute zu retten. Die Tech-Unternehmen befinden sich immer mehr auf den Weg, so integrale Bestandteile unserer Gesellschaften zu werden, dass auch sie diesen to big to fail Moment vermutlich erreichen, wenn sie schon erreicht haben. Aber es ist nicht nur die Öffentlichkeit, die davon abhängig ist, es ist auch zunehmend die Forschung, die überkünstliche Intelligenz oder über Tech generell, die mehr und mehr davon abhängig ist, dass sie sich mit den Unternehmen gutstellt. Es sind ein paar wenige Unternehmen, die nicht nur die Entwicklungs- entgebung stellen, die Sprachen und aber auch die Software. Das heißt, sie schaffen quasi das Wasser, wie Meredith Whitaker sagte, in dem die Forschung zu künstlicher Intelligenz schwimmt. Ein Beispiel hierfür ist vermutlich das prominenteste des Monates, Timnit Gebrou. Timnit Gebrou ist eine der führenden Forscherin im Bereich der ethischen KI und war lange Zeit Co-Lead vom Ethical-I-Team bei Google. Im Dezember letzten Jahres wurde sie plötzlich gefeuert, angeblich, weil sie eine Mail an eine Mailing-Liste geschickt hat, die eine Manager nicht würdig war. Die wahrscheinlichere These ist, dreht sich um ein Paper, in dem es um sogenannte stochastische Papageien ging, um Stochastic Parrots. Und um die Gefahren, die large Language-Models, sehr, sehr große Sprachmodelle, wie zum Beispiel das bereits erwähnte GPT-3, führen, birgen. Gebrou und ihre Co-Autorinnen haben in dem Paper argumentiert, dass diese Language-Models eine große Vielfalt an Kosten, aber auch Gefahren bilden. Zum Beispiel Kosten wären Umweltkosten. Es braucht sehr viel Rechnenkapazitäten, mit diesen Models zu arbeiten. Harms wären zum Beispiel Racial-Harms, dass diese Sprachmodelle schaffend künstlich sehr eloquent über Rassismus zu gehen. GPT-3 hat kurz nach seinem Release schon angefangen, antisemitischen und rassistischen Müll zu erzielen, wenn das überhaupt gar nichts mit der Fragestellung zu tun hat. Und wieder tat das Google-Light. Es tat Google sogar so leid, dass sie im Februar 2021 Margaret Mitchell gefeuert haben, Lead eines anderen Ethical AI-Teams bei AlphabetGoogle's Mutterfirma. Und Google sendet damit eine ganz eindeutige Nachricht. Wenn wir die führenden Köpfe in dem Bereich Ethical AI einfach feuern können und es zwar leidt, aber wir es trotzdem machen, dann seid ihr besser ganz ruhig und benehmt euch oder ihr seid einfach raus. Diese Form der Abhängigkeit ist ein bisschen simultan zu dem, was wir im Kalten Krieg gesehen haben, als das US-Militär immer mehr Geld in die Forschung gesteckt hat. Technologie und Militär, oder wie ich sagen würde, ziemlich beste Freundinnen. Wir können bis zum Anfang das Internet, als es noch ARPA-Net zurückdenkt, hieß zurückdenken und sehen, dass das ARPA-Net eine Erfindung des Militärs war. Das war eine Ausgründung des ARPA, Advanced Research Proposal A und die Department of Defense. Und von da an gingen die Investitionen in Forschung und in Technologie immer weiter und weiter und weiter. Die Chefs mit dem Militär heutzutage sind Teil des Kerncheftes von Google, Facebook, Amazon und so weiter und so fort. In Amerika ist eines der größten Projekte, Project Maven. Als offizielles erstes Logo hatten sie diese Robotoff Ecstasy, die dem eigentlichen Inhalt des ganzen, nämlich Algorithmic Warfare Cross Functional Team, nun wirklich nicht gerecht werden. Das war ein Projekt von beinahe allen US-amerikanischen Verteidigungsinstitutionen, künstlich intelligente Spionage, Garant Gebe zu machen und nichts mehr auf der Welt zu verpassen. In diesem Projekt wurden auch technologische Errungenschaften von zum Beispiel YouTube verwendet, wo eigentlich im Zivilen entwickelte, entwickelt Techniken, die Militär nutzbar gemacht wurden. Ein Beispiel wäre YouTube's Empfehlungsalgorithmus, der auch sogenannte Cluster Analyse ist beruht. Und diese Cluster Analyse kann man einerseits benutzen, um dir Videos anzuzeigen, die dich wahrscheinlich interessieren. Man kann sie aber auch benutzen, um vermutete StraftäterInnen, zum Beispiel im Irak oder so, zu entdecken. Für Google ging das nicht so gut aus. Bis zu 3000 MitarbeiterInnen haben sich protestiert und Google hat sich aus Project Maven zurückgezogen und hat gesagt, wir machen keine autonomen Waffen mehr. Es tat Google natürlich Leid. Google hat aber auch gleichzeitig gesagt, das Geschäft mit den Militärs sind so wichtig. Wir machen keine Waffen, aber alles andere machen wir schon. Ein jüngeres Beispiel aus Europa ist die 100-Million-Dollar-Investition von Daniel Eck, dem CEO von Spotify, der mit seinem Hedge Fund bei Helsing eingestiegen ist, einer deutschen Firma, die sagt, mit ethischen autonomen Waffensystemen, die freiheitlich demokratische Grundordnung verteidigen zu wollen. Wo Amerika-Robotov-Access hier hat, hat Deutschland das Kommando Cyber- und Informationsraum, das ist ein Symbolbild aus der Weihnachtszeit, dass sich darum kümmert, die Truppe zu digitalisieren und voranzubringen. Momentan ist man in der Phase Cirque 2.0, was nur 20 Jahre nach dem Web 2.0 für deutsche Verhältnisse ein ziemlich ordentliches Tempo ist. Aber die Sache ist ernster als blöde Witze. Mit der neuen Koalition steht die Anschaffung bewaffneter Drohnen im Koalitionsvertrag. Man sagt zwar, man will sie nur bewaffnen, man will sie nicht autonom machen, aber diese Autonomisierung ist im Werteffekt nur noch ein Software-Update entfernt. Und dann sollen sie natürlich nur ethisch töten, weil, na klar, wir sind hier in Deutschland. Und das Problem ist aber alleine schon der Einsatz von normalen Drohnen mit Waffensystem führt dazu, dass die Schwelle zum Einsatz militärischer Gewalt gesinkt und Krieg entgrenzt wird. Inwieweit entgrenzt wird und wie wenig wie schlimm das für Zivilbevölkerung ausgehen kann, hat die New York Times jüngst in einer sehr ausführlichen Reportage belegt, indem sie Pentagonpapiere analysiert haben und so zum Beispiel zivile Opferl, der Luftangriffe der USA veröffentlicht haben. Aber auch hier haben wir es wieder mit Problemen von Algorithmen statt Dummheit zu tun. Das Pentagon hat jüngst über ein Algorithmus berichtet, der zu 25 Prozent die richtigen Ziele ausgewählt hat. Von sich selber aber dachte, es wäre 90 Prozent. Der also ziemlich schlecht war, aber gleichzeitig gedacht hat, es wäre richtig gut. Und das ist natürlich ein Problem. Es ist auch ein Problem, weil die Algorithmen mit der Zeit besser werden. Und wir dann, die vielleicht erste offensichtliche Linse, ja, okay, die Algorithmen sind zu schlecht. Und das ist das Problem. Nee, das Problem ist eigentlich staatliches Töten. Und wir müssen uns bewusst sein, dass wir dahin müssen das zu formulieren. Wie Array Etchinson es sagte, Herrschaft durch Gewalt ist sowohl in autonome Waffentechnologie als auch in den Rahmen des Denkens und der Politik eingemeistelt, welcher zu ihrer Entwicklung und ihrem potenziellen Einsatz führt. Es geht darum, diese Herrschaft durch Gewalt zu kritisieren und nicht nur das Mittel mit dem sie durchgesetzt wird. Was im Krieg nach außen durch autonome Waffensysteme funktioniert, funktioniert im Inneren zum Beispiel durch Überwachungskameras, die biometrische Daten sammeln. Die deutsche Polizei macht da fleißig mit. Es gibt eine gute Chance, dass wenn du Anfang Juli 2017 in Hamburg warst, dein Gesicht für lange Zeit in einer Datenbank der Polizei in Hamburg gespeichert war. Anfang Juli 2017 waren die G20-Prozesse. Und den nächsten Teil wollte ich eigentlich überspringen. Und im Rahmen dieser Strafprozesse, im Rahmen dieser Proteste kam es natürlich zu Angriffen von auf Polizeikräfte. Es kam aber auch zu Angriffe auf Demonstrierende durch die Polizei. Hier zum Beispiel keine Polizeigewalt durch die Polizei Hessen. Herr Steck, Polizeiproblem. Diese Software, die benutzt wurde, ist wie DEMO 360. Und man hat darin mehrere Terabyte Daten hochgeladen, Videoaufnahmen, Fotoaufnahmen, um potenzielle Gewalttäterinnen zu identifizieren. Der Einsatz wurde danach vom Verwaltungsgericht Hamburg berechtmäßig erklärt und eine Beschwerde des Datenschutzbeauftragten Hamburgs zurückgesetzt. Im neuen Polizeigesetz wurden die Befugnisse des Datenschutzbeauftragten weiter zusammengeschnitten, sodass er einfach kein Beschwerderecht mehr hatte, sondern eigentlich nur noch zu einer Dovenmarinette wurde. Die Polizei hat diese Datenbank mit den Daten 2020 gelöscht, aber nicht weil es ein Fehler war, sondern weil es keine strafliche Erforderlichkeit mehr gab. Das Gerichtsurteil ist bestehend geblieben und der Präzidentsfall wurde gesetzt. Die Polizei hat schon gesagt, dass sie Interesse hat, mit solchen großen Datenbanken weiterzuarbeiten bei neuen Protesten. Deutschlandwald wird im Rahmen des Programms Polizei 2020 an bundeseinheitlichen Plattformen gearbeitet. Die versuchen, das momentane Chaos des federalisierten Überwachens zu vereinheitlichen und die Daten besser zugänglich zu machen. Die Geschichte zeigt aber immer wieder das Gesichtserkennung. Kein Tool ist, was einfach funktioniert. Zum Beispiel in der Gender Shades Studie von 2018 wurde gezeigt, dass eigentlich alle Gesichtserkennungsalgorithmen große Unternehmen, schwarze Frauen wesentlich schlechter erkennen als weiße Personen oder auch männliche Personen. Diese Beis findet sich auch so ins Recognition-Tool wieder, dass auf Mitglieder des US-Romanianischen Kongresses losgelassen wurde und einige von denen zur Straftäterin machte. Natürlich, was heißt natürlich, aber kaum zu überraschender Weise, vor allen Dingen People of Color. Aber auch hier gibt es wieder ein grundlegendes Problem, nämlich dass das Gesichtserkennung im öffentlichen Raum eigentlich überhaupt nichts zu tun hat, zu suchen hat und das Gesichtserkennung auch in den Tools der Polizei nichts zu suchen hat. Die Polizei ist ein schwer überwachbares Organ und es ist eigentlich unmöglich, demokratische Kontrolle auszuüben und dafür zu sorgen, dass die Polizei kein Unsinn damit macht. Wenn man sich Prozesse wie NSU 2.0 oder rechtsextreme Chatgruppen anguckt, sollte man vielleicht eher davon ausgehen, dass das passieren wird. Wir sind hier in der Situation, wo die deutsche Polizei machen will, was sie jetzt Facebook nicht mehr machen möchte, nämlich flächendechende Gesichtserkennung und wenn man hinter Facebook hinterherhängt im Jahr 2021, dann sollte man sich vielleicht Gedanken machen. Falls ihr an dem Widerstand dagegen interessiert seien, es gibt eine Kampagne namens Reclaim Your Face, die sich gegen Gesichtserkennung und die Sammlung von biometrischen Daten in Europa einsetzt. Dafür gibt es in diesem Raumschiff morgen auch einen Vortrag, wo der momentanen Stand vorgestellt wird. Der letzte Teil des Policings, den ich kurz ansprechen möchte und auch Teil des neuen Polizeigesetzes in Hamburg, ist Predictive Policing. Predictive Policing oder kurz voraus in die Vergangenheit. Es wird gesagt, ein Algorithmus stellt fest, wo morgen oder vielleicht später des Tages Kriminalität stattfinden wird. Natürlich wird gesagt, das ist neutral, was soll schon passieren. Wie der Markup aber jüngst festgestellt hat, führt es eigentlich nur dazu, dass die Orte, in denen momentanen Polizeieinsätze stattfinden, auch morgen wieder Ziele von Polizeieinsätzen werden. Niemand kann beantworten, warum oder wie das in Deutschland nicht passieren sollte. Ganz im Gegenteil, eigentlich sogar ein Panel der UN warnt davor, dass der unregulierte Einsatz von künstlicher Intelligenz in Regierungen rassistische Vorurteile verstärken kann. Wir haben uns hier also zu tun mit einer Infrastruktur des ständigen staatlichen Zugriffs auf unsere Daten, auf unsere Gesichter, auf unser Leben. Und es geht nicht mehr nur um die Polizei oder nur um das Militär, sondern es geht um eine ganzheitliche Verbindung von Geheimdienst und Polizei und Militär, die alle das Gleiche wollen und deren Daten zunehmend interoperabel werden. Die Firmen wie Pallant hier z.B. verbildlichten diese Menge Tage. Die arbeiten zusammen mit der MNSA, aber auch mit der ICE, also mit der Abschiede Behörde in den USA, aber auch mit der hessischen Polizei oder mit Europol. Also auch geherkömmliche nationale Grenzen verschwimmen dazu einen gewissen Teil. Außen und innen Polizei und Militär Geheimdienst verschmelzen und entsteht eigentlich eine große umfassende, oder der Versuch einer großen umfassenden Überwachungsinfrastruktur. Auch eine Firma, die Pallant hier Angst hat, nämlich vor allem bewusst sein über Privatsphäre und auch beim Bewusstsein dafür, dass die Algorithmen dieser Firmen Scheiße bauen. Das heißt, wenn wir daran arbeiten, das nicht zur Normalität werden zu lassen, dann haben wir eine reelle Chance, das auch zu verhindern. Noch kurz ein paar Anmerkungen zu Daten und Privatsphäre. Es geht hier vor allem um die Zusammenarbeit von Privatsphäre und nicht zum Beispiel um die datensame Wut von Facebook. Dafür gab es jetzt hier gerade vorher zum Beispiel den Vortrag über die Facebook Papers und noch ein, zwei andere Punkte im Fahrplan. Wir haben bis jetzt über staatliche Überwachung gesprochen und wie sie immer allgemeiner wird. Das führt dazu, dass einerseits alle betroffen werden sind, aber dass andererseits Leute, die dem Staat mehr und mehr ausgeliefert sind oder wehrloser gegenüber sind, dass die Intensität der Eingriffe diesen gegenüber zunimmt. Als Beispiel werden zum Beispiel Hartz-IV-Bezieher in die quasi ein Offenbarungseid gegenüber den Staat abliefern müssen. Geflüchtete bei einer Einreise oder auch migrantischen Communities, die traditionell eh immer wieder das gesteigerte Ziel von polizeilicher Arbeit sind. Wir haben hier also die Situation, das Überwachung und die Aufhebung der Privatsphäre. Ein Problem der betroffenen Individuen ist erst mal auf den ersten Blick, aber das sollte uns nicht dazu verleiten zu denken, dass es ein individuelles Problem ist, sondern es ist ein gesellschaftliches Problem. Wir kommen nicht gegen diese Dynamik an mit dem ich habe nichts zu verbergen narrativ, weil wir wissen nicht, was morgen trifft. Das heißt, wir müssen diese Datifizierung nicht auf einem individuellen Level diskutieren, sondern auf einem kollektiven. Auch welche Arten und Weisen wollen wir, dass eine Gesellschaft datifiziert ist. Was kann uns als Gesellschaft ein Nutzen bringen und was nicht? Und endlich muss es für alle möglichst sein, ohne Angst vor dem digitalen Panoptikum durch die Straßen zu laufen. Privatsphäre und Daten sind aber nicht nur ein Problem, das sei noch kurz angemerkt. Ich habe ja am Anfang bei ImageNet erwähnt, dass niemand gefragt wurde, ob man in diesem Datensatz sein möchte oder nicht. Die Forscherin Zesha Lujoni hat jüngst auf Twitter gefragt, was denn ein gutes Example von einem KI-Datensatz wäre, wo wirklich nach Einverständnis gefragt wurde. Dass das Event exist, es stellt sich heraus in allen Responses zu diesem Tweet. Es gibt genau eins. Facebooks casual conversations dataset scheint der einzige größere Datensatz zu sein, in dem die Beteiligten tatsächlich zugestimmt haben, dass ihre Daten für Image Tracker des Machine Learnings verwendet werden. Okay. Was tun jetzt? Oder auch I want your tech for good. Wir haben gesehen, dass wir einen gespenstischen Wind haben, einen gespenstischen digitalen Gewinn, der durch unser Haus durch unsere Gesellschaft bläht. Wir haben gesehen, wie KI das menschliche Zusammenleben kodifiziert und als mittelstaatliche Überwachung und kapitalistischer Kontrolle dienen kann. Das heißt aber auch, dass unsere Rassismen, unsere Sexismen usw. in diese KI eingeschrieben wird. Und dass gleichzeitig die Technologie sich immer schneller und schneller entwickelt. Wir als Gesellschaft gar kein ethisches Verständnis mehr davon schaffen, dass hinterherkommt in dem Tempo der KI. Und das auch dazu führt. Es geht mir jetzt nicht darum, KI an sich zu verurteilen, sondern es gibt dafür schöne Beispiele. Man kann KI benutzen, um es gegen die Überwacher zu drehen und zum Beispiel für Gesichtserkenneprogramme auf die Polizei anzuwenden und so Polizisten zu identifizieren, die gegen Protestierende eingesetzt werden. Man kann KI so rumliegen haben und deutsche Behördenmaschinen lesbar machen und so besser verstehbar machen. Aber bei allem dürfen wir nicht vergessen, dass solange wir die Herrschaft der Menschen über die Menschen nicht in den Fokus der Kritik richten, sondern uns immer wieder nur in den Symptomen abarbeiten, dass wir immer wieder an den gleichen Punkt kommen werden, vielleicht mit einer anderen Technologie, aber an den gleichen Punkt. Wie Terminid Gebro es sagte, others constantly, also es geht darum, dass die einen wenigen Systeme der Über- und Unterdrückung schaffen und die anderen sind, die others constantly work to prevent harm, unable to find the time, space or resources to implement their own vision of the future. Und ich glaube tatsächlich, das ist das, wo es im Endeffekt rumgehen würde, dass wir es schaffen, die Zeit und den Willen auch zu finden, unsere eigene Vision von der Zukunft zu implementieren. Denn schlussendlich erst, wenn wir als Menschen gut zueinander sind, können die Maschinen lernen auch gut zu uns sein. Noch mal die Slides, Resources und alle meine Quellen sind auf r.ovl.design.com oder über diesen QR-Code oder wie gesagt, bei Twitter. Damit komme ich zum Ende und möchte mich ganz herzlich bedanken, bei euch, die ihr zugeguckt haben, bei der Seabase für die Einladung hier sprechen zu dürfen und natürlich bei allen Forscher und Aktivistinnen, Journalistinnen und so weiter, auf deren Arbeit ich mich implizit oder explizit bezogen habe. Das ist ja großartig. Oskar, vielen Dank. 45 Minuten, fast ohne Pause. Da gab es ja wirklich ein ordentliches Update. Wir haben neue Wörter gelernt. Kübernetische Verdichtung. Kübernetische Verdichtung. Digitaler Frühkapitalismus. Demnach müssten wir Hacker jetzt helfen, dass die modernen digitalen Arbeiter wieder sich selbst ermächtigen und es wieder zu einer Aufklärung kommt wahrscheinlich. Algorithmische Undurchsichtigkeit. Die Algorithmen werden irgendwie durchsichtiger. Das Peinliche ist ja auch, dass man dann sehen könnte, wie nackt der Kaiser möglicherweise ist. Wir müssten den Wissenschafts der Arbeiter, die davon überwacht und gesteuert werden, irgendwie zu Meeren suchen. Interessant fand ich auch künstliche Ideologie. Dass es also so ein bisschen, so ein Spinn gibt, dahingehend zu sagen, künstlich ist es intelligent, auch wenn es vielleicht gar nicht so intelligent ist, dass man dann einen Wert an sich. Stochastische Papageien fand ich auch interessant. Dass also so große Mengen an Daten, wenn man sich statistisch auswertet, natürlich auch statistische Artifakte produzieren. Wer hätte das nur denken können? Aufgabe der Hacker, hier also auch selbst Ermächtigung, Aufklärung und Nachgucken. Wie funktioniert das eigentlich, was wir immer schon gemacht haben? Und jetzt die einzige Hörerfrage, die in der kurzen Zeit jetzt gekommen ist, oder vielleicht auch Zuschauerfrage, die dann den Krüger Effekt gibt. Das ist eine sehr interessante Frage, die ich vielleicht nächstes Jahr in einem Vortrag beantworten werde. Es ist eine sehr interessante Frage, ich muss darüber nachdenken. Ich kann es mir vorstellen. Aber ich möchte, ich kann es jetzt sagen, Karkutten nicht so korrent beantworten, wie die Frage vielleicht beantwortet werden müsste. Wie ist die KI-Landschaft vielleicht auch etwas diverser als die Menschenlandschaft da draußen? Bis jetzt hat sich gezeigt, dass die KI-Landschaft vor allem ein ziemlich genaues Abbild der Menschenlandschaft ist. Aber die Menschenlandschaft ist natürlich auch sehr divers. Und das ist auch ja auch ein Vorteil, den wir haben können, weil ich jetzt darüber viel darüber gesprochen habe, wie künstliche Intelligenz und Herrschaft interagieren. Heißt es ja nicht, dass das für immer so bleiben muss, sondern künstliche Intelligenz und künstliche Intelligenz die Geschichte wiederholt sich wie immer, einerseits, ja, am Ende, aber doch nicht. Und es wird nicht so laufen, mal wieder nicht so, wie Marx es vorausgesagt hat. Das ist gar nicht mit wissenschaftlicher Genauigkeit. Ich glaube, wenn man genauer hinguckt, der Geschichtsdeterminismus und die Voraussage, dass sich die Geschichte auf eine bestimmte Art entwickeln wird, das ist wahrscheinlich eine der größten Schwachpunkte bei Marx und Engels. Und natürlich ist die... die Vergangenheit der Vergangenheit und deswegen ja noch gar nicht damit beschäftigt sein kann, wie die Zukunft ist. Alles, was die KI über die Zukunft sagt, so wie es gestern war und das bringt uns nichts. Das bringt das hier an Bord gar nicht. Wir rekonstruieren ja die Zukunft. Das müsste die KI erst mal lernen. Wir können die Zukunft auch gestalten, weil wir müssen nicht die Fehler der Vergangenheit immer wieder und wieder reproduzieren, sondern wir können tatsächlich sagen, das war ein Fehler, wir wollen es jetzt anders machen. Das ist ein Fehler, den man nochmal angucken kann. Herzlichen Dank. Grüße von der C-Base. Es geht hier um 21 Uhr weiter. Bis dann.