 Da wollte ich euch alle fragen, wer von euch benutzt Facebook, Twitter, diaspora, ich, all die Daten, die ihr da eingebt, geht zu einem Server, geht zu irgendwem, der das benutzt und der nächste Talk wird sich genau damit befassen, weil es auch intelligente Maschinen und Algorithmen gibt, die versuchen daraus, irgendwas zu machen. Also macht der Postdoc Borscha aus Chicago, die zwischen Policy und Technologie arbeitet, wird jetzt fragen, wem geben wir diese Macht? Vielen Dank. Also heute mache ich eine kleine Tour der intelligenten Systeme und wie sie gerade so bedusst werden und ich gucke mir ein paar Beispiele an, zusammen mit den Eigenschaften, die wir uns interessieren und zwischen Arbeit und Akademie, die damit gemacht wird. Also fangen wir damit an, Kranzbergs erste und gesetzliche Technologie, es ist nicht gut oder schlecht, es ist aber auch nicht neutral, es beeinflusst zur Welt, es ist irgendwie eine Macht oder eine Kontrollmacht, die auf uns einwirkt und da wollen wir uns ein bisschen reingrehen, gehen mit den Intelligent Systems, die mehr kontrollierend sind. Wie wir alle wissen, die immer kleiner werden in Kosten von Speicherungen und Berechnungen und so weiter und den ganzen Devices, die wir alle benutzen, sind in Bereichen unseres Lebens, in unseren Häusern, in unseren Autos, auf unseren Armen und das ist halt sehr viel Menschenkommunikation, der drüber läuft, ganz viel Daten darüber, die sitzen in Konzernen oder Bewegungsdatenbasen, da müssen wir gucken, was da passiert. Also wie man da rangehen kann, ist man die ein paar Menschen einstellen und die so Menschen könnten das alles menschlich auslesen, wir brauchen noch viel Expertenwissen und dann können sie ein paar Entscheidungen machen, deswegen ist Empfehlung, wir haben ein kleiner Problem mit, erstmal ist das langsam teuer, denn es ist auch so ein bisschen biased, also Leute haben halt bewusst vor unbewusste Vorurteile und das beeinflusst dann halt, wie genau das alles ist, es könnte auch nicht transparent sein, ich könnte teilweise nicht wissen, was für Entscheidungen jemand da gefällt hat und vielleicht könnte ich es auch nicht verstehen oder jemand anders versteht nicht, weshalb er das selber macht, weil es sehr emotional ist und man kann das schlecht feststellen und vielleicht kann ich stattdessen einfach studieren und die besten Regeln für diese Entscheidungen unterscheiden oder eine Maschine bauen, die die besten Regeln da hinaus herausfindet, also vielleicht ist das ein bisschen besser, es ist relativ schnell, es ist auch deshalb auch günstig, vielleicht können wir es auch so bauen, dass es nicht sofort Teilart wie Menschen es vielleicht haben und weil ich das aufgeschrieben habe, vielleicht haben wir wieder sie gebaut hat und das kann ich das halt irgendwie katransparenz aufschreiben und das kann man dann beurteilen und so wird auch immer mehr Decision Making gemacht als die Entscheidung getroffen, wir haben Daten, wir urteilen daraus und dann machen wir eine Aktion basierend darauf und das machen wir ein bisschen wissenschaftlich und optimisieren das ein bisschen und dann können wir da auch Experimente mitmachen, wir können also rausfinden welche Aktionen das die besten Outcomes machen mit verschiedenen Leuten, wir können zum Beispiel insentive also die Donung rausgeben um bestimmte Sachen hervorzubringen und wir können mit der Umgebung ein bisschen experimentieren, vielleicht auch sehr kleine Veränderungen machen und so das Verhalten von Menschen ein bisschen verhindern und so kann ich halt dann die Wahrscheinlichkeit erhöhen, dass Menschen tun, was ich möchte, also dieses algorithmische Entscheidungstreffen, dass in der Industrie benutzt wird und auch vielen anderen Sachen, zum Beispiel in der Astromedizin immer neuen Bereichen erschließen wird, zum Beispiel auch der Regierung. Wir haben zum Beispiel Empfehlungs-Engines, zum Beispiel bei Netflix, die uns sagen, wo was wir uns angucken sollten und wo was uns anhören könnten. 2009 hat Google personalisierte Suchergebnisse, auch wenn du nicht eingeloggt bist und wir haben auch Facebook, die auch Filterungen und Kuratorien benutzt, was euch zeigt, was für Nachrichten ihr euch angucken solltet. Das ist wichtig, weil viele Leute Nachrichten über diese Medien bekommen. Wir haben sogar algorithmische Journalisten, also automatische Systeme, die Artikel generieren über Sport oder Verkehr. Was man auch machen kann, das ist ein bisschen mehr recent, nicht so lange her, wo man halt bei politischen Kampagnen gucken kann, was für Sachen dabei rauskommen könnten, wenn die wählen und wählen und Sachen auf individueller Basis können überzeugt werden, was anderes zu tun. Und wir benutzen überall Regions, die halt Sachen vorher sagen, von Verkehr bis Polizei, und hat ein paar Vorteile, zum Beispiel können wir Sachen automatisieren, das ist gut, weil wir es vielleicht langweilig finden oder nicht schnell und schlau genug sind dafür. Wir können sehr viel Daten verwenden, in die uns interessiert, wir können Geld effektiver verteilen, wir können damit Outcomes rausbringen, die uns besonders gut gefallen. Das machen wir immer mehr. Aber ein Ding, das entscheidet für uns, zum Beispiel in unserem Haus, das sagt, also könnte es einige Implikationen geben, die wir haben möchten bei diesen Systemen und wir wollen diese Systeme an diesen Daten arbeiten lassen, um die entsprechenden Ergebnisse zu haben, aber es könnte dazu sein, dass da Ergebnisse rauskommen, die wir gar nicht so haben, weil das ist eine ganz neue Gegend und eine ganz neue Ära und die Leute fangen erst an, oben daran zu kratzen an dieser Systeme und dieser Ansatz bringt Leute, schiebt Leute in bestimmte Richtungen mit den Nachrichten, die es verrissten. Und die Werte, die uns wichtig sind, werden nicht automatisch in diese Systeme mit eingebacken. Es ist auch, dass manche dieser Systeme Arbeit, die wir nicht mögen, automatisiert, zum Beispiel Massenüberwartung. Und selbst die selben Systeme haben verschiedene Konsequenzen, je nachdem, doch wen sie benutzt werden. Zum Beispiel, wenn ich vorher sagen kann an Suchanfragen, wer in ein Krankenhaus eingeliefert werden wird, dann sind vielleicht manche Leute daran interessiert, zum Beispiel ein Arzt könnte das wissen, aber gibt diese Daten einer Versicherungsfirma und da haben wir eine ganz andere Implikation. Also der Punkt ist, dass die Strukturen beeinflussen, wie Menschen miteinander interagieren und auch mit der Gesellschaft interagieren und auch mit den Regierungen und sie beschränken auch, was Menschen tun können und deswegen sollten wir uns darüber Sorgen machen und deswegen, jetzt suche ich mir einen extremen Fall an und das ist dieses chinesische soziale Kreditssystem, ein sehr, sehr herausforderndes Benutzen von Daten und zwar wertet, dass jeden Bürger von China anhand seines oder ihres Verhaltens an. Das heißt, es gibt diverse Parameter, die von verschiedenen Firmen in China veröffentlicht werden und diese momentan freiwillig, aber ab 2020 wird dieses Systems oder einen Nachfolger dieses Systemen wird Pflicht für alle Bürger sein. Und dieses System hat Bürger und das sind riesige Datenquellen damit verbunden. Einige davon sind Finanzdaten, kriminelle Vergangenheit, wie viele Punkte ihr in Flensburg habt, medizinische Informationen, zum Beispiel Birth Control Pillen, was du gekauft hast zum Beispiel, wenn du Spiele kaufst zum Beispiel, dann wirst du im System nach unten geschoben. Manche dieser Systeme aber nicht alle haben auch beeinflussen oder werden auch soziale Medien aus, zum Beispiel politische Botschaften, die du in sozialen Medien postest. Und einer der interessantesten Parteien ist auch die Analyse des sozialen Netzwerks, also die Verbindung zwischen Menschen. Also wenn du eine enge Verbindung zu einem anderen Menschen hast und dieser andere Mensch hat einen niedrigen Kreditsscore, dann wählt sich das auch auf dich aus. Die Art, wie diese Bewertungen generiert werden, ist geheim. Und laut der Beschreibung dieser Systeme doch die Regierung ist das Ziel, die Ehrhaftigkeit und Ernsthaftigkeit der Kultur in einem System weiter fortzutragen. Aber es wird noch besser. Es gibt ein Portal, dass Bürgerinnen erlaubt, die Werte anderer Bürger nachzusehen. Und viele, die Bürger finden das toll. Sie glauben, dass das ein lustiges Spiel und posten das oft in den sozialen Medien. Und sie tun ihren Wert auch in ihre Datingprofile. Und wenn du nämlich einen hohen Quert hast, dann kommst du in Wien in einem exklusiven Club. Du wirst in Hotels besser behandelt usw. Aber der Nachteil ist, wenn du nicht in diesem Club bist und niedrigen Wert hast, dann hast du Nachteile. Zum Beispiel du kannst keinen Kredit beantragen, du bekommst kein gutes Haus, kein guten Job. Manche sagen sogar, wer das Visa-Visen beeinträchtigt oder eingeschränkt sind. Ein System wie das hier für einen Staat ist tatsächlich die optimale Lösung für das Problem der Öffentlichkeit. Das ist ein ganz einfacher, subtiler, bösartiger Einfluss auf die Gesellschaft. Du musst gar nicht so viel machen, um die Bürger in der Leitlinie zu halten. Du kannst sie einfach nur dafür sorgen, dass sie sich gut verhalten und sich gegenseitig beobachten und du hast keine großen Gefängnis mehr und alles nur dafür, dass du im Endeffekt die Leute billiger überfahren lässt. Aber was sind die Einschränkungen in diesem System? Gibt es Einschränkungen? Gibt es Überwachung? Gibt es Sachen, die verhindern, dass du falsche Eingaben in dieses System eingeben kannst? Gibt es eine Art für Leute, ihren Wert zu verbessern, wenn er nicht stimmt? Oder ist es eine selbst erfüllende Profizagent, dass man doch den niedrigen Wert z.B. weniger Zugriff auf Jobs hat und dann hat man deswegen weniger Einfluss auf neue Möglichkeiten? Also geben wir schnell einen Schritt zurück. Was wollen wir denn? Das wollen wir zumindest nicht, aber wir wollen wirklich verstehen, welche Fragen sollten wir an unsere Systeme stellen, die wenig überwacht werden und wenig beobachtet werden und wir möchten deswegen sicher sein, dass wir nicht wie schlafwandlerisch in eine Richtung gehen, wo wir noch mehr Macht verlieren an dieses Systeme der dezentralen Kontrolle. Und wenn wir das schon haben, dann ist die Frage, was können wir verbessern? Was sind, wenn wir solche Systeme implementieren, was können wir anders machen? Gibt es Werte, die uns als Menschen wichtig sind und die wir beachten sollten? Die erste Sache, über die wir sprechen sollten, ist Privatsphäre. Das ist natürlich sehr, sehr wichtig für uns alle und wir brauchen Privatsphäre und Diskretion und deswegen ist es wichtig, dass Algorithmen die schützen. In diesem Talk spreche ich über die anderen Aspekte, weil es ist nicht nur die Privatsphäre, die uns Sorgen machen sollte, sondern wir möchten auch faire Systeme haben und wir wollen transparente Systeme haben. Wir wollen keine undurchsichtigen Entscheidungen, die einfach über uns gefällt werden, die möglicherweise einen starken Einfluss auf unser Leben haben und wir müssen auch Verantwortlichkeit haben. Wir müssen Mechanismen haben, die Verantwortlichkeit. Im Rest des Talks schaue ich diese Dinge an und gebe einige Beispiele. Also das erste ist Fairness, das heißt, dass einige Gegend in der möglicherweise Vorteile sind, bei Entscheidungen, die über Maschinengewert gefällt werden, vor allem bei bisher eher historisch unfairen Systeme, wie zum Beispiel Gesetzesumsetzungen. Also zum Beispiel manche Polizeiebteilungen benutzen vorherragende Polizeiarbeit. Das heißt, das bringt die Polizei dazu, ihre Ressourcen in einer vorherragenden Art und Weise einzusetzen. Das heißt, wenn du vorher sagen kannst, wo Verbrechen begangen werden und von wem, dann kannst du Cops direkt dahin stellen oder diese Leute verfolgen lassen und dann werden die Verbrechen nicht stattfinden, also wie Pre-Crime sozusagen. Also das kann man auf verschiedene Arten machen. Eine Arte ist, das auf einem individuellen Ebene zu machen. Also wir für jeden Bürger schätzen wir das Risiko, dass dieser Bürger Gewalt verursachen wird und dann wirst du einfach die Leute markieren, die besonders gewalttätig sein könnten. Das wird gemacht momentan in Chicago zum Beispiel vom Chicago Police Department und die haben eine Hitliste, eine Hitlist von Bürgern, die am ersten wahrscheinlich sind, dass sie Gewalt verüben oder Opfer von Gewalt werden und das ist das Daten, die die Polizei aufrechterhält und pflegt. Und die Features dieses Modells sind zum Beispiel, die sind aus der kriminellen Geschichte zum Beispiel, wurden sie schon mal involviert in Gewalt oder haben sie mit Drogenkontakt gehabt, aber ein anderer Fakt ist Information, die aus den sozialen Netzwerken kommt. Zum Beispiel, mit wem interagierst du und das wird in diesen Polizeidaten gespeichert, wenn Polizisten Interviews draußen durchführen zum Beispiel oder andere Daten, die werden alle in diesen Risikowert mit einfließen. Andere Methoden, die die meisten Firmen machen, ist nicht auf der individuellen Ebene, aber stattdessen die Gegenden sich anzuholen. Also zum Beispiel, wenn ich mir hier diese meine Stadt aus ansehe und mir die Kriminalstatistiken ansehe und dann noch ein paar andere Daten, dann kann ich schauen, welche Gegenden sind am Gewalt tätig sind und dann kann ich die markieren und dort Polizisten hinschicken. Und jetzt schauen wir mal ein paar Hilfsmittel an, die das so machen. Hier sind drei Firmen, die diese geografischen Vorhersagepolizeisysteme verkaufen. Also Predpol hat ein System, das vor allem auf Kriminalstatistiken und die Art und Weise benutzt. Hanschlepp benutzt weitere Daten, zum Beispiel auch das Wetzer und Hitachi macht es noch ein neues System, das ein Analyse-Tool hat, das auch soziale Medien mit involviert. Diese Systeme werden benutzt in mehr als 50 Städten in den Vereinigten Staaten. Warum kaufen Polizei Revieritas? Manche Polizeirevierre kaufen das, weil sie als vertrieben werden, als faire Systeme, also die nicht voreingenommen sind und diese Firmen machen Statements wie zum Beispiel diese hier. Also die Referenzen übrigens werden später noch ins Internet gestellt. Also Hitachi sagt zum Beispiel, das System ist anonymes, zeigt er die nur die Gegend und nicht eben individuelle Menschen und Predpol sagt zum Beispiel, dass sie persönliche Freiheiten und andere Sorgen eliminiert und Hanschlepp sagt, dass das System Prioritäten der öffentlichen Sicherheit priorisiert und nicht nach Rasse oder ethnischen Aspekten ausfiltert. Also fragen wir uns mal im Detail, was meinen wir denn mit Fairness? Wenn wir bei Fairness sprechen, dann meinen wir ein paar Sachen mit individuellen Menschen. Wenn ich jetzt Menschen bringe, färben und dann in einen Prozess sucht, dann denke ich mir, das ist unfair, wenn ich Menschen anders behandle. Gibt auch ein paar geschützte Attribute, die wir nicht wollen, damit jemand darauf diskriminiert wird. Das ist dann die Gruppen-Fairness. Können wir auf statistische Unterschiede gucken zwischen Gruppen, zwischen Gender, Rasse und so weiter, sofort. Und wir schätzen es nicht immer so bei allen Fällen, aber das ist dann teilweise echt unterschiedlich. Da gibt es auch Fairness und Fehlern. Und wenn alle vorher sagen, System machen Fehler und wenn die Feder konzentriert werden, dann könnte das auch Unfairness bedeuten. Das ist zum Beispiel bei Facebook, weil indianische Menschen eher, wie viele wir da hätten, die irgendwie aussehen als weiße Menschen. Also da solltet ihr diese Fairness sich ansehen. Die können also prädiktive, vorhersehende Verwaltung da Probleme haben. Zum Beispiel das Training Data Problem. Also das einige Systeme, das sind nur Verbrechenstatistiken. Einige alles. Ein Problem ist das Verbrechensdatabases. Meistens nur Kriminalfälle drin haben, die auch wahrgenommen wurden. Also die Polizei nur war, was sie wissen, was schon passiert, durch Portrullien oder Deckungen und so weiter. Oder dadurch, dass jemand anruft. Und Menschen müssen sicher zu fühlen, dass es eine gute Idee ist, die Polizei anzurufen. Und einige Verbrechen haben da weniger Problem als andere. Zum Beispiel haben Gewalt mit Pistolen, was ziemlich oft mitgeteilt wird. Und dann gibt es auch den Racial Profiling Aspekt. Das ist einfach auch mit rein im Feld, weil der Urteil behaftet Policingbetriebe wird, zum Beispiel mit Maria Anna Verhaftung, wo Schwarz einfach viel öfter verhaftet werden als weiße. Obwohl die ungefähr gleich viel Drogen konsumieren innerhalb ein Prozent, so kann es zum Beispiel vieler entstehen. Wir gucken uns mal dieses Policing hier an. Es ist Gefahr, dass, wenn das System nicht vorsichtig gebaut ist, ist dieses Verbrechensbereich, Profiling halt, nur auf schon bestehende Vorurteilen aufgebaut werden. Obvious Issue ist, dass offensichtliche Erfehler ist. Auf jeden Fall, das Problem ist, dass geografiebasierte Verbrechen nicht wirklich anonyme sind, weil Rasse und Ort ziemlich korrelieren in den USA. Und das kann eine Maschine ziemlich gut lernen. Und ein anderes Problem ist, dass für individuelle Fährnisse einige Boxen in diesen Systemen sehr klein sind, zum Beispiel bei Predposen 400 Fuß, also nur ein paar Häuser. Das heißt, dass Polizeibeamte vielleicht bleiben zu Hause, einquartieren und ein paar Blocks weiter. Es ist jemand, der nicht in diesem Ding ist. Und das ist dann nicht wirklich fair. Also, die wirklich Frage ist, wann es keinen Opt-Out gibt. Man kann nicht irgendwie da raus in einer Stadt, wo uns die das hast. Da musst du mit zurecht kommen. Und es ist sehr schwierig, rauszufinden, was wirklich passiert, weil der Algorithmus geheim ist. Von diesen Fällen wissen wir nicht alle Details. Es ist nicht genau, was benutzt wird. Es ist auch nicht genau, was dabei rauskommt. Zeichstrategien zum Beispiel, das zu nageln und zu sehen, dass diese Sachen alle valide sind. Die Behauptungen sind wir, die Inputs- und Outputs-Systeme halt ansehen und sehen, was passiert. Wenn das alles ganz toll ist, dann soll es ja kein Problem geben. Dass also zum Beispiel eine Rolle die Erdrucker da machen können. Zum Beispiel, wenn wir anfangen, dafür anzuschieben, dann wird das auch die Leben von Menschen beeinflussen. Und das fühlt uns sehr gut zu Transparenz. Wollen auch du wissen, was machen diese Systeme? Aber das ist sehr schwierig, dafür habe ich schon erklärt. Zum Beispiel selbst, wenn wir nur wissen wollen, wie Google Search Algorithmen funktionieren, erst mal, falls personalisiert ist, weil jeder User quasi nur einen Endpunkt sieht, das ist ein sehr isoliertes System, so dem, was andere Menschen sehen. Und ein Problem, weil darum das schwierig ist, das Transparenz zu machen, ist, falls der kompliziert ist, ein Algorithmus kann so komplex werden, dass wir nicht wirklich verstehen, nicht mal für die Designer, was da eigentlich passiert. Dann könnte wissen, dass diese Algorithmus am Anthritzen verbessert, aber nicht unbedingt ein solides Verständnis davon haben, was genau das Ding jetzt eigentlich macht als Inputs benutzt. Das geht dann auch wieder in die Fairness über. Bei manchen Fällen ist es vielleicht nicht eine gute Idee, ein superkompliziertes Programm auszustellen, sondern halt mehr in Algorithmus rauszufahren, der den Menschen verstehen kann. Und den Einfluss, den diese Systeme haben, ist sehr Einfluss haben. Ein großartiges Ziel für Manipulation sind zum Beispiel von einer Organisation, die das System kontrolliert oder ein Insider in der Organisation oder irgendjemand, der in die Security reinkommt. Das ist ein interessantes akademisches Werk. Darum geht Search Rankings ein kleines Business zu verändern, um politische Ansichten zu verändern. Also Leute klicken eher auf Top Search Results, also auf die 92% der Klicks zu... Wenn wir es vielleicht ein bisschen umdrehen, ein bisschen was rauswerfen, dass wir dann die Ansichten von Menschen verändern können, das ist so subtil machen, dass das niemand bemerkt. In dieser Studie haben Sie ein Experiment gemacht, 2014 in den Elections in Indiana, in Indien, die Einflüsse gemacht haben in kleinen Nummern, dass es die Wahl nicht beeinflussen konnte, und dann haben Sie das in Kontroll und manipulierte Gruppen aufgeteilt. Und haben wir diese Leute das Web-Browsen lassen. Was Sie herausgefunden haben, ist, dass dieser Mechanismus sehr effektiv ist, um die Präferenzen von verschiedenen. In Indien, der Studie ging es dann um 20% Veränderung. Und selbst wenn man den Leuten erklärt ist, dass das passiert, also es ihnen sagt, werden Ihre Suchergebnisse verändern, dann waren Sie trotzdem völlig unfähig, das irgendwie zu verkleinern. Also die Fehlermengen, manche Wahlen sind sehr klein und man konnte mit 25% Veränderungen in die Wahlen reinbringen. Und der Bayer ist so klein, dass man das dann nicht merkt. Und alle Menschen, egal wie intelligent wir denken, wir sind, wir sind alle, das Objekt dieser Manipulation, wir wissen es einfach nicht. Ich sage jetzt nicht, dass es passiert, aber jetzt ist es keine Regulierung, die das stoppen würde. Man kann das wirklich wahrnehmen. Also gibt es einen großen Wacht-Einfluss hier, darüber nachdenken sollen. Also nicht nur, aber nicht nur Firmen, die darüber nachdenken, die das verändern können. 2010 hat der Problemminister von das UK Behavioral Insights Team gegründet, was sie machen ist, dass sie die Verhaltenswissenschaften und rediktive Analyse benutzen, um damit Menschen bessere Wahlen treffen in der Gesellschaft zusammen mit der Regierung. Und in Obama hat das dann auch eingeführt, und das klatscht noch nicht, dass das jetzt wirklich ein bösartiger Plan ist. Ich glaube, dass das wirklich viel wert sein kann und einen positiven Einfluss haben könnte. Aber wenn es um Behaltensmanipulierung geht, teilweise offen, dann müssen wir da sehr gut darauf gucken und wir müssen überdenken, was die Systeme optimieren. Dass wir vielleicht nicht immer, oder wir stehen auch nicht immer, z.B. wenn in der Industrie, und wissen wir so ungefähr, die Industrie interessiert sich dafür, dass man Leute mehr Zeit auf ihrer Webseite verbringen, wollen, dass sie mehr auf Werbung klicken oder auf Newsfeets klicken, und so wollen, dass ihr Sachen mögt. Und natürlich fundamental Profit. Wenn das alles ansieht, ist das alles ziemlich ernsthafte Einflüsse in den letzten zehn Jahren, Medien, dann halt auf Klicks motivieren, Klicks optimieren und damit Races of the bottom Sachen Qualität dann auslösen. Und das mögt dann in Sachen Qualität nicht mehr der beste Zugang sein. Also Facebooks öffentliches Ziel, es sich glücklich zu machen. Aber das ist ein Problem, weil Menschen bekommen die Nachrichten 20% nach Pew kriegen ihre Nachrichten durch Facebook. Menschen wollen nicht Krieg und Leichen, weil das sie nicht schlecht fühlen wird. Also das optimiert halt nicht für eine informierte Population, sondern eine amüsierte und zeitverschwendete Bevölkerung, die ihre Zeit mit Katzenbildern verschwendet. Und in der Politik passiert sowas ähnliches. Die politischen Kampagnen, die diese protektiven Systeme benutzen, die optimieren für Wählerstimmen, für die Kandidaten, statt eine politische Kampagne zu führen, die eine offene Diskussion der Probleme des Landes ist, das ist dann einfach nur ein Persuasion-Game an Überzeugungsspiel. Das ist nur gut für einen ganz kleinen Teil der Bevölkerung, das wird auch nur Leute betreffen, die unentschieden sind, die kriegen nämlich die meiste Aufmerksamkeit. Es gibt auch Rhythmien, die natürlich dafür benutzt werden und Projekte, die dafür benutzt werden, dass die Registrierungen von Wählern oder das Gesundheitssystem oder das Ergebnis von Wählen. Aber manche Regierungssysteme optimieren eben auch auf Compliance. Das ist etwas, was wir definitiv sehr genau beobachten müssen. Das ist ein gutes Zitat, das das Problem beschreibt. In einigen Art und Weise erschränkt mir möglicherweise unseren Horizont ein, doch die Gefähren von diesen Tools und das ist besonders schlecht für politische Aktionen, weil politische Aktionen normal Leute braucht, die eine gemeinsame Erfahrung haben und deswegen in der Lage sind, zusammenzuarbeiten, Gegendruck um Probleme zu reparieren. Nummer 3, Verantwortlichkeit. Wir haben das auch über Prüfungsmechanismen. Das ist wichtig für bürokratische oder zivile Systeme. Wenn ein Algorithmus in eine Entscheidung trifft, dann wollen wir nicht immer, dass die Menschen einfach nur diese Entscheidung annehmen müssen. Das ist nur eines der Probleme, die wir hier haben. Es gibt zum Beispiel einige Fälle von Computeralgorithmen, die eine Entscheidung treffen und dann konnten die Menschen diesen Fehler nicht mehr beheben. Zum Beispiel dieser Fall hier in Georgia, in den Vereinigten Staaten, wo zwei junge Menschen zur Führerscheinbehörde gegangen sind und sie wollten diesen Zwillinge und ihren Führerschein abholen. Aber sie wurden bei einem Forward Algorithmus der ähnliche Gesichter markiert. Die Entwickler hatten offensichtlich nicht daran gedacht, dass es auch Zwillinge geben könnte und im Endeffekt müssten sie dann einfach gehen, ohne Führerscheine zu gehen, weil die Leute in der Führerscheinstelle ihnen ihren Führerschein ausgeben konnten, weil sie ihre Systeme nicht überschreiben konnten, wie von Franz Kafka. Es gab aber auch Fälle von Fehlern, wo die Menschen das gar nicht bemerken, bevor es nicht zu spät ist und schon Dinge passiert sind. Manche davon sehr schwer, weil manche Menschen einfach nur der Maschine glauben. Das hier ist ein Beispiel aus San Francisco, eine automatische Leser von Nummernschildern, der also die Nummernschildtexte liest und die normalerweise vergleicht mit einer Liste von Interessanten. Und San Francisco benutzt die, also diesen oben auf Polizeiautos festgeschraubt. Und in diesem Fall hat dieses System ein Automarkiert und das war das Auto einer 47 Jahre alten Frau. Und das war ein unscharfes Bild und das hat das als Place of Interess markiert, also einem gestohlenen Fahrzeug und dann haben sie gestoppt und sie haben sie aus dem Auto genommen und sie haben sie und das Auto doch sucht und sie musste sich hinknien und sie wurde mit einer Waffe bedroht mitten auf der Straße. Das heißt, wie viel sollten wir wirklich diese Systeme überwachen, weil das ist definitiv der Fall, dass einige dieser Systeme, da ist ein Fehler nicht so wichtig, aber in diesem Fall war ein Fehler in diesem Algorithmus, dass diese Person einfach plötzlich mit einer Waffe bedroht wurde mitten auf der Straße, wo sie unschuldig war. So, das bringt uns zu, wir brauchen eine Art und Weise Informationen darüber, was eigentlich los ist. Wir können nicht warten, bis diese Vorfälle passieren, bevor wir nicht die Information aus dem System herauskriegen. Audits sind eine Art und Weise in Situationen, wo wir Inputs und Outputs haben, also zum Beispiel bei Google oder Facebook, können wir das machen, wenn wir die Eingaben haben, zum Beispiel Test-Accounts oder auch echte Accounts, die dann von Leuten zusammenarbeiten. Wir haben im Jahr 2012 während der Obama-Wahl-Kampagne und Leute haben festgestellt, dass sie verschiedene E-Mails von der Obama-Wahl-Kampagne bekommen haben und sie waren daran interessiert, welche Faktoren das beeinflussen, warum die E-Mails sich ändern. Und ungefähr 200 Leute haben ihre E-Mail-Adressen angegeben und haben dann einiges Informationen herausbekommen, was die Antwort E-Mails beeinflusst und was nicht. Also da gab es tatsächlich erfolgreiche Einflussmaßnahmen. Also wir vergleichen die Eingaben und dann fragen wir, warum eine Sache einem Benutzer gezeigt wurde und einem anderen Benutzer oder Benutzerin. Und es gibt natürlich mögliche juristische Sachen, die wir da über die nur nachdenken können, aber gut. Beispiel, wenn wir Algorithmen analysieren wollen, die Werbung verteilen. Eine Art und Weise ist, sie zu erstellen und dann nachzusehen, welche Werbung wir sehen. Und das ist eine Art und Weise, wie in Akademiker das machen. Und damals musste man dafür noch keine Accounts machen. Also das hier ist eine Studie, die auf der Privacy Enhancing Technologies Konferenz präsentiert worden ist. Und so, also die Forscher erstellen eine Reihe von Internet-Surf-Verhaltensprofilen, die nur in einer Sache sich unterscheiden und dann schauen sie, welche Werbungen da dann herauskommen. Das heißt, es ist ein randomisierter Test, aber ich habe hier die Randomisierung rausgelassen, damit es einfacher aussieht. In einer Studie haben sie das Gender verändert. Das heißt, sie haben die Surf-Verhaltenprofile den einen auf männlich und das andere Profil auf weiblich eingestellt. Und sie wollten sehen, gibt es einen Unterschied zwischen welche Werbungen den Menschen gezeigt wird, wenn alles identisches außer dem Gender. So, es stellt sich raus, dass das der Fall ist. Eine weitere Seite zeigte Google-Chef-Positionen viel mehr an Männer, also falsche Männer als an falsche Frauen, zeigte die Studie. Und dieser Art von Audit zeigt nicht alles, was ein Algorithmus macht, aber es kann manchmal interessante, statistische Unterschiede feststellen. Also, das bringt uns zu fundamentalen Fragen. Genau jetzt haben wir keine Kontrolle über diese Systeme und wir brauchen wirklich diese Vorhersagesysteme. Wir brauchen, dass die von uns kontrolliert werden, damit sie eben nicht uns kontrollieren. Das heißt, es gibt Technologien, die ich euch zeigen möchte, die wir definitiv, wir brauchen eben Tools, die das beheben können. Also, das Erste ist, wenn wir die Daten, die wir haben, minimieren, dann kann das helfen. Das heißt, wenn wir Systeme erstellen, die privat, also schon vom Design her privat sind, dann ist das und standardmäßig, dann hilft das auf jeden Fall. Das andere sind Audits, die sind definitiv hilfreich. Da gibt es aus der akavidemischen Sparte einige Tools, das Werbungsexperiment, zum Beispiel, das ich gerade gezeigt habe, wurde mit AdFisher gemacht. Also, das sind zwei Hilfsmittel, die ihr benutzen könnt zum Auditieren. Eine andere Technologie, die auch normalerweise hilfreich ist, aber vor allem eben bei diesen Vorhersagealgorithmen, ist ein Anonymitätssystem wie Tor, weil es unmöglich ist, ein System zu personalisieren, wie jeder andere aussieht. Was es nicht so wirklich gibt, ist etwas, was wir aber trotzdem brauchen, ist ein Tool, um die Landschaft zu betrachten. Also, wie wir aus diesen wenigen Studien wissen, ist es so, dass verschiedene Leute das Internet auf verschiedene Art und Weise sehen. Und deswegen würden wir die Zensur nicht. Zum Beispiel reiche und arme Leute, wissen wir aus dieser Forschung. Es gibt zum Beispiel Preisdiskriminierung im Internet. Also, zum Beispiel, ihre Arme und Armen und reiche Leute sehen verschiedene Internet, Frauen und Männern sehen verschiedene Internet. Wir wollen wissen, wie sieht diese Landschaft überhaupt aus. Und das könnte der Anfang eines Verteidigungssystems sein gegen diese Technologien, die das beeinflussen. Ein anderer Ansatz ist der Obfusskation oder Verschleierung. Es gibt zum Beispiel dieses System, das im Norge, dass jedes Wiederwerbung automatisch anklickt, um damit alle Daten nützlos zu machen. Facebook, Google, diese Internet-Giganten, die haben alle Milliarden von Usern. Und manchmal nennen sie sich gerne neue öffentliche Baltungen. Deshalb brauchen sie halt auch mehr Regulierung. Zum Beispiel ein Problem, was es da geben kann, eine Studie, die Facebook gemacht hat, ist, dass es einfach keine Ethics-Review gibt. Zum Beispiel in der akademischen Bereich, dass man, wenn man Menschen erforscht, das alles durch einen Ethik-Bord führen. Dass es da einfach nicht gibt, das haben viele Firmen einfach nicht. Wir wollen ein unabhängiges, ein unabhängiger Ethik-Rat, der so etwas tut. Und wir brauchen sehr dritte Parteien, die Audits durchführen. Manche Firmen wollen das nicht, wegen irgendwelcher Probleme. Das ist so ein Problem. So sollte man Leute beschäftigen, die nicht von der Firma beschäftigt sind, um da Audits durchzuführen, damit wir dann wissen, dass die Sachen sinnvoll durchgeführt werden. Also um das abzuschließen, algorithmische Entscheidungen sind hier, und die gehen auch immer weiter vorwärts. Wir müssen herausfinden, was dann so die Sicherheits-Säune dafür sein sollen. Und wir brauchen viel mehr Offenheit in diesem System. Und so wie es jetzt ist, wissen wir nicht, was passiert. Wir müssen sehr aufpassen, wo und wie diese Systeme benutzt werden. Und ich denke, diese Community hat dann eine sehr wichtige Rolle zu spielen. Man sollte studieren, was passiert, und ein bisschen die Debatte anführen, und gucken, was passiert. Und wenn möglich, halt Widerstehen. Widerstand zeigen. Vielen Dank. So, let's have a question and answer. Dann lassen Sie uns eine Frage beantworten. Makrofon 2, bitte. Also nachdem diese Pre-Crime-Software auch mit dem Kopplandsystem in Süddeutschland, vor allem in Bayern und Nürnberg, erschienen ist, wo sie Einbrüche damit verhindern wollen mit dieser grövarischen Analyse, das bringt mich zu dieser zweifachen Frage. Zuerst hast du auch von irgendwelchen Forschung gehört, die Effektivität dieser Maßnahmen misst. Und zweitens, was glaubst du, was hältst du von der Spieltheorie, was wenn die Bösen von diesem System wissen und dann dieses System absichtlich beeinflussen? Also zum Beispiel, ein Polizeioffizier hat gesagt, das System wird benutzt, um die kurdigen Kosten von Polizeiarbeit zu reduzieren. Das heißt, die schicken die Leute einfach nur dahin, weil die roten Flaggen sind. Ja, so, das mit die Effektivität dafür zu testen, checken, eigentlich für zufällige Versuche durch, macht man auch, unabhängig, Studien zum Beispiel, RAND, behaupten, dass es eigentlich keine statistischen Unterschiede gibt, dass sie keine Unterschiede finden, vor allen Dingen bei Eigentumstiebstahl und so wie es jetzt ist, siebster widersprüchliche Reports zwischen unabhängigen Auditörn und dem, was Firmen behaupten. Und dann braucht es auf jeden Fall mehr Studien. Was ist das Zweite nochmal? Oh, ja. Ja, und da gibt es noch den legitimen Problem, wenn alles öffentlich zugänglich ist, dass dann besonders Bösen dieses System manipulieren können. Und ich glaube, das ist ein Problem mitgeben könnte, ja. Also, das ist tatsächlich keine Frage, sondern nur ein Kommentar. Ich fand deinen Talk sehr schön. Vor allem nachdem ich den anderen Talk in Saal 1 heute, auch heute Nachmittag angesehen habe, es sah hallo zu den neuen Bossen, nämlich Algorithmen, die mit Big Data trainiert werden und die dann eben Entscheidungen machen. Und ich glaube, diese beiden Talks könnten ziemlich gut zusammenpassen. Und wenn Leute daran interessiert sind an diesem Thema, dann sollten sie möglicherweise den anderen Talk auch später ansehen, weil er sehr gut hier reinpasst. Ja, das war großartig. Micro 3? Ja. Du hast erwähnt, wir darf nach einer dritten Partei, die das alles überprüft und dahin diese Algorithmen hinein sieht und dahin überprüft, was sie machen. Und kannst du noch ein bisschen darüber sprechen über, was wir in Zukunft mit Regulationen machen können, was für Strukturen da kommen müssen, um diese Black Boxes zu analysieren, die überall auftauchen plötzlich und mehr und mehr unser Leben kontrollieren? Was für Diskussionen gibt es da und welche Möglichkeiten gibt es da? Ich bin mir sicher, dass Firmen da einiges dagegen haben, überhaupt, dass die Leute in ihre Algorithmen Einsicht nehmen. Ja, sicherlich werden da ziemlich viele Widerstände zeigen, wenn Leute ihre Algorithmen reingucken. Es ist also sehr groß sein und ein richtiges, hartes Auto zu durchführen und Leute, die da reingehen und Sachen unterschreiben und in die Sachen reingucken. Das ist eine Möglichkeit. Anderes wäre, dass die akademischen Forscher ein paar Exponente gemacht haben, herausgefunden haben und diese Sachen, Versuche, sind aufgedeckt werden und es gibt keine richtige systematischen Versuche. So wie wir in der Zensur finden, wir klare Versuche, das möglichst oft so messen, das kann schon an Übersicht, ein Überwachungsmechanismus dagegen sein, aber im Moment wissen wir das, allen ist nicht so richtig und es gibt nicht so viele Leute, die das verifizieren, wie das dann implementiert wird. Das ist irgendwann eine Art Überwachungsbehörde, eine Regierungsbehörde, die die Möglichkeit und die Macht hat, das nicht nur zu Reverseingenieren, sondern diese Algorithmen, sondern auch wirklich reingucken und sicherstellen, dass die fair sind. Weil es scheint mir so wichtig, nach dem, das könnte der Unterschied zwischen dem Leben und dem Tod haben oder einem Job bekommen oder den Job nicht bekommen nach seiner Rasse profitiert zu werden oder eben nicht so. Geht das in diese Richtung oder kann man das noch nicht sagen? Manche Leute rufen nach so einer Bundeskommission, Algorithmenkommission, die das Oversightwork macht, aber das ist noch so früh, dass man nicht wirklich sagen kann, dass es da einen richtigen Busch vergibt. Aber das ist eine gute Idee. And again, number two, please. Nummer zwei. Vielen Dank für den Talk. Ich frage mich nur, ob du einige Beispiele zeigen kannst für einige Produzenten oder Benutzer dieser Algorithmen, die tatsächlich in der öffentlichen Öffentlichkeit verantwortungsbewusst damit umgehen und wenn ja, wie und wie die das machen. Ja. Es gibt ein paar Firmen, zum Beispiel Datakind, die versuchen Algorithmische Systeme verantwortungsvoll möglich zu benutzen. Ich habe ein paar Sachen gebaut. Wir müssen auch Google und in diesen Riesen gut zu Gute heißen, dass sie irgendwie versuchen, Transparenzsysteme einzubringen, die dir irgendwie helfen, da Transparenz reinzubringen. Zum Beispiel, wenn wir das Daten sammelt werden, wenn wir es zum Beispiel auf Amazon dort kommen geht, dann wird ihr das eine Bindung gemacht und das ist relativ transparent. Weiß, dass da eine Voraussahl gemacht wird und es steht dann auch warum, weil du halt ein bestimmtes Ding gekauft hast. Google hat was Ähnliches, wenn ihr in Google Ad Settings nachguckt, wenn ihr sogar Personalisierungen der Werbung abschalten und ihr könnt auch sagen, welchen Interessen du hast. Eine Frage aus dem Internet, bitte. BilletQ fragt, wie vermeidest du Voreingenommenkeit und in der Maschine lernen? Zum Beispiel, ein Algorithmus könnte gegen Frauen und Winderheiten benutzt werden und wenn wir nur unbekannten Daten benutzen als Grundlage. Was man machen kann, nachgucken wie positive Ergebnisse verkleidt werden über irgendwelche Klassen, würden auch Fairness-Beschränkungen ja, mal Rhythmen reinbringen, wenn sie das System werden. Das sind zum Beispiel zwei Papers, was ein gutes Paper Fairness to Awareness, das empfehle ich, dann ist das ganz gut. Micro 2, bitte. Danke für den Talk. Ich sehe natürlich ein Problem mit den schwarzen Boxen, mit den Black Boxes, vor allem für Verbrechensbekämpfung, aber wenn wir uns Werbungssysteme ansehen, dann sind sie sehr vernetzt. Das heißt, es gibt ganz viele Systeme, die zusammenarbeiten und daten, Austauschen über offene APIs oder restful APIs mit Plattformen, Austauschplattformen und so weiter. Kann das helfen, um zumindest die Awareness zu erhöhen, wo Personalisierung und Aufziehung passiert. Wenn ich mir jetzt Bildriff ansehe oder die dann herausfinden, welche ja, was gerade Libraries benutzt werden, kann das helfen, um Leute aufmerksam zu machen und diese Punkte, wo man möglicherweise Ziel wird? Manchmal ist mit Werbung der Fakt, dass es dahinter eine komplizierte Aktionsprozesse gibt. Eigentlich mehr komplizierte, also ich habe kurz gesagt, das herausgefunden, dass das ein statistische Unterschied zwischen Männern und Frauen, aber das heißt nicht unbedingt, dass der Algorithmus Vorteils beset ist. Er könnte eine Aktionsprozesse und könnte es natürlich sein, dass Frauen wertvolle eingeschätzt werden, wenn es um Werbung geht. Dann werden diese Werbung halt von was anderen verboten. Das kann schon passieren, das macht es eigentlich komplizierter, ich weiß nicht, ob es hilft mit dem Vorurteil oder nicht. Die Frage ging eher in die Richtung, kann es helfen, das überhaupt auftauchen zu lassen und Leuten darauf aufmerksam zu machen, dann kann ich meine Kinder drüber interessanten, aber meiner Oma kann ich das nicht erklären, die auch in ihrem iPad ins Internet geht. Das Problem ist vor allem, dass wir hinterher sind und dass wir überhaupt als Ziele sind und viele Leute wissen das, aber noch viel mehr Leute wissen das eben nicht und die darauf hinzuweisen, dass sie Ziele sind. Das ist etwas, das nur gezeigt werden kann von einer weiteren Instanz, die diese Daten sichtbar machen und die möglicherweise automatisiert das zeigen. Noch eine Frage aus dem Internet bitte. Ich glaube, dass das eine ja, ich glaube schon, dass in manchen Fällen Schienen lernen nicht, dass die Schienen lernen nicht, dass Passen sein könnte, wenn man Schienen lernen benutzt, um zu zeigen, wer durchsucht werden sollte. Das finde ich, sollte nie, dass sie benutzt werden. Wenn es nur ein Teil des Beweises ist, den du angucken musst, dann ist es vielleicht gut, aber ein sehr guter Punkt, dass es in den Kontexten die Sachen ernster sein können, wie zum Beispiel No Fly Listen. Noch eine Frage, die mir gerade eingefallen ist. Bevor Algorithmen überhaupt aufkam, gab es da vorher schon Fälle von ernsthaften Schaden, der individuellen oder Gruppen zugefügt worden ist und das kann gezeigt werden, dass ein System an Menschen systemisch vorbeinflusst ist und eine bestimmte Aktion passiert wird. Da kann man das anwenden auf die Tatsache, dass Leute sich ändern müssen und sie ändern, wie sie ihre Sachen machen um diese Vorbestimmung aus dem System zu entfernen. Wie kann man das machen, wenn die Systeme algorithmisch sind? Ist es einfach nur gibt es da was an? Das ist ein Vorteil, wenn wir darüber Sorgen machen, dann können wir das optimieren. Das können wir die Systeme trainieren, sie weniger weiß sind, aber es gibt immer Fehler geben. Das ist ein davon anderfängiges Problem, wo Fehler drin sind, muss man halt so auf drauf aufpassen. Also eine Möglichkeit, wenn das vielleicht tun könnte, dass man die ganzen Entscheidungen getroffen werden, ansieht und guckt, wie groß das Vertrauen in diese Entscheidung ist. So, welche Nummer? Keine weiteren Fragen. Dann schließe ich den Talk jetzt. Vielen Dank, einen großen Applaus, Jennifer Helsby und das Übersetzungsteam