 Der nächste Vortrag ist heute nicht nur mit Chris Köhwer wie angekündigt, sondern wir haben auch eine Art Überraschungsgast und das ist Alexandra Sova, die zusammen mit Chris Köhwer diesen Vortrag halten wird. Sie ist Datenschutzbeauftragte und IT-Sicherheitsauditor und zurzeit als Sachverständige neben Frank Rieger im Bundestag zum Thema Informationssicherheit. Die zweite, die unseren Talk hier halten wird, ist Chris Köhwer. Ich kenne sie persönlich als Gründerin des Missi-Magazins. Dann ist sie über einen kleinen Umwegschlenker bei der Wired Germany jetzt mittlerweile Festes Redaktionsmitglied im netzpolitik.org Team. Und ich freue mich, dass die beiden heute etwas über KI, also künstliche Intelligenz, sagen werden. Und zwar darüber, warum es wichtig ist, dass wir diese auch politisch kontrollieren und nicht, wie wir es auch aus dem Feminismus öfters kennen, die ganze Zeit nur mit Selbstverpflichtungen der Unternehmen arbeiten. Also ein warmer Applaus bitte für Chris Köhwer und Alexandra Sova. Ja, herzlich willkommen zu unserem Talk. Wir freuen uns sehr, dass ihr da seid. Wir wissen leider nicht, wie zahlreich ihr seid, denn wir sehen euch so gut wie gar nicht. Es ist sehr heiß auf der Bühne. Aber wenn ihr hier seid, dann freuen wir uns, dass ihr hier seid. Wir wollten heute sprechen über Ethikrichtlinien für Algorithmen oder sogenannte künstliche Intelligenz, was auch immer darunter verstanden wird. Dazu kommen wir gleich noch. Wer denkt sich so etwas aus und warum? Es gibt einen unglaublichen Boom dieser Guidelines derzeit. Also falls ihr den Überblick verloren habt, wie viele von diesen freiwilligen Selbstverpflichtungen oder Guidelines für ethischen Umgang mit KI es inzwischen gibt, dann seid ihr damit nicht alleine. Das hier dieses Comic bezieht sich auf eine aktuelle Studie, die an der ETH Zürich durchgeführt worden sind, wo die mal geschaut haben, wie viele gibt es denn eigentlich derzeit weltweit? Und 84 verschiedene Richtlinien gezählt haben. Der allergrößte Teil davon ist in den vergangenen zwei Jahren erschienen. Also es passiert jetzt gerade wirklich ganz viel in diesem Bereich. Das hier ist eine Datenvisualisierung, die das Bergman Klein Center for Internet and Society in Harvard gerade veröffentlicht hat. Darauf zu sehen sind nur in Anführungszeichen 32 Ethikrichtlinien für künstliche Intelligenz und Algorithmen. Und das sind jetzt sowohl Guidelines, die aus der Privatwirtschaft kommen, teils auch von NGOs und teils von staatlichen Organisationen. Kann kein Mensch jetzt wirklich erkennen, was da jetzt alles drauf zu sehen ist, aber darum geht es auch nicht. Ist es eher tatsächlich um einmal auch zu zeigen, es ist wahnsinnig viel und selbst die Versuche, das in ein einfaches Bild zu gießen, sind fast zum Scheitern verurteilt, weil es einfach wahnsinnig umfangreich ist gerade. Ein weiterer Überblick versucht sich gerade die NGO Algorithm Watch zu verschaffen. Die haben auf ihrer Webseite ein crowd-gesourcedes Projekt, wo sie AI Ethics Guidelines sammeln. Da kann sich jeder beteiligen. Das heißt, falls ihr noch eine neue findet, die dort noch nicht drauf verzeichnet ist, dann könnt ihr sie selbst dort eintragen und so zu einem besseren Überblick beitragen. Klar ist eigentlich nur, es gibt inzwischen so wahnsinnig viele von diesen Guidelines, dass sich in der Wissenschaft gerade so eine Art eigene Subdisziplin dazu herausbildet, die in unterschiedlichen Bereichen, also teils Politikwissenschaft und Policymaking, teils aber auch andere Bereiche, im Grunde jetzt nur mit diesen Guidelines, mit der Analyse und dem Abgleich und der Einordnung von Algorithmen und KI Guidelines beschäftigt. Ja, die Frage ist, dass wie vorher kommt dieser Boom? Das ist im Grunde jetzt nicht so wahnsinnig erstaunlich, dass es dem Boom gibt, denn algorithmische Entscheidungsprozesse begegnen uns heute schon an sehr vielen Stellen im Alltag und privaten wie im Beruflichen, sei es jetzt beim Online-Dating in unseren Postfächern, wo sie das Boom aussortieren oder in den Newsfeeds von Social Media, Vergabe von Krediten bei der Einladung zu Bewerbungsgesprächen, Spielen Sie eine Rolle und neuerdings auch auf dem Arbeitsamt in Österreich, wo ein Algorithmus Job an Wärterinnen in drei verschiedene Kategorien einordnet und je nachdem ihnen die Ressourcen und die Unterstützung zuteilt, wie gut oder schlecht ihre Chancen stehen, überhaupt jemals wieder in den Arbeitsmarkt einzutreten. Also man merkt, Algorithmen schneiden an immer empfindlicheren Stellen in unser Leben und in unsere Grundrechte ein und treffen diese im Kern ziemlich schmerzlich. Es ist also nicht so erstaunlich, dass parallel zu dieser Entwicklung immer mehr in Rufe laut werden, da tatsächlich auch Regulierungen oder eben ethische Regeln aufzustellen, was denn diese Algorithmen überhaupt dürfen. Manche nennen es, bezeichnen sie als künstliche Intelligenz, was auch immer dann darunter verstanden wird. Die Rede ist auch von Automatic Decision Making oder ADM und egal wie es benannt wird, im Grunde geht es immer um die gleichen Fragen, nämlich was sollten diese Algorithmen alles tun und entscheiden dürfen, wo müssen wir ihren Einsatz ganz klar beschränken und worüber sollten sie eben auch niemals entscheiden dürfen. Also ganz klar rote Linien einzuziehen, wo klar ist, dass es nicht verhandelbar ist, wollen wir nicht Maschinen überlassen. Und tatsächlich ist es so, wie Chris gerade sagte, dass man auch an vielen Stellen sich auch im politischen Kreis schon Gedanken darüber macht oder angefangen hat, sich darüber Gedanken zu machen. Natürlich ist es etwas unglücklich an der Stelle, dass sehr viele der Unternehmen, die sich mit Maschinenlearning oder mit automatisierter Entscheidung und Algorithmen befassen, ihren Sitz nicht in Deutschland hat, meistens haben sie nicht mal ihren Sitz innerhalb der Grenzen der Europäischen Union, was die Aufgabe, die Sache anzupackern oder sie zu regulieren oder sie irgendwie zu kontrollieren, zu der zusätzlich erschwert. Das sieht Bundesregierung und Bundestag allerdings ein bisschen anders. Das heißt, man möchte nicht weniger erreichen als eine KE Made in Germany, künstliche Intelligenz Made in Germany. So hat man sich darauf geeinigt in dem Koalitionsvertrag zwischen den CDU, CDU, US, UN, SPD. Und das resultiert aktuell in Deutschland gerade auf politischen Paket in sehr vielen institutionellen Lösungen. Wir haben uns entschieden, das zu bebilden mit Zitat von Dürenmat. Bilden wir doch eine Kommission, schreit eine, ja, gemacht schon, wir bilden eine Kommission beantwortet, das Bauernparlament, jedenfalls bei Dürenmat. In Deutschland ist es so, dass wir zwei Kommission oder zwei Gruppen haben, die sich auf Grundlage von Koalitionsvertrag gegründet haben. Die erste ist die Kettkommission Künstliche Intelligenz, gesellschaftliche Verantwortung und wirtschaftliche soziale und ökologische Potenziale, so der offizielle Name, die auf Antrag der Fraktionen CDU, CDU, US, SPD, FDP und DIE LINKE im Juni letzten Jahres gegründet worden ist. Sie befasst sich auch tatsächlich mit der Frage, ob es Bereiche, ob es Themen gibt, in denen es künstliche Intelligenz oder automatisierte Entscheidungsfindung überhaupt nicht eingesetzt werden sollte. Und zwar unabhängig oder zusätzlich zu aktuellen Gesetzgebungsverfahren. Die Kommission sollte ihre Ergebnisse dabei auch intensiv sich in verschiedenen Gremien einzubringen und Sitzungen zu veranstalten. Die soll ihre Ergebnisse nach der parlamentarischen Sommerpause 2020 einbringen. Eine Kommission, die etwas schnelle ihre Ergebnisse präsentieren möchte, ist die Datenethik-Kommission. Diese wurde gegründet von Bundesinnenministerium und Bundesjutz-Dizministerium im Juli, also ein Monat nach der Enquete-Kommission im Bundestag. Dort haben wir auch viele Prominente vertreten wie Paul Lemitz, der Berater der Generaldirektion Justiz und Verbraucher der Europäischen Kommission oder der Bundesdatenschutzbeauftragter Ulrich Kälber oder Marit Hansen von Landessdatenschutzbehörde Schleswig-Holstein. Die Kommission sollte ihre Vorschläge bereits im Sommer 2019, da wird Chris noch mal drauf eingehen, vorstellen. Und bereits zu ihrer Gründungssitzung hat sie erste Vorschläge eingebracht. Ziel ist nicht weniger als AI oder Artificial Intelligence made in Europe. Es muss aber nicht auch unbedingt im Koalitionsvertrag stehen, dass man eine Kommission gründet, oder ein Rat oder ein Gruppierungen, die sich mit Digitalethik der Künstliche Intelligenz befasst. Das hat auch zum Beispiel der hessische Ministerpräsident selbst geschafft. Er hat seinen eigenen Rat für Digitalethik gegründet, IP September letzten Jahres. Dazu gehören auch hochrangige Vertreter der Gesellschaft, Wissenschaft, Wirtschaft, wie der Bischof von Limburg, Georg Betzig, der ehemalige Bundesforschungsminister Heinz Riesenhober, der Deutschlandchef der Boston Consulting, Rob Carsten Kratz und natürlich der Vorsitz gehört dem hessischen Ministerpräsidenten. Ein großer Ideal dieser Kommission, das war noch ein kurzer Auszug davon, er arbeitet verschiedene Leitfäden oder Guidelines, die gegebenenfalls die Gesetzgebungsverfahren oder eine zukünftige Gesetze begleiten sollen. Allerdings empfehlen Empfehlungen und Papiere, die sie erstellen, wirken hauptsächlich lokal oder national, während die meisten Unternehmen, wie ich gesagt habe, außerhalb der von Deutschland und europäische und oft agieren. Was wegen auch die Regulierung auf einer höheren Ebene ansetzen muss, wir schlagen vor mindestens auf EU-Ebene alle Weise im globalen Abkommen. Genau, zur EU kommen wir gleich noch, aber erst mal, bevor wir weitergehen, vielleicht nochmal einen Blick auf die Inhalte, also womit beschäftigen sich diese Guidelines eigentlich. Das sind in der Regel Sammlungen von verschiedenen ethischen Prinzipien, die sich an die Entwicklerinnen der Technologien richten und mit Entwicklerinnen sind hier sowohl die eigentlichen Softwareentwickler, also die Menschen, die programmieren gemeint als auch die Unternehmen, die das verantworten, dass solche Systeme eben geschaffen werden. Manchmal auch Konzerne. Die Guidelines als ich sind sehr unterschiedlich. Manche, wie die hier, die ihr jetzt gerade seht, von IBM sind wirklich sehr knapp, beschränken sich auf fünf Punkte, andere sind 300 Seiten lang und gehen wahnsinnig tief ins Detail wie die Richtlinie des globalen Ingenieursverbandes IEEE, also das ist wirklich ein Riesenwerk. Und trotzdem fallen bestimmte Gemeinsamkeiten auf in diesen Guidelines, die man sich eigentlich jetzt ganz gut an dieser IBM-Guideline durchgehen kann, weil die Punkte, die dort genannt sind, auch in der Regel so naht minimal Konsens sind oder ein minimaler Standard, der dort genannt wird. Da ist als erstes meistens Accountability, also die Frage, wer ist verantwortlich, wenn ein Algorithmus etwas prognostiziert oder entscheidet. Dann explainability, also die Transparenz und Nachvollziehbarkeit der Wirkung eines Algorithmus. Das heißt, können Menschen nachvollziehen, wie das System überhaupt zu einer bestimmten Prognose gelangt ist. Auf Basis von welchen Daten und Faktoren ist es zu diesem Ergebnis gelangt. Manchmal geht es unter diesem Stichwort Transparenz auch wirklich um den schieren Fakt, dass erkennbar sein muss, dass hier jetzt gerade ein Algorithmus am Werk ist und man eben es nicht mit einem Menschen zu tun hat. Also eine Art Vermummungsverbot für Algorithmen, die müssen sich zu erkennen geben. Wenn da ein Algorithmus arbeitet, dann muss das für den Menschen, der mit dieser Entscheidung dann konfrontiert ist, auch ganz klar ersichtlich sein. Der muss Bescheid wissen. Und der vierte Punkt ist, also genau Value Alignment haben wir jetzt mal übersprungen. Explainability, der dritte Punkt wäre dann Fairness. Manchmal auch Equality oder Non-Discrimination genannt. Was dahinter steckt, ist eben der Anspruch, dass Algorithmen so arbeiten sollten, dass sie eben nicht gegen bestimmte Gruppen auf Basis ihrer Identität diskriminieren. Und da geht es vor allem auch um die Daten, mit denen die Systeme trainiert werden, weil man eben weiß, wenn die Daten nicht repräsentativ sind oder wenn eben schon bestimmte diskriminierende Verzerrungen in den Trainingsdaten enthalten sind, weil Menschen einfach diskriminiere Entscheidungen bereits in der Vergangenheit getroffen haben und jetzt ein Algorithmus auf Basis dieser Daten trainiert wird, dann weiß man, dass diese Diskriminierung sich auch fortsetzt oder sogar verstärkt. Deswegen ist dieser Punkt eigentlich immer mit enthalten. Und als letzten Punkt, das vierte Punkt ist immer noch mit dabei Privacy, also das Recht auf Datenschutz und das Daten eben nur mit Zustimmung der Nutzerinnen verwendet werden dürfen. Diese Faktoren sind offenbar so etwas wie so minimal Anforderungen für die ethische Entwicklung und den ethischen Einsatz von Algorithmen. Interessant ist aber auch einmal darauf zu gucken, dass in diesen Guidelines nicht oder bemerkenswert selten auftaucht. Worum es in der Regel nicht geht, ist die Notwendigkeit demokratischer Kontrolle über solche Guidelines und politischer Gesetzgebung für Algorithmen. Worum es ebenfalls sehr selten geht, ist die Gefahr des Mitbrauchs von Algorithmen, um demokratische Prozesse auszuhöhlen, also sei es jetzt Wahlmanipulation, um die Situation durch Microtargeting oder Deep Fakes oder verschiedene Verfahren, die da zum Einsatz kommen können. Und worum es auch sehr selten geht, ist das Problem fehlender Vielfalt in der Branche. Also der Umstand, dass derzeit überwiegend weiße und überwiegend Männer diese algorithmischen Systeme entwickeln, die dann aber eben nicht nur überweise und Männer entscheiden, sondern eben sehr viele nicht weiße Personen auch betreffen und Frauen betreffen und man aus Erfahrung weiß, dass diese Systeme dazu neigend zu diskriminieren und eine Möglichkeit, dem beizukommen, oder eine Notwendigkeit wäre, zumindest die Entwicklungsteams diverser aufzustellen, um die Wahrscheinlichkeit, dass so etwas passiert, möglichst gering zu halten. Das taucht aber selten in den Guidelines auf. Worum es dann auch nicht geht, sind die versteckten gesellschaftlichen Kosten. Also zum Beispiel die Energie, die es braucht, der riesige Energieaufwand, den es braucht, um einen einzigen solchen Algorithmus zu trainieren oder eben den Einsatz von sehr schlecht bezahlten Click-Workern, die in Scharen eingesetzt werden müssen, um die Daten zu labeln und eben zum Training der Algorithmen beizutragen. Das sieht man derzeit sehr gut an dieser Debatte um Sprachassistenten und Alexa, wo jetzt wie nach und nach eigentlich an einer Firma nach der anderen jetzt rauskommt, das ist ja gar nicht nur ein selbstlernender Algorithmus, sondern da sitzen ja Menschen irgendwo in Rumänien und anderen Ländern und labeln eben 10 Stunden am Tag diese Daten und damit der Algorithmus eben besser wird oder zutreffendere Prognosen treffen kann. Ja, wie, genau, springen wir vielleicht mal weiter. Okay. Ach so, nee, ich bin jetzt nochmal dran, schuldige, also genau, bevor wir zu meinen jetzt noch Schlauheiten überspringen, noch ein bisschen Einfach Schlauheiten verlieren. Die Frage ist jetzt, sagen, trotzdem ja, welche Auswirkungen haben diese Guidelines? Weil, gibt es überhaupt irgendeine Auswirkungen darauf, wie eben das Team entwickelt und eingesetzt werden? Denn freiwillige Selbstverpflichtungen, egal ob sie jetzt von einzelnen Konzernen kommen oder aus ganzen Branchen oder von Verbänden, wie es inzwischen eben auch sehr üblich ist, sind natürlich erstmal genau das freiwillig. Also das ist eine Erklärung von guten Absichten und edlen Zielen, die sind nicht bindend in irgendeiner Art und Weise und es geben, es geben sich eben auch keine konkreten Ansprüche daraus für diejenigen, die von diesen algorithmischen Enttaltungsprozessen betroffen sind. Eine freiwillige Selbstverpflichtung kann man nicht vor Gericht anführen, wenn es darum geht, irgendein Art von Schadensersatz einzuklagen für eine zu unrecht getroffene Entscheidung oder für einen gelöschten Account oder einen nicht gewährten Kredit oder ähnliches. Eine falsche medizinische Diagnose, die dann vielleicht schlimme Konsequenzen hat. Vor Gericht gelten eben nach wie vor nur Gesetze. Die Frage ist aber trotzdem, wirken sich diese Guidelines vielleicht doch irgendwie sonst positiv aus, weswegen es rechtfertigen würde, dass man inzwischen eben 84 davon mit großem Aufwand geschrieben hat. So, dazu gibt es jetzt eine aktuelle Studie, eines Ethikforschers an der Universität Tübingen, die sich 15 der wichtigsten Guidelines mal angeschaut hat, darunter auch die von Microsoft, von Google und von IBM. Und er kommt eben zu dem Ergebnis, dass die meisten in der derzeitigen Form weitgehend wirkungslos sind. Also er hat verweist auf eine andere Studie darin für die Studenten, Studierende und mehr als 100 Software-Entwicklerinnen befragt wurden und denen dann verschiedene ethischen Entscheidungen präsentiert wurden. Ich habe eben geschaut, macht das einen Unterschied, ob die eben vorher diese Guidelines vorgelegt worden sind oder nicht. Und ja, der Schluss, zu dem er dann kommt, ist eben, ja, the main finding was, that the effectiveness of guidelines or ethical codes is almost zero and they do not change the behavior of professionals from the tech community und verweist dann eben auf die Studie oder das Statement der anderen Wissenschaftler, die die Studie durchgeführt haben und sagen, es war im Grunde total egal, ob wir den das jetzt vorgelegt haben oder nicht. Wir haben da keine signifikante Unterscheidung feststellen können. Ja, schade. Eigentlich auch nicht so erstaunlich, wenn man bedenkt, welche Konsequenzen das dann überhaupt haben könnte, wenn man sich eben nicht an diese Guidelines hält, denn Stichwort freiwillige Selbstverpflichtung, der absolute worst case, der da eintreten kann, wenn man sich eben nicht dranhält, ist im Grunde ein Image-Schaden für den jeweiligen Entwickler, die Entwicklerin oder eben das Unternehmen. Aber auf der Skala möglicher Konsequenzen von hohe Geldstrafe bis hin zu Gefängnis, vielleicht am einen Ende des Spektrums und gar nichts, am anderen Ende des Spektrums ist Image-Schaden natürlich jetzt eher am Ende von gar nichts. Es ist jetzt kein, es ist ein eher schwacher Hebel, dass es jetzt darum geht, von irgendetwas abzuschrecken in dem Zusammenhang. Vielleicht ist es auch deshalb nicht verwunderlich, dass inzwischen nicht nur aus dem europäischen Rechtsraum, wo die Regulierung oder die gesetzliche Regelung von Industrie oder von der Wirtschaft starke und lange Tradition hat, sondern gerade aus dem anglo-sächsischen, aus dem amerikanischen Raum immer stärker, die stimmen nicht nur von den Philosophen, aber auch von den Experten und von der Politik, auch von den Netzachs der Listen, stärker werden, die sich dafür einsetzen, gerade den Bereich Datenschutz aber auch ein Einsatz von Algorithmen stärker zu regulieren. Jetzt um den Brustschneier zu nennen, der das schon seit längerer Zeit für den Bereich Informationssicherheit, Internet of Things und jetzt auch für den Algorithmen anfordert. Es geht um Mindestanforderungen, dieser aber bitte nach der europäischen Tradition verbindlich. Also die Kritik breitet sich gerade um die Selbstverpflichtungen. Es lohnt sich aber ganz einfach, den E-Beblick zu haben, das zu beobachten, wie die Trends auch da, PKE sind. Genau. Also hier nochmal ein Zitat aus dem Paper von Tilo Hagendorf, eben dem Ethiker, der das untersucht hat und es zeigt im Grunde, diese Guidelines, zumindest sofern sie im Moment aus der Industrie kommen, sind in allererster Linie PR-Massnahmen genau so muss man sie eigentlich auch betrachten. Die Botschaft dahinter ist, vertraut uns, wir machen das schon, ihr müsst da gar nicht erst irgendwie gesetzlich irgendwas regulieren, ist gar nicht notwendig, wir kümmern uns schon darum. Aber als Mittel, um jetzt wirklich die Risiken von algorithmischen Systemen zu regulieren und Menschen davor zu schützen, eignen sie sich nicht, muss man so hart sagen. Der Philosoph Thomas Metzinger, der auch in der High Level Expert Group der EU-Kommission zum Thema künstliche Intelligenz sitzt, bezeichnet diese Praxis als Ethicswashing, davon ausgehend. Unternehmen betreiben eine ethische Debatte mit dem Ziel, gesetzliche Regeln aufzuschieben. Und je länger diese Debatte aufzuschieben oder im Bestfall sogar ganz zu verhindern, je länger diese Debatte läuft, so das Prinzip, umso länger dauert es ja dann auch bis das hechtliche Gesetze gemacht werden und womöglich die eigenen Geschäftsmodelle entfindlich stören in irgendeiner Art, weil sie die wirklich wehtun könnte, auch finanziell wehtun könnte. Die Methode selbst ist vielleicht nicht ganz neu. Also wenn man ein bisschen zurückdenkt, kann man daran auch, sage ich, eine nicht sehr rummliche Methode, die in US-Senat praktiziert wird, die Sie da erkennen und die ist bekannt auch in Deutschland unter dem Namen Philipp Buster. Das ist so eine Methode, die heute noch sehr oft eingesetzt wird im Senat oder bei Gesetzesentscheidungen, die nie so populär sind und von Minderheit durchgesetzt werden sollen. Dann steht vorne so ein Redner, ein Sprecher, ein Philipp Buster. Dadurch dauer Reden, also die Entscheidung über ein Gesetz verhindert, dass Senats im Backgroundgespräche noch hektisch geführt werden, um einzelne Senatoren zu überzeugen, doch dem Gesetz zuzustimmen. Also Philipp Buster, Verzugerung, Technik, wer hat es erfunden? Nein, es waren nicht die Schweizer, es waren auch nicht die Amerikaner, die Technik der Entscheidungsverzugerung wurde tatsächlich in dem Euro-Missionen-Senat bereits bekannt und das finden wir in der Digitalen Wert auch immer wieder, gerade bei den Gesetzesverpflichtungen eine Art wie gesagt Verzugerungstagweg, solange man eine bestimmte Aktivität zeigt, ist eventuell die Gesetzgebung nicht notwendig, weil man selbst sich verpflichtet, bestimmte Regeln zu befolgen und diese sich selbst praktisch aufgibt. Ja, und Teil von diesem Philipp Buster ist eben nicht nur die Guidelines zu veröffentlichen, sondern das geht noch weiter. So viele Unternehmen finanzieren inzwischen eigene Ethik-Lehrstühle und die ganze Institute auch in Deutschland, also ein Beispiel hier aus München oder das Deutschland ist eben das Ethik, das Institut für Ethik in der KI das Facebook derzeit zum Beispiel finanziert, wo halt unabhängige Forschung betrieben werden soll, aber Facebook gibt quasi das Geld für diese Professoren und es gibt auch einen ganzen Haufen Verbände zum Beispiel die Partnership for AI, eine NGO in der dann Amazon Google IBM und wer nicht sonst noch alles sich zusammenfindet und auch auf solche Zusammenhänge kann man dann natürlich immer verweisen, wenn es dann irgendwie heißt aber müsste man nicht vielleicht auch irgendwie mit gesetzlicher Regulierung was machen. Aber das Entscheidendste ist vielleicht zu sagen, dass sich die Unternehmen ja tatsächlich auch sehr aktiv und maßgeblich und ganz direkt in die politischen Prozesse selber einbringen. Also wenn es dann darum geht Gesetzgebung zu entwickeln und ein Beispiel, an dem man das gerade sehr gut erkennen kann, ist die Arbeit der High Level Expert Group die im vergangenen Jahr von der EU Kommission eingesetzt worden ist und die zwei verschiedene Empfehlungen vorstellen sollte einmal eben ethische Guidelines für KI entwickeln sollte die wurden ich glaube im April vorgestellt auf jeden Fall Anfang des Jahres eher und in einem zweiten Schritt tatsächlich Empfehlung für eine konkrete Förderung für die Gesetzgebung, die sind jetzt gerade erst erschienen vor kurzer Zeit und da war es eben ganz interessant zu sehen wer sitzt denn eigentlich in dieser Gruppe, das sind 52 Fachleute die berufen wurden und diese Empfehlungen im Laufe eines Jahres erarbeitet haben und wenn man dann mal anschaut und das alles ausrechnet, dann sieht man 23 kommen direkt aus der Industrie also da sitzen dann zum Beispiel Vertreter Kendo, Nokia, Google und Airbus und so weiter und wenn man dann noch die Lobbyverbände dazu zählt also zum Beispiel Digital Europe oder solche Organisationen in denen eben die großen Konzerne auch ihre Lobbyinteressen organisieren in Brüssel, dann sind es im Grunde 26 Leute aus der Industrie die Hälfte dieser Gruppe sind Industrievertreter und dann kommen dann so absurde Sachen zustande wie das SAP zum Beispiel eigentlich dreimal da drin sitzt und da sind wir schnell durch ein KI-Experten der bei SAP arbeitet einmal durch den Vorsitzenden dieser Expertengruppe der im Aufsichtsrat von SAP sitzt und dann eben nochmal durch Digital Europe diese Lobbyverband in dem SAP halt auch mit drin ist auf der anderen Seite fällt dann auf wer dann nicht oder nur sehr kark drin vertreten ist und zwar sind in dieser Gruppe die ja eigentlich die Aufgabe oder eine zentrale Aufgabe hatte Ethic Guidelines zu entwickeln für Ethic tatsächlich was schon etwas erstaunlich ist eben wenn es darum geht Ethic-Richtlinien zu entwickeln es sind 10 Organisationen dabei für Verbraucherschutz und Bürgerrechte und wer aber gänzlich fehlt ist ein akademischer Experte für Datenschutz, auch das ziemlich interessant in einem Bereich wie eben Machine Learning und Automated Decision Making der so eng mit der Nutzung und Auswertung von Daten zusammenhängt würde man jetzt eigentlich erwarten dass da irgend jemand dabei ist der sich eben gezielt mit diesem Thema beschäftigt ist aber nicht der Fall und das ganze hat natürlich Auswirkungen, wir haben uns dann bei Netzpolitik mit mehreren Leuten unterhalten die in dieser High Level Expert Group sitzen und ursprünglich war eben die Aufgabenstellung der Gruppe eine der Aufgabenstellung war so genannte rote Linien zu definieren also ethische absolute Grenzen wo man sagt das ist nicht verhandelbar das soll niemals erforscht werden oder KI oder Algorithmen zu solchen Zwecken eingesetzt werden ja das geht dann um solche Sachen wie Citizen Scoring es geht um autonome Waffensysteme oder eben auch automatisierte Identifikationen mit Hilfe von Gesichtserkennung oder eben verdeckte Algorithmen also einfach Bereiche wo man sagt ganz klar das ist nicht verhandelbar das soll niemals in der EU passieren so diese Punkte stehen auch nach wie vor die haben wir schon geschwunden aus dem Papier die heißen jetzt aber nicht mehr rote Linien sondern diesen Begriff rote Linien haben die Industrievertreterinnen erfolgreich getilgt sondern jetzt ist nur noch die Rede von Bedenken und Spannungen zu denen sich eben diese ethischen Leitprinzipien verhalten könnten und davon dass man Abstriche machen müsste und diese Abstriche gut dokumentieren soll und so weiter und so fort also sprich einfach sprachlich entschärft das kann man jetzt alles für eine politische Spitzfindigkeit halten aber ich finde es zeigt sehr gut wie groß der Aufwand ist den die Industrie betreibt selbst in einem Bereich wo es ja erstmal darum geht etwas zu produzieren das rechtlich immer noch nicht bindend ist denn diese Ethik Guidelines und auch die Empfehlungen die die High Level Expert Group jetzt vorstellt sind immer noch nicht bindend das sind erstmal nur Guidelines an die man sich halten kann wenn man Lust dazu hat dann auch keine Konsequenzen zu fürchten hat das Einzige ist man geht eben davon aus dass sie natürlich beeinflussen könnten wie jetzt eben die Politik der eben Kommission ausfallen könnte in der nächsten Legislaturperiode deswegen da schon mal präventiv sehr spiel Energie darauf verwandt worden ist sich dazwischen zu schalten so deshalb wie gesagt es war jetzt ein sehr guter Übergang um letztendlich auch sich zu überlegen wie könnte man das Dilemma lösen wir haben jetzt uns genau angeschaut was praktisch sich die Industrie oder Wirtschaft wünscht oder mehr oder weniger nicht wünscht jetzt wollten wir aber auch aufzeigen ob es eventuell Ansätze ergibt mit denn man zu konkreten Lösungen kommen kann und unser Vorlieber für Gesetze ist ein bisschen schon deutlich geworden und da haben wir tatsächlich auch ein paar Vorschläge wie man es oder wo man es wenigstens wo man anfangen könnte wenn man für die Regulierung der Algorithmen sich einsetzen möchte erste bekannteste glaube ich von einem Gesetzen seit der Einführung im Mai letzten Jahr ist, 2018 ist das eine Schutzgrund für Ordnung die schon dadurch dass sie einen gewissen Schutz von Personen oder wenigstens Personen bezogenen Daten gewerleisten sollen, gut geeignet ist um einige Regelungen einige Entschuldigung, Einschränkungen viel Nutzung von den Trainingsdaten aber auch von den operativen Daten in Ländern Algorithmen und bei automatisierten Entscheidungen einsetzen oder regulieren könnte Chris möchte das so wie das DSG oder also genau, es ist eben nicht so dass es überhaupt gar nichts gibt im Moment an Regulierung wie Alexander hat meinte sondern es gibt ja schon Bereiche zum Beispiel die DSGVO, da steht eben tatsächlich drin, dass Betroffene nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidungen unterworfen werden so das klingt erstmal total gut das Problem liegt in diesem kleinen Wort ausschließlich denn in dem Moment wo eine Person noch da sitzt, die einmal Knopf drückt, also im Grunde algorithmisches System wirft eine Prognose aus dann wird aber nicht automatisch der Kredit abgelehnt, sondern eine Sachbearbeiterin oder Sachbearbeiter muss nochmal auf ok drücken, dann ist es keine ausschließlich auf Automatisierung beruhende Entscheidung mehr dann wäre es auch sozusagen von der, nach DSGVO nicht mehr problematisch so das ist auch eine der Gründer, warum man wie sein Artikel 22 sehr oft als ein stumpfes Schwert bezeichnet weil es nicht nur diese Voraussetzung von vollautomatisierten Entscheidungen mit sich bringt, was niemand richtig definieren kann und was man leicht wie Chris gerade erklärt hat auch umgehen kann mit Leichtigkeit aber auch das Wegen, weil es mit bestimmten Ausnahmen auch geht, das heißt der Betroffene kann mal wieder einwählingen und dann ist wieder Artikel 22 Geschichte es gibt noch einen anderen Artikel Artikel 15 DSGVO der eben bestimmt das Betroffene über die involvierte Logik einer Verarbeitung informiert sein müssten das heißt im Grunde sind Juristinnen sich aber auch nicht einig was das jetzt bedeutet, also heißt das jetzt dass die Wirkweise des Algorithmus offengelegt werden müsste müsste der Code jetzt offengelegt werden müsste einfach nur offengelegt werden woraufhin ist dieses Algorithmus optimiert also es ist völlig unklar was es eigentlich heißt und ob das überhaupt möglich wäre im Zusammenhang mit algorithmischen Logik offen zu legen die dahinter steckt eben so was ist da natürlich ebenfalls schon gibt es sind Antidiskriminierungsgesetze in Deutschland wir haben irgendwie das allgemeine Gleichbehandlungsgesetz in Deutschland dass die Benachteiligung auf Basis von Religion Alter Geschlecht und so weiter also vielen weiteren Kategorien explizit unter Strafe stellt das Problem bei diesem Gesetz ist das greift erst in dem Moment wo eine Benachteiligung also ein konkreter Schaden erfunden hat solange will man aber ja eigentlich nicht warten also das Problem bei justiziabel ist es erst in dem Moment wo das eben passiert ist wenn man jetzt aber vorab schon würde eingreifen wollen einfach nur weil man feststellt ah das System diskriminiert aber auch wenn es konkret noch niemand da durch einen großen Schaden erlitten hat dann wäre das im Moment mit Antidiskriminierungsgesetzen wie wir sie derzeit haben nicht möglich so und dann vielleicht noch als machen wir noch ein Wrap up jetzt klären einmal kurz was jetzt auf gerade auf Ebene der EU passiert weil da ist gerade einiges in Gange also Ursula von der Leyen hat als neue Kommissionspräsidentin ja angekündigt dass sie innerhalb der ersten 100 Tage im Amt eine Gesetzesinitiative zu KI und auf den Weg bringen will die Frage ist allerdings woher jetzt so schnell sich diese ganzen Ideen formieren sollen denn die High Level Expert Group hat zwar Vorschläge dazu gemacht wie KI in der EU gefördert und reguliert werden sollte aber die sind jetzt noch nicht ausgereift auf einem Level dass man da jetzt innerhalb von wenigen Monaten schon konkrete Gesetzesvorschläge daraus machen könnte so und im Moment ist eben noch interessant dass Berichte der Financial Times jetzt gerade öffentlich geworden sind dass es darum geht im Datenschutz Ausschuss der EU Kommission zumindest gerade darüber gesprochen wird den Einsatz von Gesichtserkennung sehr stark und viel stärker zu regulieren als es jetzt gerade der Fall ist und dass es da nur noch ganz strenge Ausnahmen geben darf in denen das eingesetzt werden darf und ebenfalls relativ revolutionär wäre das Daten aus Videoaufnahmen die potentiell sich für Gesichtserkennung eignen könnten in Zukunft als biometrische Daten klassifiziert werden sollen was eben auch diesen den Einsatz dieser Technologie sehr stark einschränken würde da könnte man eben nicht mehr und es würde eben auch nicht mehr erreichen aufzuhängen, hier hängt eine Videokamera und damit geht man davon aus jeder der da durch vorbeiläuft gibt es schon seine Zustimmung also das heißt es passiert gerade viel Verschärfung auf eben der EU das wird jetzt interessant zu sehen was da kommt es kommen jetzt auch bald im Sommer hieß es es ist jetzt eine sehr ausgeregte Definition von Sommer aber demnächst kommen auch die Vorschläge der Datenethik Kommission und es wird auch nochmal interessant sein was da passiert sollen wir da noch mal ganz kurz, ganz genau ganz einfach um zu verdeutlichen dass ein Gesetz oder eine Vorgabe vielleicht nicht hinreichend auch oft ist um eine kontrollierbare Prüfbarkeit auch korrekten Durchführungen wie man jetzt bei Netz.DG zum Beispiel sehr schön beobachtet, gewährleistet gibt es auch zusätzliche Methoden an denen auch aktuell gearbeitet wird die allerdings die Schwäche haben sie sind nicht verbindlich ich spreche hier zum Beispiel von solchen Möglichkeiten wie Zertifizierungen wir haben für Bereitsicherheit Zertifizierungen die sehr verbreitet sind ISO 27001 und so weiter Nachweise, viel kritis Bereiche doch diese sind entweder auf kleine Bereiche der Wirtschaft zu sind thematisch sehr eingeschränkt oder wie gesagt auch da sind sie nicht verpflichtend man kommt drum herum Zweite sind Audits und Prüfungen zum Beispiel so eine Jahresabschlussprüfung die bereits jetzt Blöcke und Bestandteile für Prüfungen der Rechnungsrelevanten Systeme beinhaltet und jährlich in jedem Fall ist glaube ich mein Zwischen durchzuführen ist, eine Testate in die Prüfer erstellen ist, sage ich, beschränkt jetzt auf die Unternehmen die Aktiengesetz unterliegen allerdings ist es auch eine Möglichkeit die wenn sie verpflichtend für alle Unternehmen ist so eine Prüfbarkeit oder Kontrollierbarkeit wie wir leisten könnte oder das heißt diskutierte Thema Sicherheits- oder Qualitätssiegel wir haben sogar einen Vorschlag von einem KI Bundesverband angetragene Verein wie ein KI, kein Zeichen sind glaube ich neun Seiten, hinten ist sogar eine Seite wo man unterschreiben kann dass man einem KI Gütersiegel zugestimmt hat natürlich hat das keinen verbindlichen Charakter und es ist auch keine Möglichkeit praktisch zu überprüfen eine Guideline die man auch noch zusätzlich unterzeichnet also da muss noch vieles gemacht werden jetzt ist die Frage, kann man so was Simples machen geht das nicht, vielleicht so was wie Robotergesetze von Asimov aufzustellen und die geltend machen erinnert sich noch jemanden wie die Gesetze sind was das erste Robotergesetz war ich sehe euch jetzt nicht genau aber das erste Gesetz wie soll man mit den Menschen umgehen das darf der Roboter nicht machen der Menschen Schaden zuvögeln darf er nicht, war das erste Gesetz das zweite, logischerweise wenn der Mensch dein Herr ist, darf man was ihm nicht tun es ist heiß, ich weiß darf man ihm kein Schaden zuvögeln und das dritte Gesetz kriegen wir das noch hin man darf sie selbst nicht verschädigen, das sind die drei Robotergesetze von Asimov, wo man auch heute sagt vielleicht sind sie nicht so zutreffen kann man den Robotern was verbieten ein schönes Beispiel dafür ist die Arbeit von Professor Bendl der arbeitet in Zürich und hat ein Staubsauger Roboter mit seinen Studenten entwickelt der Insektenjont das heißt, wenn der Staubsauger unterwegs ist und ein Insekten entdeckt ein Marienkäfe nicht Maikefe, Marienkäfe dann stoppte man kann per Vorgabe auch ein System, einen autonomen Roboter bestimmte Sachen verbieten dann vielleicht noch einfach ein Schlussplädoyer also die Prozesse um Gesetzgebung laufen gerade wer sich dafür interessiert wie diese Regeln letztlich aussehen werden die uns als EU-Bürgerinnen und Bürger alle betreffen werden kann das in den nächsten Monaten besonders aufmerksam verfolgen und sich vielleicht sogar mit eigenen Vorschlägen einbringen was in diesen Gesetzesinitiativen dann tatsächlich drinstehen soll man kann nämlich davon ausgehen dass Google, IBM, Facebook und so weiter gerade schon eine ganze Armada von Leuten in Brüssel sitzen bleiben die mit Hochdruck an genau diesen Themen arbeiten und am Ende läuft es auf die ziemlich einfache Frage hinaus wem sollten wir es überlassen die Regeln für unser Zusammenleben mit Maschinen zu gestalten sollten das diese Konzerne sein oder wie holen wir uns da selbst die Gestaltungsmacht zurück vielen Dank vielen Dank Chris und Alexandra und wir haben jetzt noch 5 Minuten um Fragen und Antworten hier zu stellen und zu beantworten dafür ist ein Mikrofon in der Mitte hier vorne und ein Mikrofon da hinten in der Mitte vor dem großen Tisch und bitte kommt doch zu den Mikrofon hin wenn ihr Fragen habt ja hallo ich würde gerne nochmal zurückkommen auf die Studie in der Belegt worden sein soll dass die Richtlinien keinen Einfluss auf das Verhalten von KI Forschern haben da würde mich schon mal das Studiendesign interessieren denn in dem Moment wo man Leute fragt die was von KI verstehen aber noch nie mit einer der 84 Richtlinien in Berührung gekommen sind das kann ich mir ehrlich gesagt schlecht vorstellen und von daher habe ich so meine leisen Zweifel an der Signifikanz der Studie aber vielleicht ist das Studiendesign ja viel besser als ich denke wir können die Quellen dazu noch weiter angeben das heißt sie können sich die Studie dann auch selbst anschauen wenn sie das interessiert soweit ich das jetzt gesehen habe geht es darum dass es in sogenannten Vignetten vorgelegt in dieser stelle würden sie das jetzt so oder so machen und welche Probleme könnten sich dabei ergeben und da wurde eben keine signifikante Abweichung festgestellt egal ob man den Leuten eben vorher quasi die ethische Leitlinie dazu gegeben hatte oder nicht in ihrem Verhalten in ihrem Verhalten ganz kurze Frage, waren das Leute die im KI-Feld tätig waren oder waren das ganz normale Fußgänger? Nein, nein, das waren Softwareentwicklerinnen und Studierende also es waren entweder Leute die das selbst in der Praxis gearbeitet haben um dieses Thema zu entwickeln oder eben gerade ausgebildet werden um das zu tun. Aber am besten selbst anschauen, weil die Studie ist bestimmt sehr spannend. Weitere Fragen? Ist da hinten eine Frage? Nein, hier vorne. Ich noch eine Frage bezüglich der Konkurrenz z.B. wenn man schaut z.B. noch China oder in die USA wo jetzt wahrscheinlich die Richtlinien jetzt nicht so streng wahrscheinlich sein werden bezüglich KI besteht da nicht die Gefahr dass jetzt Europa technologisch irgendwie abgehängt wird? Das ist tatsächlich durchaus möglich, ja? Das ist durchaus möglich und oft wird auch damit begründet warum so wenige Gesetze gerade in diesem Bereich entstehen man gibt vor dass Regulierung die Entwicklung oder die Innovation bremsen würde erwiesen ist es nicht und wie gesagt inzwischen gerade im Bereich Datenschutz ist es besonders deutlich sind die Stimmen aus USA gerade auch von Netzwerksleisten wie Wolfsky z.B. in Silicon Valley als Software entwickelt hätte ich es sehr stark die Vorderen Einbindung, Beteiligung von Politik die sagen ohne Politik würden sich Menschen gegenseitig umbringen da muss jemand dahinter stehen der Gesamt überblickt hat und nicht nur die Bäume sieht sondern auch im Wald überwacht und ich denke das ist ein interessanter Ansatz besonders dass in Europa eine Tradition hat und wir mitkriegen dass die Selbstverpflichtungen in USA auch nicht mehr die Wirksamkeit zeigen wie sie zu Anfang der Industrialisierung das Taten weitere Fragen ja vielen Dank für eure Bemühungen die Frage ist also das mit den einzige Bemerkungen ist das mit den Robotergesetzen ist ein bisschen naiv also dass man entscheiden kann was gut und böse ist ist ja wirklich schon schwierig genug wie gehen wir damit um wenn die Algorithmen einfach aus den Datenmengen die Diskriminierungen lernen die in den Daten schon drin sind also wenn sie lernen ohne dass da die Zuordnung nach Hautfarbe oder Geschlecht drin ist dieselben Diskriminierungen zu machen die das normale Gesetz oder die normalen Richter schon machen oder bei sprachlichen Programmen zum Beispiel die Berufsbezeichnungen halt immer an die Geschlechter anpassen ohne dass das irgendjemand haben dafür reproduzieren die nur den ganzen kulturellen Bios und im Grunde müsste man große Teile der Kultur einfach mal von diesen Vorurteilen reinigen das kann ja jetzt auch irgendwie nicht so stehen bleiben das muss ja auch Teil des Prozesses sein wie wollt ihr damit umgehen genau also dieses Problem der Diskriminierung und der übernommenen Diskriminierung aus schon verzerrten Daten das ist das größte Problem im Zusammenhang mit der Entwicklung dieser Systeme der Zeit und das ist also das sehen wir an den Beispielen wo das der Fall ist im Grunde kann es da nur ein Bewusstsein also das was Sie jetzt gerade angesprochen haben ist ja dieses Problem des Proxy Bios also selbst in dem Moment wo ich zum Beispiel die Kategorie Hautfarbe oder Geschlecht gar nicht erst erhebe findet ein Algorithmus oder ein Datenmengenmuster die uns als Menschen gar nicht auffallen würden und schafft es dann diese Diskriminierung trotzdem fortzusetzen im System auch wenn das oft von den Entwicklerinnen gar nicht beabsichtigt ist oder eigentlich sogar das Gegenteil des Ziels und das ist eines der größten Probleme der Zeit wo ja irgendwie eine Lösung gearbeitet wird aber das ist sehr schwer zu lösen es zeigt sich auch daran dass ja selbst Konzerne wie Amazon am Ende in die Tonne gekloppt haben weil sie dieses Problem nicht geschafft haben zu lösen und ich glaube genau das muss dann die Lösung sein also am Ende ist ja auch wie Sie gesagt haben nicht der Algorithmus derjenige der Diskriminiert der kann ja gar keine Absichten verfolgen sondern es geht darum dass diejenigen die in den verantwortlichen Positionen sind darüber zu entscheiden ob dieses System zum Einsatz kommt oder weiter eingesetzt wird dann im Zweifelsfall den Stecker ziehen weil sie das erstens erkennen und zweitens die Konsequenz daraus ziehen gilt übrigens auch für sehr schlechte sehr hohe Fehlerquoten von Systemen also sind diese Systeme dann bereit um sie schon einzusetzen vielleicht dann eher nicht und dann muss ein Mensch der dort sitzt die Entscheidung treffen dass das System dann nicht eingesetzt werden darf oder diese Entscheidung korrigiert werden müssen ich glaube das ist die wichtige Konsequenz daraus bitte schnell fragen und bitte schnell antworten der Grundtäter war ja sehr kritisch gegenüber Regeln jetzt bin ich mir nicht sicher dass ich das Beispiel des Schaubsaugerrobots das ein positiv Beispiel sein sollte ein Gegenargument sein sollte weil dann würde ich mich freuen über den Gedanken zum Türöffnerargument weil die Geschichte geht ja noch weiter dass dann das Team um Bandel angefangen hat den Roboter so zu programmieren dass er vorzugsweise Spinnen einsaugen soll und dann quasi dieser Marienkäfer einen Stoß gegeben hat in eine andere Richtung jetzt noch mal die Frage war das ein positiv Argument also ein Gegenbeispiel für eine gute Regelstellung dieses Marienkäfer Beispiel oder das war ein positive Beispiel für eine Vorgabe ich sage nicht das Vorgaben das Optimum 9 plus Ultra sind aber man kann viele Probleme dadurch lösen auch teilweise das Problem mit den falschen Trainingsdaten denn dann muss man sich dazu entschließen eine Vorgabe zu machen die Algorithme die Roboter lernen auf verschiedene Arten durchbeobachten das dauert meistens eine lange durch Auswerten von Massendaten oder praktisch mal multi in eine Vorgabe machen deshalb heißt das ja auch Algorithmus wenn du jetzt dahin kommst geh nach links oder nach rechts wenn diese Bedingung auftaucht geht dann nach oben wenn diese Bedingung auftaucht bitte mach das maskines und wir texen gerade ein bisschen drumherum diese Vorgabe zu machen denn ihnen zum Beispiel eine Entscheidung über eine Einstellung von einer Person müsste man sonst dem Algorithmen die falschen Daten gerade arbeitet die unsauber sind, die einen Bias enthalten eine Vorgabe machen wenn du einen weißen und einen schwarzen Bewerbe hast ich weiß das ich politisch nicht korrekt bin aber ich kenne die aktuellen auch die Bezeichnung jetzt nicht entscheide dich bitte für weißen genau wie lautet dann die Vorgabe das heißt man müsste ihnen auch die Vorgabe einprogrammieren deshalb wie gesagt für Vorgaben das ein sehr sehr schöner Beispiel für die Vorgabe zu machen zuerst muss aber jemand für diese Vorgabe auch Verantwortung übernehmen und die Entscheidung auch treffen und das ist sehr schwierig vielen herzlichen Dank Chris und Alexandra ein Applaus für euch