 Beruf ich damit und ich werde jetzt Kavrin übergeben. Okay, vielen Dank für die Einleitung und vielen Dank, dass ihr alle hier seid, dass ihr alle hier seid und ich weiß, der Kongress ist sehr aufregend und ich freue mich echt, dass ihr Zeit mit mir verbringen wollt. Es ist auch mein erster Kongress und ich mit auch natürlich viele Leute treffen und wenn ihr später mit mir reden wollt, könnt ihr auch einfach vorbeikommen und High sagen und heute sprechen wir über Deep Learning Blind Swap, also wie man Künstliche Intelligenz täuschen kann und ich möchte Künstliche Intelligenz in Anfangszeichen sagen, weil es halt schwierig zu definieren ist und ich möchte darüber sprechen, wie Deep Learning funktioniert und und ich frage uns jetzt und jetzt frage ich ist Künstliche Intelligenz immer intelligenter, wer hat das immer intelligenter und wenn man jetzt ein Brause öffnet und meistens ist es halt krumm und krumm fragt mich halt, okay was will ich eigentlich und dann kommt natürlich auch solche Schlagzeilen, sind Computer bereits klüger als Menschen und wenn das so ist, dann können wir eigentlich alle nach Hause gehen, weil dann ist ja eigentlich alles geklärt, weil dann übernehmen die Computer alles, weil die Computer regeln für uns alle. Aber das ist nicht wahr, richtig? Wir wissen das, weil wir alle mit Computern arbeiten und wir wissen wie dumm sie manchmal sind. Sie sind echt stof und meistens tun wir einfach so, dass also wir sorgen dafür, dass die Computer das tun, was wir ihnen sagen und mit der gleichen Art von Titelzahlen, die man hier sieht, sieht man halt auch solche Titel und dann ist die Frage halt und Face ID kann halt zwei Menschen nicht voneinander unterscheiden und das hört sich eigentlich ganz gut an, wenn jetzt Face ID vom iPhone nimmt, dann wäre das natürlich gut, wenn man sich das Telefon anschaut und das Telefon ein Wiedererkennt, aber das schafft das iPhone nicht immer und für diese zwei Chinesinnen funktioniert es nicht, also funktioniert das nicht, weil die Kolleginnen von der einen Chinesen dazu viel war, das Handy von anderen zu öffnen mit ihrem eigenen Gesicht und das Problem sind dann halt auch Vorurteile, die in den Trainingsdaten sind, die wir verwenden, um die Machine Learning Modelle zu trainieren und manchmal gibt es weitere Probleme mit den Modellen und den Trainingsdaten, je nachdem was man versucht heraus also zu schaffen, wenn jemand mich fragt, wird künstliche Intelligenz die Welt übernehmen und wird es einmal ein künstliche Intelligenz Anführer geben wird, dann und wenn wir solche elementaren Sachen wie jetzt Gesichterkennung nicht schaffen, zuverlässig schaffen, dann mache ich mir weniger Sorgen, dass sowas wie eine superintelligente AI uns alle unterwerfen wird und aber es gibt halt Institutionen, die sehr stark in Machine Learning glauben und auch sehr viel Daten sammeln und auch sehr viele Daten über uns, also uns alle hier sammeln und das ist weil die Revolution, die wir jetzt sehen in Machine Learning hat nicht so viel mit neuen Algorithmen zu tun oder es hat viel mehr damit zu tun, dass wir mir, dass wir einfach viel mehr Rechenkapazität haben, viel größere Datensätze haben, wir haben Peter Beitz von Daten pro Stunde und je mehr und wir können halt damit Sachen auch ausgleichen, die nicht so gut funktionieren, einfach durch diese große großen Datenmengen und wir sehen halt verschiedene Firmen, die halt sehr stark in die künstliche Intelligenz investieren und diese Firmen sammeln mehr und mehr Daten über uns alle, Google und Facebook haben mehr als eine Milliarde aktive Nutzer und ich war sehr überrascht darüber, dass sich den Rest der Leute verstanden und sie wachsen halt so sehr wie die DSL Verbindung verfügbar sind und sie nutzen auch Technologie wie Grafikkarten, Cluster und TPUs, um halt schneller und effizienter Berechnungen durchzuführen und sie werden definitiv nicht das Interesse an diesem Thema verlieren und jetzt ist die Frage, wie können wir damit umgehen? Eine Sache, die jetzt erforscht wird, ist das, worüber wir heute sprechen werden und das ist gegnerisches Lernen, aber das Erste, worüber wir sprechen, ist, was ist eigentlich Hinterkünstliche Intelligenz oder was wir unter künstlicher Intelligenz verstehen? Meistens, wenn man über künstliche Intelligenz spricht oder Siri, dann, dann spricht man über ein klassisches regelbasiertes System. Das ist eine Regel und wenn sie eine Anfrage kriegt und diese Anfrage passt auf eine Regel, dann weiß Siri, wie sie darauf antwortet. Das ist eine Version von KI, wo die Sachen eigentlich schon vorprogrammiert sind. Eine andere Form, die jetzt für zum Beispiel Roboter verwendet wird, ist generalistische KI, die halt relativ ähnlich zu einem Menschen sein soll, die verwendet Reinforcement Learning. Also eine Methode, bei der immer Feedback, also wo das System Feedback bekommt, eine Aufgabe wird erfüllt und je nachdem wie gut die Aufgabe erfüllt wurde, gibt es dann entsprechend positives oder negatives Feedback und auch modifiziert je nachdem wie wichtig diese Aufgabe war oder wie groß der Einfluss der erfolgreichen Bewältigung der Aufgabe war. Und ich werde da jetzt nicht so sehr ins Detail gehen. Worüber ich jetzt aber sprechen werde, ist neuronale Netzwerke oder auch wie manche Leute es gerne nennen, Deep Learning. Und hier ist ein Beispiel für ein neuronales Netzwerk. Wir haben ein Eingabe, ein Eingabe-Ebene und da machen wir eine quantitative Version unserer Daten und dann konvertieren wir diese Daten in Zahlen und dann kann man halt mehrere versteckte Layer haben, das sind die blauen Kreise und je nachdem wie tief dieses neuronale Netzwerk ist, kann man halt mehrere hidden Layer, also versteckte Layer haben und dann haben wir ja noch noch überall Gewichte an den Verbindungen zwischen den Knoten und ganz am Ende haben wir den Output, der dann feststellt, was für eine Art schon Input das war und abhängig davon was, was wir eigentlich vorhaben kann halt der Output halt das ungefähr das gleiche in die gleiche Dimension abbilden wie der Input, aber kann auch was komplett anderes darstellen. Also es kann halt eine komplett andere Art von Information sein. Also wenn es der Input-Bilder sind, dann kann der Output sein, einfach eine Klassifikation, ob etwas auf dem Bild eine Katze ist oder ein Hund und wie man das trainiert, ist mithilfe einer Methode sich Backproperation nennt und es ist und es gibt da verschiedene Methoden, die beliebste Methode ist der Stochastic Gradient Descent und das funktioniert ungefähr so, dass man von der Output-Ebene geht und dann rückwärts in Richtung Input-Ebene geht und dann sagt man halt, wie inwieweit sich die Gewichte, also die Gewichte auf den Verbindungen zwischen den Knoten im Netzwerk, wie die angepasst werden sollen, während das Netzwerk lernt, damit das Netzwerk immer präziser wird in sein Vorhersagen und das ist eine sehr generelle Übersicht darüber, wie das alles funktioniert und das coole daran ist und weil es so funktioniert ist, können wir das Netzwerk auch täuschen und Leute haben dann auch Forschung betrieben, wie man das Ganze täuschen kann, also es gibt sehr viel Forschung dazu und hoffentlich werden wir auch selber dann entsprechend effektiv darin sein, diese Netzwerke zu täuschen. In 2005 wurde das Paper zu Gegnerisches Learning, also Adversarial Learning publiziert und es ging darum, dass man einen informierten Angreifer hatte mit dem man das Netzwerk angegriffen hat oder mit dem man das Netzwerk getäuscht hat und was sie zeigen konnten, ja es war möglich das Netzwerk zu täuschen, es ist nicht nur eine Frage von Versuchen und Scheitern und dann nochmal versuchen, sondern es es war ihnen möglich, dass sie Algorithmen definieren konnten oder erschaffen konnten, die effektiv dieses Netzwerk täuschen konnten. In 2007 gab es auf dem NIPPS Workshop, welches eine sehr beliebte Machine Learning Konferenz ist, wo es wurden Anwendungsfälle gezeigt, die in Computer Sicherheit relevant waren und dabei ging es dann auch um Viruserkennung und Spermerkennung, aber es gab auch einige Vorträge darüber, wie man halt die Netzwerke dann auch wieder täuschen kann und wie man dann diese Täuschungsversuche wiederum abwehren kann. In 2013 gab es ein großartiges Paper in Angriffen gegen Support Vector Machines. Support Vector Machines sind lineare Klassifikatoren, die keine normalen Netzwerke sind und die relativ simpel zwischen verschiedenen Arten von Inputs unterscheiden können. Sie können halt sagen, ob ein Input positiv oder negativ ist. Das können sie klassifizieren oder erkennen. Was in dem Paper dann gezeigt wurde in 2013 wurde, dass die Eingabe-Dateien mit dem trainiert werden sollte, wurden die Eingabe-Dateien verfälscht und dadurch konnte er zeigen, dass, wenn die Daten auf bestimmte Art gefälscht waren, was möglich Spam-E-Mails, also als Nichtspam zu klassifizieren, hat auch noch einige andere Sachen, also die Gruppe hat noch ein paar andere Sachen studiert und dann in 2014 und dann gab es in beim Google Brain Project eine Veröffentlichung zu interessanten Eigenschaften von neuronalen Netzwerken, wo sie dann gesagt haben, dass es eine lineare Eigenschaften gibt in diesen Netzwerken gibt, die man auslösen kann, um die Netzwerke zu täuschen und sie haben dann einige Methoden eingeführt, die sie dann auch vorgestellt haben. Also wie funktioniert das jetzt? Wir wollen uns nun erstmal eine Intuition aneignen, wie das funktioniert. Dieses Eingraf von gradient descent und bei gradient descent haben wir die vertikale Achse, das ist unsere Kostfunktion und was wir versuchen ist, wir versuchen die Kosten zu minimieren. Wir wollen den Fehler minimieren und daher, wenn wir anfangen, nehmen wir random Variablen und fangen damit an und dann versuchen wir zu einem Punkt zu kommen, wo diese Werte eine Bedeutung haben, selbst wenn das nur eine mathematisches Muster ist. Daher fangen wir jetzt mit dem hohen Bereich des Grafen an und da haben wir einen hohen Fehler und dann versuchen wir zu dem tiefsten Punkt des Grafen zu kommen und das ist der dunkelblaue Bereich, aber manchmal was passiert, wir gehen jetzt also durch die viele Trainingszyklen und wir hoffen, dass wir uns verbessern, aber was manchmal passieren kann, ist, wir können vom anstelle des globalen Minimums können wir im lokalen Minimum innen. Das ist ziemlich gut, das ist ein sehr niedriger Fehler, das heißt wir können, wir sind trotzdem gut, aber wir kriegen nicht die beste Antwort. Was Feindliches Lernen versucht und Feindliches Lernen versucht diesen Fehler wieder anzuheben. Essenziell versucht es also den, diesen Fehler wieder anzuheben durch Perthobation und Veränderung der Daten und das tun wir, indem wir wir versuchen jetzt also das Network dieses Netzwerk auszutricksen, indem wir das das lokalen Minimum jetzt wieder anheben. Also was ist jetzt ein generisches Beispiel, wie sieht das eigentlich aus? Das habt ihr vielleicht schon online gesehen. Hier es gab es gab eine Reihe von Forschung am MIT und es wurde darüber debattiert, ob man in der Realität solche Beispiele tatsächlich konstruieren konnte und was die Forscher zeigen konnten war, dass sie eine 3D gedruckte Schildkröte produziert haben und sie sieht auch wie eine Schildkröte für euch aus und diese 3D gedruckte Schildkröte wurde auf ein neuronales Netzwerk, ein neuronales Netzwerk wurde darauf losgelassen und das neuronale Netzwerk hat gesagt, dass es ein Gewehr ist und keine Schildkröte und was ihr vielleicht und zwar von jedem Winkel und was ihr vielleicht sehen könnt ist, dass es eine leichte Farbenverfärbung auf der Schildkröte gibt und sie haben halt die Farben und die die Oberfläche der Schildkröte gezielt manipuliert, um das Netzwerk zu täuschen und was wir hier sehen ist, ja es kann in der Realität getun werden und wenn ich das sah, dann habe ich mich total gefreut, weil Videoüberwachung ist eine Realität und wenn wir Videokameras täuschen können und andere Sachen in der Realität täuschen können, das ist ziemlich cool und warum existieren diese generischen Beispiele? Wir sprechen ein bisschen über einige Sachen, die Ernährung sind von den Sachen, die wir die tatsächlich passieren. Ich werde jetzt nicht alles im Detail erklären, sondern auch ein bisschen für all Gemeindungen, also es ist, ich werde ein bisschen imprezise sein mit meiner Erklärung und die Bilder, die wir links sehen, sind die ursprünglichen Bilder und rechts haben wir das Bild, das wir am Ende erreichen wollen. Wir wollen, dass das Netzwerk am Ende das Rechte sieht und was die Forscher getan haben, sie haben die verschiedenen Ebenen im Netzwerk attakiert und haben dann halt Manipulation vorgenommen und als sie die verschiedenen Ebenen angegriffen haben, kann man hier in diesem Diagramm sehen, was intern passiert und neuronale Netzwerke, die können natürlich selber eigentlich nicht sehen, aber wir können diese Sachen visualisieren und wir können diese internen Werte mit unseren eigenen menschlichen Augen sehen und visualisieren und wir können halt diesen Lernprozess mitverfolgen und was wir hier ganz klar sehen hier im Netzwerk ist, dass wir sehen einen pinken Vogel, das ist nicht für ein menschliches Auge sichtbar, wenn man ganz genau hinschaut, dann ja da ist ein bisschen pink, ein bisschen grün, aber das neuronale Netzwerk ist dabei ausgetrickst und Leute wissen, sie wissen nicht, warum diese blinden Punkte oder Totenwinkel existieren, es ist immer noch eine offene Forschungsfrage und warum es halt so einfach ist, neuronale Netzwerke so einfach auszutrickseln und es gibt einige und es gibt halt Forscher, die glauben, dass neuronale Netzwerke halt im Prinzip immer noch sehr linear sind und das ist deswegen auch noch relativ einfach ist, sie zu täuschen, aber es gibt andere Leute, die daran glauben, dass es halt diese Taschen, diese lokalen Minima gibt, die man als Nutzen kann, um diese Netzwerke gezielt auszutricksen und wir können die Netzwerke unter bestimmten Bedingungen täuschen und das ist immer noch ein aktives Forschungsfeld und wir machen einige, ich werde noch mal einen kurzen Überblick über die bliebtesten Methoden auf mathematischer Ebene zeigen und das erste ist die gradienten Vorzeichenmethode und was wir haben ist eine Kostfunktion, die mit der wir unser Netzwerk trainieren und wir nehmen die das Vorzeichen, also das gradienten Vorzeichenmethode und also intuitiv, was wir machen ist, wir versuchen eine Annäherung von einer Ableitung einer Funktion zu berechnen und das kann uns erklären, in welche Richtung die Funktion geht und wenn wir es vorhersehen können, dann können wir es halt erwarten und gezielt dagegen vorgehen und wir können dann den ursprünglichen Infotainem und den Anmerken, das ich übersetzt habe, jetzt leider nicht verstanden und und das jacobische Matrix, also die Funktion nutzt diese jacobianische Matrix, die jacobische Matrix schaut sich die vierte Ableitung einer Funktion an und wenn man das bei einer Kostfunktion macht, also wenn man es auf eine Kostfunktion anwendet, dann bekommt man eine Matrix raus und kann daraus eine punktweise Annäherung berechnen. Die jacobianische Matrix ist dann genutzt um die, also kann genutzt werden, um halt eine lineare Annäherung zu berechnen und wir können dann mit diesem Wissen den Lernprozess stören oder den Erkennungsprozess, ich bin mir nicht sicher und die Frage ist natürlich auch, wie können wir das alles schneller berechnen? Okay, vielleicht wollt ihr jetzt, nachdem ihr das alles gehört habt, auch ein Netzwerk täuschen. Zunächst einmal muss man ein Problem oder ein Netzwerktypen wählen, ihr wisst vielleicht, also welche Firma, zum Beispiel Google, was nutzen die internen, was für Methoden, was für Daten und und dann wollt ihr euch mit dem aktuellen Stand der Forschung vertraut machen, um zu verstehen, was momentan eingesetzt wird und das Gute ist und das Gute ist vor zwei bis drei Jahren State in the Art war, ist heute wahrscheinlich immer noch weitläufig eingesetzt und deswegen kann man sich halt einen guten Eigen und und man kann sich dadurch gleich einen Überblick verschaffen und es gibt viele öffentliche Quellen und auch viele Code und viele Programme, viele Libraries, die man nutzen kann, die die entsprechenden Funktionalitäten und Implementierung beizubringen und ein optionaler Schritt und der aber ratsam ist, ist das Modell noch zu fine tune, also noch präziser anzupassen, so dass man halt genauer weiß, also sich genau darauf einstellt, was die Zielfirma nutzt und man nutzt dann die letzten Layer im Modell, um halt noch präziser zu sein, um halt noch gezielter gegen die Netzwerke vorgegehen und man kann halt auch eine Software Bibliothek nehmen, zum Beispiel Clever Hans oder DeepFool und diese Libraries, also Software Bibliotheken kommen dann auch mit schönen Eigenschaften und schönen Implementierungen und das Ding ist natürlich auch, es wird nicht immer funktionieren, abhängig davon, was man als Quelle und was man als Ziel hat, man hat halt nicht immer ein klares Ziel und es ist halt deutlich ein anderes Problem, wenn man jetzt Katzen von Hunden unterscheidet oder Katzen von Flugzeugen und es ist am einfachsten, wenn halt die zwei Trainingsklassen relativ ähnlich sind, als wenn sie relativ unterschiedlich sind und dann muss man natürlich die Netzwerke testen und sich natürlich autofokussieren, was am meisten falsch plastifiziert wird. Man könnte sagen, Kaffeln, man könnte sagen, ich weiß aber nicht, was dieser Mensch benutzt, ich weiß ja nicht, was die Firma benutzt und dann sage ich, das ist ja okay, weil was bewiesen worden ist, dass man eine Blackbox-Modell angreifen kann. Man muss nicht wissen, was sie benutzen. Man muss nicht wissen, genau wissen, wie es funktioniert. Man muss noch nicht mal wissen, mit welchen Daten es trainiert wurde, denn was man machen kann, ist, wenn man muss anführen, dass es eine API gehabt hat, mit der man interagieren kann. Wenn es also eine API hat, können wir die Trainingsdaten anfragen, in dem man über die App mit dem Modell spricht. Wir sammeln jetzt also die Daten und trainieren damit unser lokales Modell und je ähnlicher unser eigenes Modell wird und je ähnlicher es wird zu diesem Blackbox-Modell, was wir angreifen wollen, können wir dieses Blackbox-Modell jetzt effektiver angreifen. Was also bewiesen wurde, ist mit unter etwa 6.000 Anfragen konnten sie das Netzwerk mit bis zu 96 Prozent Wahrscheinlichkeit austricksen. Was die gleiche Gruppe von Wissenschaftlern untersucht haben, ist wie gut diese Eigenschaft das Netzwerk austricksen auf andere Netzwerke übertragbar ist. Ich kann also einen bestimmten Typ Netzwerk benutzen und ich kann feindliche Beispiele für dieses Netzwerk benutzen und ich kann versuchen das auf ein anderes Netzwerk anzuwechseln und dieses auszutricksen. Wir haben jetzt hier also eine Heatmap, die uns anzeigt was genau sie in der Lage waren austricksen. Wir haben jetzt auf der linken Seite die Techniken, Decision Trees, Canious Neighbors. Auf der unteren Achse haben wir die Zielmaschinen, also was wir angreifen wollten. Die linke Seite sind also die die Angreifer und die unteren Seite sind die Modelle die angegriffen werden. Und was wir jetzt zeigen könnten, die SVMs und die Decision Trees sind ziemlich einfach austricksen. Statistische Regressionen etwas weniger, Deep Learning und Canious Neighbors sind dann sind die ziemlich gut gegen andere Angriffe gewappnet. Wir müssen jetzt also tatsächlich jetzt also nicht wissen was genau die Zielmaschine ist, die wir angreifen wollen und wir können verschiedene Techniken des Deep Learnings benutzen um dieses Netzwerk anzugreifen. Wenn man sich jetzt sechs Zeilen von Pfeifen anschaut und in diesen sechs Zeilen verwende ich die Clever Hands Pipiothek und hier kann ich mein Netzwerk, also mein, nein, kann ich mein gegnerischer Eingabe produzieren und wenn ihr kein Pfeifen könnt, dann es ist eigentlich relativ einfach zu lernen und anzuwenden und hier haben wir Keras, welches eine sehr beliebte Deep Learning Pipiothek ist und sie funktioniert auch mit TensorFlow und wir können unser Modell rappen und sie an die FastGradient Methode übergeben und die entscheidenden Parameter festlegen, mit denen wir dann das Modell weiter verfeinern können und dann können wir unsere gegnerischen Beispiele erzeugen und mit sehr wenig Pfeifencode können wir halt an diese Netzwerke angreifen und austricksen und wenn ihr bereits TensorFlow oder Keras verwendet habt, dann sollte es für euch kein Problem sein. Deep Poning, also ist eine Software Pipiothek, die letztes Jahr auf DevCon präsentiert wurde. Sie verwendet mit, also sie bringt sehr viel TensorFlow Code mit und sie hat einige verschiedene convolutional Neural Networks. Es bringt halt eine Menge Features mit, aber es hat auch ein semantisches Modell. Wenn man zum Beispiel jetzt bei Spracherkennung, also Spracherkennung, arbeitet, dann kann man, also das Beispiel, das halt da gebracht wurde, ist halt von den Rotten Tomatoes, was halt Ratings, also Bewertung von Filmen sind und die KI Software hat halt versucht zu kvalifizieren, ob ein Review positiv oder negativ ist und hier haben sie dann halt Gegenbeispiele generiert, wo es wirklich schwierig war oder bis insweise das falsche Ergebnis rauskommen sollte, ob ein Review positiv oder negativer. Und es ist relativ einfach, bei einem Bild kleinere Änderungen zu ändern, weil es sehr viele Pixel gibt, wo man halt Sachen schrauben kann, aber wenn man bei Sprache einzelne Werte verändert, also hier ein Wert, ein Wort ändert, da ein Wort ändert und dann ist es halt für uns Menschen schnell ersichtlich, dass da kein normaler menschlicher Text mehr vorliegt. Und bei sprach- sprachlichen Aufgaben ist es halt deutlich schwieriger als bei Bildern und das ist immer noch eine offene Forschungsaufgabe und das sind Sachen, auf denen man immer noch arbeiten und die wir immer noch vorantreiben wollen. Es gibt weitere beachtliche Open Source Libraries und wie ich will hier ein paar angucken. Es gibt die Vanderbilt Computational Mechanics Research Lab, das heißt AdLab, das macht Vergiftungsangriffe. Wenn wir also Trainingsdaten nehmen und die vergiften wollen, dann können wir das benutzen. DeepFool macht die FastGradientSign Method, aber es versucht dabei kleinere Perthubationen durchzuführen. Es versucht also weniger auffällig für uns Menschen zu sein. Es ist auf Theano basiert und diese Library benutzt Lula und Python. Fullbox ist eigentlich ziemlich cool. Es sammelt verschiedene Techniken in einer Library und man kann sie damit mit einem Interface ansprechen. Das heißt, wenn man viele verschiedene Modelle ausprobieren möchte, dann sollte man da vielleicht das benutzen. Und was wir uns gleich angucken wollen, ist die Evolving AI Lab, was eine Fooling Library baut und die Fooling Library baut Images, die wir nicht voneinander unterscheiden können, aber die das neuronalen Netzwerk als eindeutig unterschiedlich klassifiziert. Die haben jetzt letztens alle Alnien Code offengelegt. Und wie ihr vielleicht bereits wisstet von anderen Forschungsergebninnen, die ich bereits zitiert habe. Und die meisten Forschungen waren auf böseartigen Angriffen. Und Leute haben halt noch nicht wirklich überlegt, wie man das für positive, für konstruktive Zwecke nutzen kann. Und was halt viele Vorschriften sind, wie man Spam Filter austrickst und wie man dann wiederum diese Angriffe herausdetektieren kann. Und sie wollen ein Nachgebe oder Stop-Schild erstellen mit dem, also es gab verschiedene Ansätze und Forschungsergebnisse, die sich mit diesen destruktiven Anwendungsfällen auseinander gesetzt haben. Und unter anderem Wort halt auch gezeigt, dass wenn man jetzt bei Mileware nur einzelne Sachen gezielt verändert, dass man dann auch effektiv die Virenscanner austricksen kann. Und vielleicht, also man könnte dann auch diese Netzwerke, also gezielt Malware produzieren, die halt gezielt diese Erkennungsmechanismen austrickst. Aber was ich mich halt wirklich frage, ist, wie können wir das für gute Sachen machen? Und ich packe natürlich gut jetzt in Anführungszeichen, weil wir wissen alle ethische Fragen sind oft nicht einfach und es ist nicht einfach zu sagen, was ist wirklich gut, was ist, was ist nicht so gut. Und das ist etwas, worüber wir als Community natürlich auch sprechen müssen hier auf dem Kongress und auch anderswo. Und ich habe eine Liste von Ideen gesammelt und ich hoffe, dass das nur eine anfängliche Liste ist von einer, die zwar in einer längeren Diskussion führt. Eine Idee ist, dass wir das nutzen können, um diese Methoden zu nutzen, um Überwachung auszutricksen, da Überwachung uns und mich betrifft. Also wir können diese Technologien nutzen, wir können Technologien entwickeln, um Menschen weltweit zu helfen, Überwachung in Überwachungsstaaten auszutricken. Wir können diese Methoden auch nutzen, um Stenografie zu produzieren, wo man Nachrichten gezielt verstecken kann, so dass sie nicht von automatischen Algorithmen entdeckt werden können. Und ein anderer Vorschlag ist AdWare Fooling, also das Ausdricksen von Software, die einem Werbung unterschieben will und es gibt halt eine Menge Leute, die halt gezielt von Werbeeinblendung beeinflusst werden sollen oder von solchen Werbeinblendungen betroffen sind. Eine andere Idee ist, und die eigenen Daten gezielt so zu verändern, dass sie dann die Erkennungsalgorithmen austricksen und man könnte halt seine eigenen Daten manipulieren. Ich möchte bereits verwendete Machine Learning Modelle, die von Firm benutzt werden, identifizieren und auch herausfinden, wie man diese Modelle dann austricksen kann. Und je mehr wir das praktizieren, je mehr Erfahrungen wir sammeln, desto besser können wir lernen, wie wir mit diesen Modellen umgehen können. Und wenn ihr weitere Ideen habt, bin ich auch sehr offen dafür und ich möchte gerne eure Ideen auch hören. Also ich habe mich jetzt dazu entschieden, ein bisschen mit meinen Ideen umzuspielen und ich war davon überzeugt, dass ich könnte Facebook davon überzeugen, dass ich eine Katze wäre. Denn keiner mag wirklich Facebook, was uns mal ehrlich sein. Aber ich muss da sein, weil meine Mutter mich mir messen und sie nicht wirklich zu e-mails reagiert. Also in alle Fälle. Ich habe also ein vorher trainiertes Inception Modell benutzt und ich bin zwar kein wirklicher Computer Vision Mensch und ich musste das jetzt also rausfinden, wie man diese Daten so übersetzt, dass man sich da reinschmeiße und das Modell kontinuiert zwischen Menschen und Katzen unterscheiden. Ich gebe immer sein Bild und es sagt mir da, ob es ein Mensch oder eine Katze ist. Ich habe also tatsächlich nicht versucht, dass es irgendein anderes Bild zu geben aus einer Mensch oder Katze, aber wer weiß, was da herauskommt. Was ich jetzt also gemacht habe, ich habe ein Bild von mir genommen und zu einem bestimmten Punkt. Ich habe jetzt so Klaver Hans benutzt und ich war in der Lage den Fehler ganz... Den Los vom Modell. Also inwieweit das Modell halt nicht mehr erkannten konnte. Also wir haben halt den Fehler erhöht. Wir haben dann auch den Lärm, also die Artefakte erhöht in dem Bild, um das Modell immer und immer weiter abseits zu leiten und irgendwann hatte ich dann ein Epsilon und dann irgendwann hat der Fehler so groß durch die Manipulation, dass Facebook nicht länger wusste, dass ich tatsächlich noch, also dass dieses Bild eigentlich Gesicht darstellt. Leider, also leider habe ich es nicht geschafft, jetzt eine Katze zu werden, aber ich habe es geschafft. Ich habe es leider geschafft, das Netzwerk auszutauschen, auszutricksen und ich habe mit einem Experten gesprochen und er hat mich und ich habe ihn gefragt, welche Art von Methoden sie verwenden und sie meinte, dass bei Facebook wahrscheinlich statistische Methoden, die verwendet werden bei Facebook, die halt die Verteilung der Bildverteilung, also der Gesichtsverteilung genutzt werden, um jetzt zu erkennen, ob etwas ein Gesicht darstellt oder nicht. Ein anderer Anwendungsfall möglicherweise ist gegnerische Stenografie und das wurde bereits in einem Paper vorgestellt und sie haben dabei die, wo es darum ging, einen Netzwerk dazu zu überzeugen, dass es etwas gibt in den Daten, was eigentlich gar nicht da ist. Also wenn man zum Beispiel das MNIST tausendmal, eine Million mal genutzt hat, dann ist es halt eine Sammlung, also das MNIST Datensatz ist eine Sammlung von den Ziffern 0 bis 9 in handgeschriebener Form und die Idee war dann halt, diese Daten so umzutransformieren, dass sie aussehen wie Kunst und was das Netzwerk hier sieht, ist, das Netzwerk sieht bei diesen Bildern Ziffern, auch wenn wir Menschen hier keine Ziffern erkennen und das Netzwerk ist überzeugt, dass diese Ziffern hier drin sind und für uns sieht das alles wie Lärm aus und als ich das Paper gelesen habe, habe ich mir überlegt, wie könnte man das nutzen, um Nachrichten zu verschicken, die nur wir, nur ich und mein Empfänger tatsächlich verstehen und in einer Welt, wo ich Angst davor habe, wo ich Angst habe, nach Hause zu gehen, weil ein verrückter uns alle reagiert, da anmerkungsübersetzt ist, das war leider zu schnell, aber es geht im Prinzip um Privacy, also um Datenschutz und die schnellen Schutz persönlichen Daten und den Austausch persönlicher Information und ich denke, jetzt zurück zur Übersetzung und ich denke, wir können gegnerisches Lernen nutzen, um Adversarier, um gegnerische Stinographie umzusetzen und letztlich möchte ich sagen, dass je mehr Informationen wir haben, dass wir genau, je mehr Informationen wir haben, desto besser können wir diese Firmen bekämpfen, je mehr wir wissen, je mehr Erfahrungen wir haben, desto besser können wir unsere eigene Methoden verbessern und glücklicherweise lebe ich jetzt in Deutschland und wir haben die GDPR, welches eine Regulation ist für Datenschutz und wir können halt diese Daten aus Kunst nutzen, um Daten abzufragen bei Diensten, bei Firmen, die sie über uns haben und dann können wir diese Daten noch nutzen, um besser zu verstehen, was für Daten diese Firmen verwenden, um Entscheidungen mit ihren Machine Learning Modellen über uns zu treffen und wie wir dann selber diese Art von Informationen nutzen können, um eben diese Machine Learning Modelle auszutricksen und es geht natürlich dann auch um Fragen wie bei Kreditvergabe, wenn wir halt herausfinden können, was für Daten die Firmen über uns haben, können wir auch besser verstehen, unter welchen Kriterien Kreditwürdigkeit eingestuft wird. Und das Gute ist, Augenblick, wenn sie in diesen Anhängen sind, können wir diese rechtlichen Mittel benutzen. Wir können Firmen fragen, unsere Dateien zu löschen, wir können fragen, wie unsere Information verarbeitet wird, wir können fragen, welche automatisierten Entscheidungen gekauft werden und desto mehr wir nach diesen Informationen fragen, desto mehr können wir diese Information mit allen anderen Menschen auf dieser Welt teilen. Die Systeme mit denen wir interagieren sind nicht speziell für uns, sie sind die gleichen Systeme wie sie überall auf der Welt eingesetzt werden. Wir können also auch mit unseren Mitmenschen außerhalb von Europa helfen und können unsere Rechte benutzen, um mehr Informationen an die Welt weiterzugeben. Und wir müssen diese Information nutzen, um Adversarial Learning so zu trainieren, dass wir diese Systeme effektiv angreifen können. Wir wollen jetzt nun fragen, wie können wir das jetzt nutzen, um Gutes zu erzeugen. Ich kann GDPR nicht wichtig genug machen. Die Firmen sammeln bereits alle möglichen Daten über uns und über andere Menschen und ich will nicht, dass ein Mensch das über GDPR seine Informationen nachfragt und für sich behält. Wir müssen das verteilen. Wir müssen Low-Tech über die Makerspaces hier und einfache Technologien, also Low-Tech, die hier auf dem Kongress und anderswo verwendet wird. Was ist, wenn wir, und es gibt, also was ist zum Beispiel, wenn jetzt rote Punkte über meinem Gesicht rauf mal, was für Effekte hat das auf diese Modelle? Welche einfachen Low-Tech-Solution-Erlösung können wir finden, um diese Netzwerke auszutricksen? Und wir müssen auch die Forschung darüber hinausbringen, was jetzt in der Computervisualisierung, Computer-Mustererkennung als visuelle Mustererkennung betrieben wird. Es gibt noch viele weitere Anwendungsfälle, wo die Learning verwendet wird und wir müssen herausfinden und besser verstehen, wie man dieses Thema austricksen kann. Und letztendlich teilt dieses Wissen mit anderen Leuten. Ich möchte, dass diese Unterhaltung nicht hier ändert, sondern ich möchte, dass ihr mit anderen Leuten darüber sprecht, über die Probleme sprecht und über Lösungen sprecht und auch mit euren, dass ihr auch Workshops anbietet zu diesem Thema. Und ich möchte nicht, dass die Leute KI als etwas Mystisches und Mächtiges betrachten, weil es ist zwar mächtig, aber es ist nicht mystisch. Man kann es verstehen, man kann damit rum experimentieren, man kann es angreifen und es ist wichtig, damit rumzuspielen, damit zu experimentieren und das Richtige zu tun. Und ich möchte auch weiter eure Ideen hören, was ihr dazu denkt, was für Sachen wir machen könnten. Und ich habe mich entschieden, den Resilient-Track einzuschlagen und ich, denn ich will einer Welt leben, dass selbst wenn überall alles am Brennen ist und dass es um mich herum tatsächlich immer noch Leute gibt, die mit denen ich arbeite, mit denen ich interagiere, dass ich zumindest diesen Teil dieser Welt schützen und schützen kann. Ich will Menschen helfen, die nicht so viel Privilegien haben wie ich. Ich will also meine Fähigkeiten einsetzen und vielleicht auch eure Fähigkeiten, um Menschen zu helfen. Eure Informationen sind viel wert. Jeder freie Dienst, den wir benutzen, verkaufend eure Daten. Ich kann das zwar nicht sagen als Faktum, aber es ist sehr, sehr wahrscheinlich, dass die Firmen, mit denen ihr interagiert, eure Informationen verkaufen. Und wenn sie eure Informationen verkaufen, könnten sie ebenfalls eure Informationen kaufen. Es gibt einen ganzen Markt, mit dem man Daten kauft und verkauft und sie machen damit viel Geld, eure Daten zu kaufen und zu verkaufen. Deshalb werde ich jetzt ein Teil meiner Meinungen dazu lesen. Also deswegen ist es wichtig, immer zu überlegen, mit wem man die Daten mit anderen teilt und aus welchen Gründen. Und in der Europäischen Union hat dir stärkere Datenschutzrechte als sonst wo in der Welt. Ihr könnt halt eure Daten abfragen und legt sehr viel Wert auf euren Datenschutz und denkt darüber nach, dass es viele Firmen halt eure Daten missbrauchen und versucht halt Firmen zu wählen oder die anderen Gebote von Firmen anzunehmen, die nicht eure Daten verkaufen. Und natürlich lasst uns auch Start-ups schaffen, die dann datenschutzfreundlich agieren und auch diese Methoden nutzen, um... Okay, der Vortrag ist noch nicht vorbei. Also noch ein paar letzte Anmerkungen. Also Maschinelles Lernen ist nicht sehr intelligent. Ich denke auch, dass künstliche Intelligenz kein wirklich präziser Begriff ist. Aber das ändert ja nichts daran, dass Leute, dass diese Methoden tatsächlich nutzen und es gibt eine Menge reiche Leute, die sehr stark in diese Methode investieren und es wird halt nicht weggehen. Es ist... und potentiell werden diese Methoden halt immer gefährlich erführungswerden und es kann halt immer mehr Entscheidungen treffen, es kann immer mehr Systeme kontrollieren und deswegen ist es wichtig, diese Systeme zu verstehen und auch zu wissen, wie man diese Systeme austricksen kann. Und es ist wichtig, es ist wichtig, im Hinterkopf zu behalten, dass Wissen Macht ist, Information ist mächtig und es ist wichtig, dass wir dass wir Datenabfragen machen, um halt zu verstehen, was für Daten gespeichert werden und bitte unterstützt auch Open Source Programme und Projekte und es ist wichtig halt immer offen zu sein, unsere und ethische Firmen zu unterstützen, die ethisch mit euren Daten umgehen. Und wenn, wenn zum Beispiel eine Firma mir sagt, dass sie gar nicht meine Daten haben will, sondern dass meine Daten lieber bei mir bleiben sollen, dann verträuft dieser Firma eher als wenn sie sagt, ich will all deine Daten haben. Applaus. Vielen vielen Dank. Okay, wir haben jetzt immer noch Zeit für Fragen. Ja, tatsächlich, ich bin jetzt fertig. Ihr konnt jetzt für den Mikrofon vorkommen und Fragen stellen. Kann ich von Mikrofon 1 eine Frage stellen? Ja, vielen Dank für diesen sehr interessanten Vortrag. Ein Eindruck, den ich hatte während des Vortrags würde gegnerisches Lernen, also wenn wir diese gegnerischen Daten produzieren, machen wir dann nicht eher Penetrationstesting und Quality-Kontrolle? Viele dieser Research kommt von den Firmen selbst. Was sie aber gezeigt haben, ist, dass sie keine gute Methode haben zu lernen, wie man das austrickst. Wahrscheinlich ist es, dass sie ein unterschiedliches Typ von Netzwerk benutzen müssen. Lineare und SOV-Netzwerke sind einfach zu austricksen und sie werden sich also Netzwerke suchen müssen, die nicht so einfach austricksen ist. Bis zu einem Stund ist es also ein Katzenmausspiel. Aber es ist wichtig, dass die Open Source Forschung hier auch mithilft. Es ist interessant, wenn wir ein Netzwerk haben, das linear ist, dessen Eigenschaften wir ausnutzen können, was zwar selber nicht linear ist. Wir versuchen sie also zu einem Punkt zu bringen, wo sie sehr spezifisch sein müssen und besser probieren müssen, Anstelle einfach aufzugeben. Hallo, vielen Dank für den schönen Vortrag. Ich möchte fragen, hast du schon mal versucht, das von anderen Richtungen zu betrachten? Einfach den Firmen falsch Glaswitzi Daten zu geben und dann solche großen Datenmengen, dass sie davon lernen? Ja, das sind diese Vergiftungsangriffe. Also wenn ich jetzt sage, wenn wir vergiften, dann geben wir ihnen falsche Trainingsdaten und wir versuchen, dass sie falsche Sachen lernen. Oder wir versuchen, schlechte Sachen, versuche ich jetzt nicht zu sagen. Wir versuchen jetzt, falsche Sachen zu lernen. Das passiert schon zufällig, halt die ganze Zeit. Und wenn sie jetzt von unserer Information aktiv lernen, dann ist vergiften tatsächlich eine sehr, sehr effektive Methode. Und wir sollten auch Informationen weitergeben, wie wir effektiv diese Algorithmen austricksen. Eine weitere Frage aus dem Internet und dann haben wir leider keine Zeit mehr. Was kann ich genau machen, um mein Modell zu beschädigen oder zu täuschen? Also was genau kann ich tun, um mein Modell zu... Nicht viel. Was man gezeigt hat, ist, dass wenn man auf eine Mischung aus echter und feindlichen Daten trainiert, das einzige, was das bedeutet, ist es schwerer auszutricksen, aber das einzige, was ich da brauche, ist mehr trainieren. Die beste Methode aktuell ist, sein Netzwerk mit feindlichen und echten Daten zu trainieren und das über eine sehr lange Zeit zu machen. Man sollte eine Datenvalidierung bei Eingabe durchführen, aber das ist wahrscheinlich, weil ich von Produktions- und theoretischen Level komme und man sollte also seine Daten anständig filtern vorher. Und das waren dann alle Fragen, also ich wünsche, wir hätten noch mehr Zeit, aber wenn ihr noch sprechen wollt, sie ist nach dem Talk erreichbar.