 Ja, es ist wunderschön, dass heute Abend hier so viele zusammengekommen sind. Es freut mich zusammen euch hier Pascoda auf der Chaos Westbühne präsentieren zu dürfen, welche mit ihrem Vortrag bei gleicher Qualifikation werden Männer bevorzugt auf ein sehr trauriges Thema eigentlich hinweisen muss. Und ich bin gespannt und ja, zusammen erstmal lasst uns das genießen. Wunderbar. Ja, hi, mein Name ist Pascoda. Ich beschäftige mich viel mit Ungleichheit und Ungerechtigkeit in Systemen und in dem Fall Algorithmic Bias. Und werde heute ein bisschen über den Zusammenhang von Algorithmic Bias und dem österreichischen Arbeitsmarkt bzw. Arbeitsmarktservice sprechen. Grund dafür ist, also Grund für die Beschäftigung mit Algorithmic Bias im Allgemeinen ist so diese Tatsache, dass Algorithmen immer mehr Entscheidungen in unserem Leben übernehmen und vor allem in sehr verschiedenen Kontexten. Und die Idee von diesem Talk, hier ist einmal ein Foundation Talk, das heißt, wir klären wirklich einmal ganz basic, woher kommt eigentlich dabei es in Algorithmen und algorithmischen Systemen. Und in was für Zusammenhängen ist es problematisch und wie. So als Begriffsklärung, diese Abkürzung wird öfters mal aufkommen, das AMS, das Arbeitsmarktservice in Österreich, so grobes Equivalent mit dem Jobcenter in Deutschland. Das heißt, wenn man arbeitslos ist, kann man dort hingehen, Arbeitslosengeld beziehen, kriegt dann halt potenzielle Jobausschreibungen, auf die man sich bewerben muss. Oder wo man dann Bewerbungsgespräche haben muss, damit man weiterhin das Arbeitslosengeld beziehen kann. Und es gibt auch die Möglichkeit bzw. manchmal auch den Zwang zu Kosen, die man dann besucht. Ebenfalls kurze Begriffsklärung, ein Algorithmus, in dem Zusammenhang jetzt wahrscheinlich, also in dem Kontext hier jetzt wahrscheinlich relativ unnötig, aber trotzdem Algorithmus, diese eindeutige Handlungsvorschrift zu Lösungen des gegebenen Problems, besteht aus endlich vielen wohl definierten Einzelschritten. Die klassischen Beispiele, die uns zum Beispiel Wikipedia gibt, sind Kochrezepte, Sortieralgorithmen, Suchalgorithmen und halt Arbeitsabläufe, die sich schön in Stufen einteilen lassen. Algorithmische Systeme sind dann Dinge, die aus mehreren Algorithmen zusammengebaut sind. Das sind dann, wo man oft von dem Algorithmus gesprochen wird, zum Beispiel Suchmaschinen, so der Google-Algorithmus, der Facebook-Algorithmus ist nicht einer, sondern ein Konglomerat aus Algorithmen. Also aus verschiedensten Arbeitsabläufen, die halt definiert worden sind, irgendwann einmal um ein Problem abzuarbeiten. Einstufungssysteme dann eben, so wie dieses AMS-Modell, das wir uns dann nachher anschauen, die aus einer Menge an Alternativen ein gewisses Subset raussuchen und dann halt Einstufungen vornehmen. Passt, passt nicht, gehört in Kategorie A, B oder C. Und Machine Learning-Systeme sind ebenfalls so Algorithmische Systeme, wo verschiedene Dinge einfach zusammenspielen, um bei Machine Learning selbst zu lernen, wie eine Einstufung oder eine Sortierung vorzunehmen ist. Ja, hier, Disclaimer, Algorithmen sind nicht objektiv, auch wenn es viele möchten, technisch nicht neutral, hacken ist nicht unpolitisch. Muss man leider immer noch dazusagen, denn de facto ist so, wenn man sich ein Algorithmus baut, dann hat man eine Frage, die man klären will. Man hat dann Arbeit, die man erledigen möchte. Man hat irgendwelche Daten, die man benutzt. Man baut sich irgendein Modell, eine Abstrahierung von der Welt, in der man arbeitet. Und bei vielen Algorithmischen Systemen kommt dann auch nur irgendwo Visualisierung dazu. Das ist alles weltbelastet. Wie genau bespreche ich dann eh noch, aber das ist einfach, was man sich, was man im Kopf behalten muss. Jede Entscheidung, die man trifft, ist eine Entscheidung für etwas und gegen was anderes. Und da stecken immer Werte dahinter. Beispielsweise die Definition vom Problem oder des Ziels, das man hat. So welche Aufgabe soll eigentlich gelöst werden? Die Motivation dahinter. Wessen Anwendungsfall ist und wer steht im Zentrum? Da haben wir zum Beispiel, im Fall vom Arbeitsmarktservice so, welche Aufgabe ist es? Leute sollen einen Job finden, an und für sich. Aber im Fall vom Arbeitsmarktservice ist nicht diese Sache, Leute sollen einen Job finden, sondern wir wollen wissen, wer den Job findet. In einem gewissen Zeitraum. Wessen Anwendungsfall ist es, in dem Fall nicht für die arbeitssuchende Person, ich möchte den Job finden, sondern für die betreuende Person, für die Sachbearbeiterin, die Frage, welche Ressourcen stellen wir dieser Person, die Arbeit sucht zur Verfügung? Wer steht im Zentrum? Wer ist das Subjekt? Wer will die Aktion setzen? Wer ist das Objekt? Über wen wird entschieden? Und dann haben wir halt immer so dieses Problem mit den Wicked Problems. Die wenigsten Probleme sind, mit Ja oder Nein zu beantworten, sondern sie sind sehr viel eher Ja und oder Nein aber. Es geht sehr oft um Trade-offs, um Optimierung von verschiedenen Sprüchen und Bedürfnissen. Genau, also was für Entscheidungen trifft man eigentlich über wen, auf Basis von was für Informationen und was passiert eigentlich danach oder sehen wir das alles abgeschlossen in einem System? Beispielsweise dann jetzt eben beim Arbeitsmarktservice, da geht es darum, wie gesagt, einzuschätzen, wie die Chancen von einer Person sind, in nächster Zeit einen Job zu finden im österreichischen Arbeitsmarkt. Jetzt könnte man das natürlich dazu nutzen, um zu sagen, okay, die Person hat folgende Charakteristiker, deswegen sind ihre Chancen nicht sonderlich gut, deswegen sollte man sie entsprechend unterstützen oder irgendwie an rechtlichen Rahmen schaffen, damit Diskriminierung gegen diese Gruppe schwieriger wird oder wirklich illegal wird. Und dessen wird in diesem Fall diese Information herangezogen und zu sagen, die Person hat schlechte Chancen am Arbeitsmarkt, wir wollen unser Geld nicht verschwenden und deswegen kriegt die Person nicht die guten Kurse zur Verfügung gestellt, sondern die billigen, die dann meistens so Sachen sind wie Bewerbungstraining, auf die eh keiner Bock hat, weil alle wissen, wie es funktioniert und deshalb dann sehr oft nicht enderbar sind, beziehungsweise auf die wenig Einfluss besteht. Das heißt, wir bewegen uns hier sehr oft so in einem Bereich, wo es um Ethik ginge, wo aber sehr oft nicht weitergedacht wird. Das ist dieser Punkt mit dem abgeschlossenen System gerade. Dieser zweite Punkt, die Kosten-Nutzen-Rechnung. Es schaut so aus bei diesem AMS-System als würde das Arbeitsmarkt-Service nur daran denken, das eigene Geld nicht zu verschwenden. Was aber so passiert mit den Leuten, die eine schlechte Einstufung kriegen und die deswegen nicht unterstützt werden bei der Jobsuche, das wird komplett außer Acht gelassen. Also gerade so Auswirkungen wie schlechtere gesundheitlicher Zustand dann, weil die langfristigen gesellschaftlichen Kosten, dass eine Person sich nicht selber erhalten kann, sondern eben beihilfen beziehen muss, Arbeitslosengeld beziehen muss, das wird komplett ignoriert. Also dieses Not-My-Department, deswegen 29 C3. Sorry, schlechter Witz. Und halt auch so die Wahrnehmung, wenn zu mir gesagt wird, deine Chance auf Wiedereingliederung in den Arbeitsmarkt liegt bei 30%. Dann heißt es zwar, ich bin jetzt nicht in dieser schlechtesten Kategorie gelandet, aber es bedeutet halt doch, 70% die Chance, dass das Arbeitsmarktservice Geld bei mir verschwendet. Es fühlt sich für mich selber auch nicht sonderlich gut an. Und zum Thema Feedback Loops. Holy. Das Arbeitsmarktservice sagt, dieses Modell, das sie benutzen, wird jedes Jahr aktualisiert werden. Oder einmal im Jahr kann man dann eine Aktualisierung vom Modell vornehmen. Das bedeutet, dass die Dinge, die jetzt dann nachteilig sind, weiterhin nachteilig bleiben und sagen wir mal, es ist sehr absurd, aber es gibt gewisse Wiener Wohnbezirke, in denen man schlechtere Chancen darauf hat, einen Job zu finden. Und die Tatsache, die es jetzt halt im Moment so ein bisschen gibt, die wird dann verstellt, weil Leute aus diesem Bezirk schlechtere Unterstützung kriegen, deswegen schlechter Arbeit finden und die Information geht dann wieder rein in das neue Modell, das dann nachverwendet wird. Also diese negative Feedback Loops sozusagen. Genau, Daten haben wir jetzt gerade gesagt, das Arbeitsmarktservice benutzt historische Daten, also Bestandsdaten. Bei Algorithmen ist das immer so diese Sache, was für Daten benutzt man eigentlich. Nimmt man irgendwas random daher, was man halt gerade so rumliegen gehabt hat und es passt so ungefähr oder erfasst man die Daten oder sammelt die Daten neu, damit man das richtig zuschneiden kann. Deutschland hat immer auch wieder so die Frage, wer erfasst diese Daten? Woher kommen die? Warum wurden die überhaupt noch einmal sammelt, wenn sie eben nicht gerade die spezifischen Daten sind und wie sind die gesammelt worden? Also das steckt auch immer an gewisser Beiast dahinter. Es ist bekannt zum Beispiel, dass in Interviews verschiedene, die gleichen Fragen verschieden beantwortet werden von derselben Person, je nachdem, wer das Interview führt. Weil man halt der Person, mit der man redet, positiv auffallen möchte, man möchte der Person gefallen. Bei den AMS-Daten finde ich insofern ganz spannend. Die historischen Daten sind eigentlich ganz praktisch, weil das sind genau die Daten, die das Arbeitsmarktservice braucht. Das sind ihre eigenen Klientinnen aus den vergangenen vier Jahren und da hat man sich dann einfach hier angeschaut wie schnell Menschen wieder einen Job gefunden haben. Also eigentlich sind das genau die richtigen Daten. Aber bis vor ein paar Jahren hat das Arbeitsmarktservice nicht einmal so richtig in EDV, IT-Dingen unterschieden. Also so Sachen wie Game Design findet man da drinnen nach wie vor nicht, meines Wissens nach. Das heißt, welche Ausbringungen von Charakteristikern gibt es überhaupt? Warum? Und warum? Was ist eigentlich positiv belegt? Was ist negativ belegt? Warum würden sich Menschen als etwas einordnen und als war es nicht? Ja. Und dann sind wir beim berühmten Modell, damit man was in einem Algorithmus abbilden kann. Unsere Welt ist verdammt komplex. Das heißt, man muss es immer runterbrechen auf gewisse Informationen. Man muss sich ein Modell bauen und sich ein Modell beendet hat, das man reduzieren muss. Und die Frage ist dann halt immer, was bleibt übrig. Und das sind wir dann eben beim AMS-Modell. Und das finde ich sehr, sehr spannend. Transparenztechnisch ist dieses Ding super drauf. Die haben wirklich einen guten Teil von einem Modell hergeben. Das ist öffentlich verfügbar, immer noch. Obwohl die Diskussion jetzt sicherlich schon seit September oder sowas läuft. Das finde ich sehr nett. Wir sehen hier. Wir fangen an mit einer 0,10 ist einfach so dieser Standard-Welt, entspricht einer 52-prozentigen Chance auf baldige Wiedereingliederungen in den Arbeitsmarkt. Die Veränderungen sind das Spannende. Ausgegangen wird hier von einer Person, die nicht weiblich ist. Die Unterdreis, also quasi männlich, weil wir haben ja binäres Geschlechtssystem, was anderes. Das heißt, die Standardperson in diesem Modell ist männlich, unter 30 kommt aus Österreich, weil wir haben hier nur EU und Drittstaaten als Einflussfaktoren. Bei der Ausbildung haben wir Leere und Matura dastehen. Matura plus, das heißt Leere, das heißt, die Person hat der Abi quasi als Abschluss. Hat keine Betreuungspflichten. Und dann kommen dann auch so Sachen wie das RGS, das ist die Regionalstelle. Das heißt, da gibt es eine Einteilung, in welcher Regionalstelle ist die Person quasi Klientin. Beeinträchtigt ist der schöne Ausdruck für Personen mit Behinderung oder chronischer Erkrankung. Berufsgruppeproduktion, das heißt, die Standardperson kommt aus dem Dienstleistungssektor, hatte viele Beschäftigungstage, weil hier stehen weniger. Die Frequenz von Geschäftsfällen bedeutet, wie oft, dass man in einem bestimmten Zeitraum in der Vergangenheit beim Arbeitsmarkt-Service eben war, ob das kurz oder lang war. Und die Teilnahme an Maßnahmen vom Arbeitsmarkt-Service, das sind dann eben im Normalfall diese Schulungen, diese Kuse. Und was dann halt wirklich zu einer ziemlichen Diskussion geführt hat, ist dieses Ding der Abzug, weil man weiblich ist, und der Abzug bei der Betreuungspflicht, der aber de facto beim Männern nicht signifikant ist. Das heißt, man hat da wirklich, was passiert ist, das Arbeitsmarkt-Service hat diese Ausschreibung gemacht für das Modell, weil sie wollten eben automatisieren, wie Leute in diese drei Kategorien eingestuft werden. Man hat Finanzmathematiker dran gesetzt. Und die haben sich halt wirklich einfach nur eine statistische Auswertung gemacht, was jetzt grundsätzlich nicht das Problem ist, wie ich schon erwähnt habe, sondern es ist eigentlich ganz spannend. Das Problem daran ist, dass jetzt eben auf Basis von diesen statistischen Daten Entscheidungen über Einzelpersonen getroffen werden. Und gerade so Sachen wie mein Geschlecht oder ob ich Kinder habe oder nicht oder ob meine Nationalität nicht österreichisch ist, da kann ich nichts dagegen machen. Das sind lauter Dinge, da kann ich nichts dagegen machen. Aber auf Basis dessen kriege ich als Einzelperson künftig Unterstützung vom Arbeitsmarkt-Service oder nicht. Das ist das wirklich problematische daran. Die Ausrede von, also die Ausrede, Entschuldigung, die Argumente vom Geschäftsführer vom Arbeitsmarkt-Service, vom Herrn Kopf, sind dann so klassische Dinge wie, das System trifft ja keine Entscheidung, sondern macht nur einen Vorschlag. Weil die Mitarbeiterinnen werden dann sicherlich die Arbeit auf sich nehmen und sagen, ja, nur die Einstufung finde ich nicht korrekt. Ich hätte gerne einen Einspruch gemacht. Wo ist denn der Passierschein A38 dafür? Und das andere war, dieses Modell, sagt der Herr Kopf, ist tatsächlich positiv vereingestimmt den Arbeitssuchenden gegenüber als die Mitarbeiterinnen selber bisher. Okay, nicht? Jetzt im Moment vielleicht noch, man weiß einfach nicht, wie sich das dann weiterentwickelt. Das sind halt also diese klassischen Argumente von wegen, das ist objektiv, das ist neutral, das ist eh nicht, das macht eh nichts, das beißt nicht. Genau, der Link dazu ist dann in den Slides, das kann man sich dann anschauen, das ist ein relativ ausführliches Dokument, kann man sich dann genauer anschauen. Und dann sind wir bei der Visualisierung, und das ist auch ein ganz erspannendes Thema, wir haben keine Ahnung, wie diese Software bisher ausschaut. Und bei der Visualisierung finde ich dann wirklich cool zu Dingen, die man schon seit, was haben wir jetzt, 36 Jahren weiß, dass das, was auf dem Screen landet, massiv beeinflusst, was gemacht wird. Klingt jetzt irgendwie wie eine Nonah-Aussage, aber in dem Fall gibt es halt wirklich die Erhebung von, mit Sabre eben, das war das Flugbuchungssystem, wo man eben gemessen hat, dass 50% der Buchungen auf das erste Ergebnis fallen und 92% auf der ersten Seite, also Ergebnisse auf der ersten Seite. Das hat dazu geführt, dass die Fluglinien, die große Anteilige halten haben bei Sabre, alles getan haben, um auf dieser ersten Seite zu landen, auch wenn es nicht ganz korrekt war. Das heißt, man hat auch Verbindungen, die nicht die idealen Verbindungen waren, die auf der ersten Seite angezeigt, damit die gebucht werden. Ja, genau. Und was mehr zu dem Thema passt, ist dann die Arbeit von Bettina Behrendt und Zörn Preibusch. Die haben sich angeschaut, eben bei so automated decision-making, da es eigentlich verschiedene Darstellungen von Entscheidungsvorschlägen um den Handkopf damals zu referenzieren, was diese verschiedene Visualisierung eigentlich macht. Und zwar haben die dann halt ein Experiment durchgeführt, wo sie sichtbar gemacht haben, oder auch nicht, was für diskriminierende Charakteristiker einen Einfluss auf diese Bewältung von Kreditbewälbungen gehabt haben. Und sie haben halt dann die Probandinnen im Experiment auch darum gebeten, zu erklären, wie sie zu ihrer Entscheidung kommen sind, was sie dann tatsächlich von diesem Entscheidungsprozess mit einbezogen haben in ihre eigene Entscheidung. Also inwiefern sie dann sich an die Vorgabe gehalten haben vom System und inwiefern sie dort dann widersprochen haben und andere Entscheidungen getroffen haben. Und das ist tatsächlich sehr praktisch und was wirklich, wirklich wichtig ist. Das muss man sich genauer anschauen, aber die Information haben wir im Moment nicht, wie das ausschauen wird. Das Modell vom Arbeitsmarktservice mit diesen, wo haben wir es? Da. Das soll ab 2019 unverbindlich benutzt werden und ab 2020 dann verbindlich. Ich weiß, hat es bisher schon diese Einstufung in die drei Kategorien gegeben, aber das war sehr viel mehr quasi dem Kühl von der Sachbearbeiterin überlassen, die natürlich auch wissen, okay, Lebenslauf hat halt gewisse Lücken oder auch nicht, die haben das einfach einschätzen können, wie Human Resources Personen auf gewisse Bewältungen reagieren. Und jetzt wird das Ganze halt quasi automatisiert. Was damit auch passiert, ist halt auch so eine gewisse Distanzierung dann auch von der Klientin, die der Sachbearbeiterin gegenüber sitzt. So dieses Jahr, sie sind eh ganz sympathisch, aber der Computer sagt nah, sind halt Dinge, die mit gutem Grund befürchtet werden. So, genau, what now? Immer diese Take-Home-Messages. Algorithmen sind da und die machen Dinge. Die Hälfte von diesen Sachen lassen sich leider nicht anwenden auf dieses AMS-Modell, weil was anderes benutzen ist irgendwie als arbeitslose Person in Österreich schwierig, weil wenn man nicht zum Arbeitsmarktservice geht, dann kriegt man halt kein Arbeitslosengeld. Also so für Arbeitssuchende selber, für die Leute, die beim Arbeitsmarktservice arbeiten, das ist auch ein bisschen schwierig. Die können das auch nicht nicht nutzen. Das Hacken ist dann so dieses Thema. Game-The-System, wie kann man das genau machen? Wissen wir da auch nicht, solange man sich das eben nicht genauer angeschaut hat. Und genau die Note-Tech-Lösung wäre in dem Fall eigentlich eher eine Note-Tech-Lösung und dieses Modell eher in einem anderen Bereich zu nutzen. Für die Förderung von Personen, die Diskriminierung erfahren oder um, sagen wir mal, in der Infrastruktur was zu verändern, weil der einzige Grund jetzt nicht, aber ein guter Grund, warum Betreuungspflichten einen Abzug darstellen, ist halt, weil Menschen, die andere Leute betreuen müssen, nicht die Zeit haben, um an Vollzeitjob auszuüben oder halt das Risiko mitbringen, auszufallen, wenn das Kind krank wird, wenn die pflegebedürftige Person irgendwie plötzlich mehr Pflege braucht. Und da könnte man zum Beispiel infrastrukturell ansetzen, mehr Betreuungsplätze zum Beispiel. Und beim irgendwie selbst verbessern, ja, das ist halt so dieses klassische, das System von Ihnen heraus verändern. Das ist schwierig, würde ich jetzt mal behaupten. Ja, das sind noch schneller Walkthroughs wieder mal. Genau, ihr findet mich auf Mastodon, ihr könnt mich per E-Mail kontaktieren, auf Twitter bin ich auch. Die Slides werde ich dann ins Thread welfen. Dann sind die auch für alle verfügbar und jetzt ist noch jede Menge Zeit für Q&A. War zu schnell, sorry. Kein Problem. Erst mal haben wir mehr Zeit für Applaus, direkt danach. Ihr findet links und rechts die Mikrofone und da, wie gesagt, im Chat-Kanal. Gibt es Fragen aus dem Publikum? Da geht jemand zum Publikum. Mikrofon. Hallo. Hi. Ich habe die Frage von wegen selber irgendwas verbessern. Ob du vielleicht weißt, wenn ich jetzt konkrete Fragen habe bezüglich dieser Implementierung. Weil das ist ja eine öffentliche Stelle, öffentliche Dienstleistung. Wo kann ich hingehen mit diesen Fragen und sagen, Entschuldigung, wie habt ihr das validiert? Oder ich hätte diese Liste an Fragen, wer muss die beantworten und kann die mir jemand beantworten? Das ist eine hervorragende Frage. Weil das Problem ist natürlich, dass das Arbeitsmarktservice keine komplett staatliche Stelle mehr ist, sondern ja seit, keine Ahnung, wann genau kein Profit orientiert ist. Darüber kann man auch mal diskutieren. Ich glaube am ehesten würden wir sowas dann ansiedeln, vermutlich, also ich würde es mit einer Anfrage über fragten Staatate probieren, ans Sozialministerium. Sind die für, aber ich glaube, soziales Arbeit und Dinge. Das ist immer erst ein Dortinwerfen. Und ansonsten von der Future Zone aus ist Herr Kopf schon relativ gut gemaltretiert worden. Vielleicht wissen die da auch noch mehr. Oder haben den Kontakt. Grundsätzlich, meiner Meinung nach, wäre das auch ein guter Anwendungspunkt für Public Money, Public Code. Aber es, wir reden von Österreich. Danke. Dann einmal die Frage auf der von mir linken Seite, bitte. Bezüglich der Formel, ich weiß natürlich jetzt nicht, wofür das F steht, ob es einfach nur eine Summe ist oder ob dann noch irgendwie ein anderer Machine Learning Algorithmus ist. Aber in der klassischen Statistik würde man ja nun mit allen Variablen trainieren, die Bayes erzeugen, die man nicht drin haben möchte, die zum Beispiel geschlecht. Und das dann beim Predictment, wenn man Predicte dann einfach rausnehmen sozusagen und gibt es da irgendwie, weiß man, warum sie die Variable letztendlich drin gelassen haben, was man klassischerweise eigentlich verboten ist, zum Beispiel in der Versicherungsbranche? De facto. Also, Tipp einfach mal in dieses Modell reinschauen, weil die haben da sehr exakt dokumentiert, also ziemlich exakt dokumentiert, was sie gemacht haben. Grundsätzlich würde ich sagen, die Erklärung vom Geschäftsführer war, wir können nichts dafür, das ist der Arbeitsmarkt. Also, was er gemacht hat, also dieses, wir bilden hier nur ab, was die Personalverantwortlichen machen und deswegen sind wir nicht schuld, wenn es diskriminierend ist. Dann zu meinen, hallo, gibt es ähnliche Systeme in anderen Ländern und hat man da vielleicht schon mehr Erfahrungen, was dann zum Beispiel in diesen Korrekturloops passiert, wenn das Modell aktualisiert wird? Das Einzige, was jetzt so vom zeitlichen Rahmen her ähnlich gepasst hätte und thematisch war dieses Bewellbungsreihungsverfahren bei Amazon. Das kann man sich so vorstellen, Amazon so großer Cloud und Bla, und wir wissen das mit Computern, die sind dann draufgekommen, dass ihr System wirklich vollautomatisiert war, nicht statistisch wie hier. Der ein System hat sich drauf trainiert, alles, was weiblich konnotiert ist, abzuwerten. Die haben dann gesagt, okay, dann lass mal das lieber und machen das alles wieder manuell. Und das AMS in Österreich, wo wir, ja Österreich denkt sich, ja, wir machen das jetzt, wir kennen uns super aus. Also, ich wüsste von keinem anderen Fall, wo jemand hergegangen ist und so, was allen Ernstes machen wollte und es dann durchgezogen hat, grad nach den Erkenntnissen und den Face-Porms der letzten Jahre. Ja, vielleicht kann man direkt noch ergänzen sagen, solche Sachen sind ja leider häufig in Testprojekten, werden sie in verschiedensten Bereichen. Ich fand an dem Talk wunderbar, dass man hier sehen konnte, was bei es ist, wie er entsteht und in den Folgenabschätzungen vielleicht in seinen Firmen irgendwo machen muss. Nimmt sich bitte mal dieses Beispiel zur Brust und guckt, was eben passieren kann durch solche Geschichten, weil auch sei es Callcenter oder andere Bereiche, wird genau so was passieren und genau an solchen Stellen passiert, die dabei ist. Sind noch Fragen aus dem Internet? Falls nein? Noch mal einen herzlichen, herzlichen großen Applaus für PASCODA und wie gesagt, das sind die Vorträge, die einen vielleicht jetzt nicht so nach Himmel hoch jauchzen, oben ziehen, aber sind eben die wichtigen, weil sie bitte einfach mal mitnehmen in eure tägliche Arbeit, weil ihr, die ihr programmiert, ihr, die, wie heißt es in Firmen, teilweise für solche Sachen verantwortlich sind, nehmt das bitte mit rein, haltet es im Hinterkopf und wenn ihr am Meeting-Tisch seid, dann sagt auch entsprechend was, weil dafür lernt ihr hier auch mal Sachen, jenseits des Tellerrandes. Okay, dann einen guten Abend noch.