 Siegmar Otto erzielt euch jetzt was zu Jenner Effect bei Chatbot Designer innen und genau es von der Uni Hohenheim und ja wir haben 15 mit einem Vortrag und fünf Minuten noch für Fragen zu klären. Ja vielen Dank. Ich habe ja schon Mikro genau. Ja herzlich willkommen zu meinem unseren Vortrag. Im Großen und Ganzen geht es bei mir um Bias bei digitalen System wie die Bias reinkommen und wie sie aber auch die Nutzung und auch Entscheidungen von Menschen beeinflussen und das möchte ich heute an einer ersten Studie die wir in dem Bereich durchgeführt haben bei dem Gender Effect bei Chatbots darstellen. Die Studie war zusammen oder ist zusammen mit Sarah Zabel eine Doktorin von mir und wir forschen weiter an dem Thema und ich habe wenn ich ein paar Minuten Zeit habe am Ende noch dann werde ich auch noch auf einen weiteren Aspekt eingehen und zwar wie digitale Systeme auch entscheidungbezüglich Umweltschutz beeinflussen können. Ja wie gesagt ganz kurz werde ich einleiten was Bias und Nachhaltigkeit mit intelligenten Soziotation System zu tun hat. Dann werde ich das ein bisschen tiefer gehen da an einem Chatbot Beispiel ausführen wie dieser Bias entsteht wie der in die Software einfließt und was das eben auch bewirken kann das werde ich an der Hand in der Studie zeigen um am Ende dann vielleicht wenn wir noch Zeit haben auch zu zeigen wie nachhaltig also wie Spam-Email Filter ebenfalls Nachhaltigkeit beeinflussen können. Das ist so ein bisschen im Großen und Ganzen die Systematik mit der wir an die Forschung herangehen. Wir haben in der Mitte das digitale System das digital intelligente System den Algorithmus da kann man viele verschiedene Synonyme für einsetzen oder im Prinzip geht es da aber um die gesamte digitale Technologie mit der wir arbeiten die wir nutzen um zu konsumieren um Entscheidungen zu treffen und so weiter. Der Input besteht meistens darin dass eben EntwicklerInnen das Programmieren verschiedene Texte einfügen um eben diese Technologie zu entwickeln und dabei kann es eben zu Bias kommt das ist das mit dem wir uns beschäftigen und dieser Bias der ist dann in diesem System drin und kann sich auf vielfältige Weise und vor allen Dingen auch sehr stark multiplizieren weil natürlich wenn eine Entscheidung getroffen ist die in die Systeme einfließt die in vielfacher Weise durch die digitalen Systeme auf viele viele Nutzende zum Beispiel Einfluss haben kann. Das kann am Interface sein für einige Nutzende kann die Nutzer Erfahrung weniger gut weniger schlecht sein. Das kann aber auch bei Entscheidungen sein bei Kaufentscheidungen wenn man Vorschläge bekommt aber auch bei Spam-Email-Filtern die eben bestimmte E-Mails rausfüllen oder eben auch nicht herausfiltern und deshalb habe ich auch dieses so zu technisch System angezeigt links haben wir eben all das was die Entwicklung der Technologie beeinflusst im Kern der Mensch der oder die EntwicklerInnen aber natürlich auch die Gesellschaft mit Gesetzen mit verschiedenen Isonormen wir haben es eben gerade im vorigen Beispiel gesehen das ist im Prinzip ja da wo ich ansätze wo ich weitermache mit meiner Forschung und darauf aufsitze was jetzt der Vorredner bereits schon gut aufgezeigt hat. Auf der anderen Seite haben wir dann die Technologie die Technik die dann wiederum eine Auswirkung auf die einzelnen Menschen auf die Konsumentinnen zum Beispiel hat. So können wir dann zum Gender Effect beim Chatbot Design. Unsere Annahme war sehr wahrscheinlich gibt es da ein Effekt und zwar dass die Erfahrung von Nutzenden unterschiedlich ist und das hat insofern eine Relevanz wenn es da einen Gender Effect gibt weil 80 Prozent der EntwicklerInnen sind eben männlich in Deutschland aber das ist weltweit nicht viel anders und wenn da unbewusst irgendwelche Präferenzen in die Entwicklung einfließen hat das natürlich auch Auswirkungen auf die Nutzenden. Das war die Idee dahinter und das haben wir tatsächlich mit dem Experiment ich glaube ziemlich beeindruckend nachgewiesen. Wir haben dazu bisherige Studien ein bisschen weiterentwickelt und aufgebohrt. Es gab schon Studien zum Beispiel von Ben Bassat und anderen die haben Chatbots im Aussehen manipuliert haben einfach ein männliches ein weibliches Counter-File gegeben und haben dann zum Beispiel untersucht ob dann Frauen eher bereit sind Produktempfehlungen dieses Chatbots zu folgen und das war tatsächlich der Fall. Vielleicht ganz kurz noch Chatbots alle kennen sie ich glaube hier muss ich jetzt nicht groß erläutern Chatbots finden wir mittlerweile überall auf Websites von verschiedenen Providern Internet Providern unseren Internet Providern alle die da irgendwelche ja Ratschläge geben können Fragen beantworten können auf Reiseportalen überall gibt es diese Chatbots mittlerweile und die kommunizieren mit den Nutzenden aber auch Kaufempfehlungen werden eben gemacht Produktempfehlungen wie hier in diesem Beispiel und klar kann man die explizit manipulieren und zeigen okay es gibt hier einen Effekt wie dieser Chatbot gestaltet wird hatten Einfluss auf die Nutzenden aber unsere Frage ist ja was passiert wenn Entwickler in diese Dinge also in der Praxis entwickeln und in der Regel gar nicht drüber nachdenken was das für den Effekt zum Beispiel auf unterschiedliche Geschlechte hat oder aber auch auf andere Gruppen vielleicht auf jüngere ältere all das spielt oft keine große Rolle und ist auch nicht beabsichtigt und deshalb habe ich jetzt mal ein Beispiel aus unserer Studie genommen das ist ein Text den eine oder einen Teilnehmerin entwickelt hat und die hatten die Aufgabe Texte zu entwickeln die Nutzenden zu begrüßen auf einem Reiseportal und das ist hier ein Beispiel könnt ihr jetzt sagen ob das von einem Mann oder einer Frau entwickelt wurde also wir konnten das nicht wir haben uns es auch angeschaut aber wir hatten eben verschiedene Geschlechte bei entwickeln dabei und so sah dann auch unsere Studie aus wir haben dieser Bewertung der Chatbots durch Nutzende eine Studie vorgeschaltet indem wir eben in dem Fall knapp 20 Entwickler in solche Textbausteine entwickeln lassen haben die hatten keine Vorgabe das irgendwie speziell für Männer oder Frauen zu entwickeln sondern die sollten einfach diese Textbausteine entwickeln die hatten dann eine neutrale Vorgabe entwickelt bitte die Begrüßung für diesen Chatbot auf einem Reiseportal und noch ein paar andere Elemente die eben den Nutzenden anzeigen was der Chatbot alles kann so dann hatten wir diese 20 verschiedenen Textbausteine und die haben wir dann in einer größeren Studie wie das eben die Kolleginnen auch schon gemacht haben 320 Nutzenden vorgelegt und haben dann geschaut wie deren emotionaler Effekt darauf ist also deren Nutzer Nutzern Erfahrungen und es wird in der Psychologie relativ einfach gemessen mit der positive negative Effekt scale da werden zehn adektiv Paare im positiven und negativen vorgelegt und die Leute können ankreuzen wie sie sich dazu gerade fühlen und dann kann man eben da schauen ob es da Unterschiede gibt und genau das haben wir gemacht und tatsächlich ist es so dass wenn es ein Match zwischen dem Geschlecht des Entwicklers der Entwicklerinnen und des Nutzenden gibt dann war die Nutzenden Erfahrung besser dann war es positiver und weniger negativ und ja wir haben noch ein paar andere Wache haben getestet wir müssen jetzt nicht in Detail reingehen das ist jetzt im Prinzip eine statistische Auswertung Sozialwissenschaftler werden das verstehen und wir haben eben diesen Haupteffekt des Matches des Geschlechts wir haben dann eben diese Wache abend damit kodiert also wenn es eine Übereinstimmung zwischen Entwicklerinnen und Nutzer in gab dann wurde das mit eins kodiert wenn es also weiblich und weiblich war männlich männlich auch und wenn es eben unterschiedlich war mit null kodiert und so haben wir diesen Effekt dann in die Analyse reingeben und haben sehr signifikant einen Effekt gefunden wir haben noch ein paar andere variablen getestet das werde ich jetzt in der kürzeste Zeit nicht anreißen also wir haben die Entwicklerinnen auch gefragt ob sie schon theoretische Erfahrung mit der Entwicklung oder mit digitalen Medien haben ob sie in dem Bereich tätig sind und auch praktische Erfahrungen haben das haben wir dann auch noch untersucht und vielleicht nur ganz kurz also eine gewisse theoretische Erfahrung hatte das sehen wir jetzt hier nicht ein klein positiven Effekt aber das wie gesagt haben wir jetzt hier nicht auf der Tabelle drinnen ja was können wir machen also wir haben es gesehen wir haben dann effekt 80 prozent der Entwicklerinnen sind männlich und dem zufolge ist es sehr wahrscheinlich das für die ja meisten nutzenden meisten männlich nutzenden die nutze erfahrung besser ist generell um das ein bisschen weiter zu fassen könnte man das zum beispiel auch und mein vorredner das auch schon erwähnt in die iso norm aufnehmen und zwar das ist eben bei der iso 92 41 die die ergonomie interaktive systeme sicherstellen soll und die qualität dieser system sicherstellen soll dass man da die indivisierbarkeit betrachtet und mit betrachtet ob beziehungsweise zu welchen grad die systeme frei von bayern sind wenn man das noch ein bisschen weiter zieht ist es natürlich wichtig dass wir bayern in der digitalen welt aufdecken mit solchen und ähnlichen studien und dann auch versuchen zu vermeiden dazu könnten wir neutrale versonen entwerfen oder aber und dazu bietet technologie auch viele möglichkeiten die ja technologie individualisieren das heißt auf verschiedene nutzende auch anpassen dass jeweils die nutzenden oder die nutzergruppen noch bessere nutzer erfahrung oder nutzer in erfahrung haben also mehr diversität für alle letztendlich in ein paar minuten habe ich noch oder dann würde ich jetzt eben auch noch ein bisschen ein zweites beispiel liefern wo es ja um die nachhaltigkeit bei spam filtern geht oder die auswirkung von spam filtern auf die nachhaltigkeit ich gehe ein bisschen in meine grundsätzliche forschung rein da geht es auch um nachhaltigkeitsmotivation was wir in unserer forschung machen ist wir messen die nachhaltigkeitsmotivation von personen und zeigen dass die ein sehr sehr großen effekt auf die verhaltensweise im alltag hat also hier oben haben wir die sehr nachhaltigen personen das sind wenige im mittleren bereich sind natürlich die meisten personen mit einer mittleren nachhaltigkeitsmotivation und hier menschen mit eher niedriger nachhaltigkeitsmotivation und wahrscheinlich sitzen hier jetzt alles menschen mit einer motivation die weit über dem durchschnitt liegt und dem zufolge werden sie wahrscheinlich auch die meisten oder werdet ihr wahrscheinlich auch die meisten verhaltensweisen zeigen die wir hier auch abfragen zum beispiel eine ökologische route beim bei den navigation zu wählen oder auch gleich aufs auto verzichten das sind alles sachen für die man eine gewisse nachhaltigkeits motivation braucht aber auch zum beispiel petition für den umweltschutz zu unterschreiben auch dafür braucht man eine gewisse nachhaltigkeitsmotivation und was man jetzt machen kann mit technologie ist die schwierigkeit dieser verhaltensweisen leichter machen also den leuten auch mit einer mittleren motivation es ermöglichen diese petition zum beispiel zu unterschreiben was ist jetzt aber wenn spam filter solche emails die zu petitionen auffordern schon ausfiltern und bekommen die leute mit der mittleren nachhaltigkeitsmotivation diese emails überhaupt nicht und haben überhaupt keine gelegenheit die zu unterschreiben weil sie sich damit auch gar nicht beschäftigen das heißt spam filter die ja spam gezielt nach bestimmten kriterien ausfiltern haben tatsächlich schon einen großen einfluss auf das was menschen vielleicht in dem alltag tun weil sie vielleicht manche emails wie solche petitionen von greenpeace gar nicht durchlassen der frage ist die frage ist aber wer entscheidet das wer entwickelt dieses spam email filter dass sie eben diese emails durchlassen oder nicht durchlassen da guckt eigentlich wahrscheinlich gar niemand groß drauf das wird irgendwann entwickelt und deshalb haben wir dazu auch eine studie durchgeführt und haben eben eine größere gruppe von menschen verschieden emails vorgelegt unter anderem auch diese und haben den gesagt okay das ist trainingsmaterial für eine algoritmus und der algoritmus muss wissen ob das ein spam email ist oder nicht das war diese email dann email von brod für die welt tatsächliche spam emails über irgendwelche kryptowährungen oder auch irgendwelche emails von finanz instituten und dann haben wir die leute fragt ist das spam oder nichts soll das als spam sortiert werden oder nicht das war die Aufgabe und wir haben auch deren nachhaltigkeitsmotivation gemessen deshalb habe ich das auch kurz erläutert und was wir sehen wir sehen eine ganz klare korrelation der nachhaltigkeitsmotivation also wie nachhaltig jemand motiviert ist mit dem einfluss auf die sortierung dieser emails die email von greenpeace wurde von nachhaltigkeits motivierten deutlich weniger als spam aus sortiert genauso wie eine email vom nabu also entsprechen unsere botese aber auch eine email von unizer von brod für die welt wurde von denen weniger häufig als spam aus sortiert und wir sehen es und das ist auch noch mal ein indiz dafür dass die studie ganz gut funktioniert hat die nachhaltigkeitsmotivation hatte keinen effekt auf diese emails von elster der deutschen bank oder der kommerzbank und wir sind hier oben aber auch noch ein effekt die nachhaltigkeitsmotiviteren waren tatsächlich besser als die anderen drin diese echtes email aus zu sortieren also noch ein schöner nebeneffekt so das heißt was wir hier sehen ist dass die nachhaltigkeitsmotivation der entwickler in wirklich einen ziemlich starken einfluss auf die entwicklung solcher algorithmen haben kann und wenn wir bedenken das jetzt zum Beispiel bei gmail milliarden von emails gefiltert werden über den spamfel der der irgendwann trainiert wurde hat das wirklich wahrscheinlich ein ziemlich großen gesellschaftlichen effekt weil natürlich ja einmal trainiert diese algorithmus das ständig und auf viele zeit wiederholt das ist hier wirklich eine wichtige nachricht und ich denke da sollten wir hinschauen wie wir da mit diesen technologien umgehen und auch darauf schon wer das trainingsmaterial entwickelt oder wer entscheidet was zum beispiel in dem fall spam es und was nicht genau das soll soweit gewesen sein vielen dank für die aufmerksamkeit und lassen sie uns den digitalen wandel oder lasst uns den digitalen wandel im positiven sinn mitgestalten und nachhaltigkeit und diversität fördern dankeschön also genau ihr könnt jetzt fragen stellen ich kann mit dem mikro kommen aber vielleicht geht es auch so vielleicht hört man euch auch so ja sehr gut und zwar gibt es ja auch die k i road map jetzt von der dien wo es darum geht eben handlungsempfehlungen für die k i entwicklung zu geben dass dort auch eine regulierung kommt weil sie vorher auch die iso erwähnt haben deswegen wollte ich fragen inwieweit sie das vielleicht auch im blick haben weil das dort ja auch ein sehr starken diskurs gibt oder es ist ja auch so ein bottom-up prozess da kann ja im prinzip auch jede und jeder mitmachen hatten sie das auch im blick neben dem blick auf die iso und die dortige möglichkeit das zu implementieren genau im prinzip soll die soll diese studien eben auch die diese vorgehen oder diese initiativen unterstützen das eben genau das zeigt genau das brauchen wir damit wir hier in der breiten gesellschaftlichen vielfalt auch diese sachen mitentwickeln und diese norm setzen genau dass es eben auch das was wir machen sollten also das ist im prinzip schon ein anzten lösungsansatz für das was ich hier vorgestellt habe auf jeden fall danke noch mal für den inweis ja also die wird auch beim wahrscheinlich beim digital gepflegt die neue ausgabe released und das wird eigentlich super sinn machen sich dazu vernetzen also ich war dort von der arbeitsgruppe etik eben auch sprecherin und ich kannte die studie jetzt nicht vielleicht wollen wir dann mal karten tauschen oder ja super gerne also die eine ist veröffentlicht der bayer ist deshalb habe ich die auch im vordergrund gerückt die andere ich versuche zeit zu finden die aufzuschreiben und zu veröffentlichen aber die daten sind da ja vielen dank für den vortrag mein name ist christian schneide ich bin vom bundesamt für naturschutz was ich mich gefragt habe gerade wenn zum regulierung um normierung um iso norm oder sagen aus welcher perspektiv warum die norm kommt geht habe ich mich gefragt bei ihrem ersten teil wäre es also ist nicht das ziel dass alle entwickeln entwickeln dass es dann einfach einen ausgleich gibt dann bräuchten wir uns quasi nicht um die normierung kümmern oder was sind eigentlich die ansätze in der normierung dass man einen ungleich gewicht wer angesprochen wird von chatbots und ein positives erlebnis oder positive erfahrung hat wie kann man das denn überhaupt ändern und wie kann man was was wird da eigentlich normiert dass sich alle gleichermaßen angesprochen führen können also mein sagt es geht da nicht wirklich um die normierung sondern geht darum dass man diese sachen berücksichtigt und auf vieler auf breiter basis im prinzip schaut wo sich diese bayers entwickeln können und dafür zumindest im ersten stritten bewusst sein entwickelt und das war ja nur ein beispiel ich schätze mal wenn wir ja noch ein bisschen weiterforschen fallen uns da bestimmt noch eine ganze menge anderer beispiele ein und deshalb würde ich da gar nicht so ins detail gehen und sagen das muss jetzt in dem beispiel genau so gemacht werden ja gerade die digitalen system entwickeln sich ja auch ständig weiter und von daher muss es eher auf einer übergeordneten ebene eine empfehlung oder irgendwas in die richtung geben plus dass wir eben auch und dazu bietet die technologie auch eine ganze menge möglichkeiten ja customization ist hier ein schlagwurrt wo wir eben wirklich dann auch das anpassen auf einzelne personen gruppen und dann spielt dieser unterschied kann ja zum vorteil werden weil wir dann auch genau die zielgruppen adressieren ja die zeit ist leider um deshalb müssen leider aufhören gut ja vielen dank