 Hallo und herzlich willkommen zu meinem Vortrag K.I. im Klassenzimmer, yay oder nay. Ich bin Nina, ich bin derzeit wissenschaftliche Mitarbeiterin im Büro von Birke Bull-Bischoff. Sie ist die bildungspolitische Sprecherin der Linkfraktion im Bundestag. Die letzten zwei Jahre habe ich auch die Enquete-Kommission K.I. im Bundestag für die Linke mitbegleitet. Und davor habe ich auch schon mal im Bildungssektor gearbeitet, sodass ich diesen Vortrag jetzt hier nutzen möchte, um mal alle meine Beobachtung zum Thema K.I. in der Schule zusammenzutragen und vor allem auch einen Blick auf die dabei verarbeiteten Daten zu werfen und einen Ausblick darauf zu schaffen, wie K.I. vielleicht sogar dafür genutzt werden kann, um strukturelle Probleme im Bildungssektor anzugehen. Vorausschicken möchte ich, dass, wenn ich hier von K.I. rede, ich jeweils ein sogenanntes schwache K.I. meine und mich auf Machine Learning in Eisenausprägung beziehe. Ich möchte euch zuerst einen kleinen Überblick geben, wie K.I. im Schulbereich im Moment schon eingesetzt werden kann, was dabei auch tatsächlich noch nicht so wahnsinnig gut läuft. Dann natürlich zeigen, was meiner Meinung nach besser laufen könnte, welche Anforderungen es braucht, damit es besser laufen kann und dann auch am Ende mit einer konkreten Empfehlung schließen. Als ich mich vor ungefähr einem Jahr angefangen habe, mit diesem Thema vertief zu beschäftigen, sind mir zwei Dinge aufgefallen. Zum einen ist der Begriff K.I. eigentlich noch nicht wirklich konkret und allgemein definiert und all diese K.I.-Anwendung im Bildungsbereich auch noch nicht. Da wird also viel experimentiert und herumgeworfen mit Learning Analytics, mit Tutorsystemen, intelligenten Tutorsystemen. Das Ganze unter die Oberbegriffe von Educational Data Mining gestellt. Das ist wiederum teilweise die Voraussetzung oder steht neben dem anderen Begriff von AID, also Artificial Intelligence in Education. Also da kann man je nach Autor und je nach Anwendungsbereich baut das eine auf dem anderen auf oder steht nebeneinander oder ist eine Folge davon. All das ist ein Signal dafür, dass wir in diesem Bereich tatsächlich noch sehr am Anfang stehen, dass es alles sehr unstrukturiert ist und letztendlich ist auch der ganze Anbietermarkt von diesem System noch sehr am Anfang und unstrukturiert. Derzeit sind es vor allem oder eigentlich ausschließlich probriertäre Systeme, sodass auch teilweise Forscher manchmal gar nicht so richtig wissen, arbeitet ein System, das mit K.I. wirbt eigentlich wirklich mit K.I. in Sinne von Machine Learning oder ist es nur ein einfacher Algorithmus ohne Lernverfahren oder wie viel Werbung und wie viel Marketing steckt eigentlich in diesen Anbietersystem eigentlich wirklich dahinter. Dann gibt es aber neben dem ganzen Learning Analytics Bereich, der sich also sehr konkret auf die Erhebung und Analyse von lernandem Daten, also zur Verbesserung von Lernerlebnissen und Lernergebnissen beschäftigt. Es gibt eine weitere Anwendungsbereiche, in denen K.I. eingesetzt wird. In den USA gibt es zum Beispiel ein Verfahren, das das Serfverhalten analysiert. Auf dieser Keyword-Liste der Risikofaktoren stehen dann allerdings auch Begriffe wie Schwul, Queer oder Gedichtssammlung. Also selbst wenn wir jetzt auch von sehr intoleranten Gesellschaften ausgehen, ist es natürlich überhaupt nicht zu unterstützen, dass diese Begriffe überhaupt irgendwie die Person zugeordnet und in Sinne einer Risikoprävention verwendet werden. Gesichtserkennung auf dem Schulgelände gab es neben den USA auch in Europa schon. Das hat Schweden mal an einer Schule probiert und die wurden dann aber nach sehr, sehr kurzer Zeit auf Basis der DSGVO auch schon mit einer hohen Strafe versehen. Also nicht unbedingt nachahmswert. In China ist man da schon ein bisschen weiter und auch ein bisschen toleranter. Dort gibt es Gesichtserkennung auch in der Mensa und in Bibliotheken, sodass dann ganz nebenbei auch noch Ernährungsverhalten und Leseverhalten noch mit erfasst und analysiert werden. Ganz besonders Schamann ist natürlich, dass Eltern sich in Klassenzimmer, Kameras auch mit einloggen können, um ihre Kinder dort direkt im Unterricht damit zu beobachten. Es gibt zwar hier und da sogar in China Widerstände dagegen und das finden nicht alle Eltern toll. Aber so wie ich das mitbekommen habe in den letzten Monaten, dann ist die Entwicklung da wahrscheinlich eher noch schwer aufzuhalten. Hier in Deutschland gibt es Forschungsprojekte, um zum Beispiel mit einem Stift direkt beim Schreibenüben Schreibfehler oder Schreibschwächen rechtzeitig zu erkennen. Dann eher aus dem Hochschulbereich ist dieses Beispiel ernannt vom KIT, wo die Studienabbruchswahrscheinlichkeit berechnet wird. Je nachdem, was man mit den Ergebnissen macht, kann das vielleicht sogar sinnvoll sein, weil dann rechtzeitig Hilfestellung gegeben werden kann. Aber wie dann einzelne Entscheider innen mit solchen Ergebnissen umgehen, das steht natürlich noch mal auf einem ganz anderen Blatt. Und dann wird am DFKI und auch in der Universität von Tübing an intelligenten Schulbüchern geforscht, die auch mit Daten arbeiten aus I-Trackern, EEG-Messungen und sogar aus der Nasentemperaturmessung. Dabei wird davon ausgegangen, dass wenn die Nasentemperatur fällt, davon auszugehen ist, dass einem Lernenden bei seinem Lernstoff gerade Schwierigkeiten begegnen. Und das würde dann letztendlich in einer perfekten intelligenten Schulbuchversion dazu führen, dass ihm noch ergänzende Inhalte angezeigt werden oder vielleicht irgendwie der ganze Lernfahrt dann in Zukunft anders aufgebaut wird. Ich bin sehr gespannt, ob diese Systementwicklungen jetzt auch im Pandemiewinter Daten erhebt, wo wahrscheinlich jeder Schüler zu jeder Zeit einfach kalte Nasen hat und was das letztendlich für die Lernfahrtentwicklung bedeutet. Aber das ist ein anderes Thema. Kann KI denn überhaupt im Bildungssystem etwas Positives beitragen? Und wenn wir uns die Stärken von KI angucken, dann sieht es auf den ersten Blick tatsächlich so aus, als wäre das eigentlich gar keine so schlechte Idee. Also gerade im Bereich der Spracherkennung oder Übersetzungssysteme mit allen Schwächen, die damit einhergehen, kann es tatsächlich dazu beitragen, dass Integration oder auch Inklusion an Schulen einfach erleichtert werden, im Sinne von ergänzt werden. Wenn Systeme gut gemacht sind, können sie zumindest kurzfristig immerhin auch die Motivation von Schülerinnen steigern und können im Idealfall Lehrkräfte auch tatsächlich entlasten. Das wäre alles total wunderschön, wenn es nicht auch Schwächen im KI-System gibt, die euch alle sicherlich total vertraut sind. Die Qualität eines KI-Systems bemüßt sich vor allem nach der Datenbasis, garbage in, garbage out, wie man so schön sagt. Und viele Daten im Bildungsprozess, der ja ein sozialer Prozess ist, der ist vielleicht gar nicht unbedingt optimal operationalisierbar. Das heißt, da stellt sich immer noch die große Frage, welche Daten können überhaupt erfasst werden und wie können sie überhaupt sinnvoll analysiert werden. Lerndaten betreffend Mintfächer, die auf Logik basiert sind, eignen sich dafür sicherlich besser als zum Beispiel die sogenannten 4K-Kompetenzen. Also Kollaboration, Kreativität zum Beispiel. Wie will man sowas messen und wie will man sowas in operationalisierbarkeiten pressen? Das steht noch im Raum. Dann haben wir natürlich auch im Bildungsbereich die üblichen Probleme mit der Nachvollziehbarkeit und mit der Erklärbarkeit und die Risiken von Verzerrungen. Auch nicht ganz unwichtig ist die Problematik, dass eine Korrelation noch keine Kausalität mit sich bringt. Also hier nochmal das Beispiel mit der Nasentemperatur. Es kann ganz viele verschiedene Gründe haben, warum Gehirnströme gerade einen bestimmten Weg nehmen, warum Körpertemperaturen sich verändern oder warum sich Augenbewegungen entweder direkt bei einem leeren Inhalt oder auch im Raum bewegen. Das hat alles nicht zwangsläufig was mit den Lerninhalten oder mit der Lernatmosphäre zu tun. Bei all meinen Recherchen hier für diesen Vortrag habe ich immer ganz explizit gefragt, gibt es denn Beweise dafür überhaupt, dass diese KI-Systeme recht auch gut funktionieren und den Lernenden tatsächlich was bringen. Aber diese Evidenz gibt es bislang nicht. Ich habe interessanterweise als kleine Anekdote am Rande auf der Webseite von Bettermarks eine Bewertung gefunden für das System Bettermarks von dem neurowissenschaftlichen Institut, das unter der Leitung von Manitry Spitzer steht. Der ist den Freunden der digitalen Bildung vor allem dadurch bekannt, dass er viele Elemente der digitalen Bildung eigentlich eher verteufelt. Aber dort wird auf der Webseite natürlich dem System Bettermarks bescheinigt, dass es einen total guten Lerneffekt hat. Wie gesagt, Forscher konnten das bisher noch nicht bestätigen. Wenn wir nun diese KI-Systeme mit all ihren Schwächen auf die Schulen ungebremst loslassen, dann kann das also dazu führen, dass wir eigentlich anstatt dieser Entlastung eher Überforderungen produzieren, dass wir Normierungen und Standardisierungen in Bereichen einführen, die vielleicht gar nicht ohne weitere Standardisierungen sind. Wir können Lehrkräfte in unangenehme Situationen bringen, wenn sie zum Beispiel in eine Elternsprechstunde mit Eltern konfrontiert sind, die nicht nur die Methoden des Lehrers hinterfragen, das machen sie ja jetzt schon häufig genug, sondern dann vielleicht auch Bewertungssysteme hinterfragen und dann von Lehrkräften wissen wollen, wie kommt denn dieses System zu dem Ergebnis oder zu dieser Bewertung meines Kindes und Lehrkräfte sowas nicht einfach erklären können. Größtes Problem ist natürlich, dass alle Systeme über die im Bildungssektor gesprochen wird, diese Learning Analytics Systeme und Tutorsysteme, dass die mit personenbezogenen Daten von ja größtenteils minderjährigen Schüler inarbeiten. Das heißt, da werden Datensammlungen angefertigt, das werden dann Profile angefertigt und das alles unterwandert die informationale Selbstbestimmung der Kinder. Selbst wenn Eltern dieser Verwendung natürlich zustimmen müssen, stellt sich auch noch die Frage, wie gut sind die Eltern denn überhaupt informiert über all die Konsequenzen und die Folgen, die das hat? Inwieweit gibt es vielleicht auch einen gewissen sozialen Gruppenzwang in einem Klassenverband oder in einer Schule sich anzuschließen, auch wenn man vielleicht als Eltern selber gar nicht genau weiß, was das eigentlich bedeutet. All das ist im Moment noch so ein bisschen unklar und das ist genau diese Punkte über, die meiner Meinung nach im Moment noch viel zu wenig tatsächlich offen gesprochen wird. Was diese Schwächen tatsächlich in der Praxis für Probleme mit sich bringen können, sehen wir auch schon in ausländischen Anwendungen. Zum Glück muss man fast sagen im Moment. Ich weiß nicht, ob ihr das mitbekommen habt. Im Sommer gab es diese Problematik mit den Themen Aufqual. Genauso wie bei uns auch haben die Schulen unter der Pandemie gelitten und das konnten bestimmte Prüfungen zu Abschlüssen nicht richtig gut oder überhaupt nicht durchgeführt werden. Das heißt, Lehrkräfte wurden gebeten, doch aufgrund von ihren persönlichen Einschätzungen dann die Schüler mit einer Abschlussnote zu versehen. Diese Abschlussnoten waren dann aber den Behörden offensichtlich zu gut, sodass sie nochmal ein Algorithmus eingesetzt haben, der das Ganze nachrichten sollte, dass wiederum führte dazu, dass viele Noten wieder abgewertet wurden und Schüler sich verschlechtert haben. Dagegen sind dann natürlich die Schülerinnen wieder auf die Straße gegangen und haben sich gewährt, sodass am Ende doch wieder die Beurteilung der Lehrkräfte eingesetzt wurden. Zum Glück. Ein anderes Beispiel, von dem ich gelesen habe, ist das System at Genuity. Ich weiß nicht, ob das richtig betont ist. Dort hat eine Mutter festgestellt, dass die Textverarbeitungssysteme, die die Aufsätze ihres Kindes bewerten sollen, viel, viel schlechter bewerten, als früher die Aufsätze, die das Kind einfach ganz normal mit der Hand in der Schule geschrieben hat. Und dann ist sie diesem System auf den Grund gegangen und hat festgestellt, dass das System vor allem bewertet anhand der Häufigkeit von bestimmten Stichwörtern. Und dann hat sie versucht, einfach mal so als Beispiel einfach nur mit Stichwort Wolken so eine Aufsatzaufgabe zu erfüllen. Und tatsächlich wurden diese Stichwort Wolken besser bewertet, weil sie komplett zusammenhängender Text war. Was natürlich, wenn man das System soweit einmal verstanden und geknackt hat, relativ leicht ist, solche Aufgaben zu bestehen, aber natürlich überhaupt gar keinen Bildungseffekt mehr mit sich bringt. Auch eher aus dem Hochschulbereich sind diese Testverfahren Proctoria und Examsoft bekannt. Sollen hier an dieser Stelle aber trotzdem angesprochen werden, einfach um schon mal auch zu zeigen, welche Probleme damit einhergehen, bevor wir auf die Idee kommen, vielleicht auch an den Schulen einzusetzen. Diese Systeme arbeiten vor allem mit Kameraüberwachung, aber auch mit Geräuschanalysen und mit Bewegungsanalysen, um daraus Rückschlüsse zu ziehen, ob ein Prüfling gerade versucht zu täuschen. Und diese Systeme haben jetzt schon in der Praxis verschiedene Probleme aufgezeigt. Also das ganz typische Problem, was wir ja schon in anderen Kamerakontexten kennen, bei People of Color, die in der Kamera nicht erkannt werden, dann gebeten noch zusätzliche Lichtquellen einzusetzen. Dann kann es tatsächlich dazu führen, dass Menschen diskriminiert werden, die in beengten Verhältnissen in der WG-Wohn oder vielleicht noch Kinder um sich haben, weil dann unbekannte Geräuschquellen auftauchen, die ein System vielleicht als Täuschungsversuch oder als Unterstützerperson klassifizieren kann. Aber auch gesundheitlich beeinträchtigte Menschen sind zusätzlich belastet, einfach weil sie angeben müssen, dass sie vielleicht häufiger mal ins Bad müssen oder dass sie eine Insulinpum betragen, einfach damit das System von bestimmten Signalen oder so zum Beispiel nicht irritiert ist. Also all das führt dazu, dass Menschen gezwungen werden, Dinge offen zu legen und vor allem diese Daten auch in Datenbanken mit erfasst werden, die eigentlich sehr persönlich und sehr privat sind und mit einem Prüfergebnis überhaupt gar nichts zu tun haben. Hier in Deutschland kennen wir alle oder die meisten von euch wahrscheinlich diese Anwendung auf Duo-Lingo zum Vocable oder zum Sprachtraining. Duo-Lingo hat auch ein Englisch-Test aufgelegt, der auch online absolviert werden kann und auch dort wird mit Kamerasystem gearbeitet. Und ich habe bei einer Forschung nachgelesen, dass der Forscher dann versucht haben, da auch mal dem auf den Grund zu gehen, ob Duo-Lingo denn ausschließen kann, dass diese bekannten Systeme bei Duo-Lingo nicht auftauchen, also diese Diskriminierungen nicht passieren können oder auch zum Beispiel Diskriminierung aufgrund von Akzenten nicht automatisch als fehlerhaft eingestuft werden. Und leider konnte zumindest zu dem Zeitpunkt der Befragung Duo-Lingo diese Diskriminierung nicht ausschließen. Ein System über das ich gesteupert bin bei meiner Recherche ist Dürias. Ich habe leider noch nicht herausgefunden, ob Schulen überhaupt damit arbeiten und wenn ja wie viele, also wenn ja was über dieses System und seine Anwendung wiss, bin ich für sachdienliche Hinweise total dankbar. Was ich darüber gelesen habe, ist, dass Dürias ein Risiko an der Lüsesystem, was unter anderem auch genutzt werden kann, um ein Risiko für häusliche Gewalt zu identifizieren und das wird auch in der Schule angewendet. So, dass Lehrkräfte nach einer Schulung und wenn sie eine Lizenz erworben haben, mit diesem System also erkennen können, ob Schülerinnen demnächst vielleicht mal ammer laufen. Und dazu werden Kommunikationsverhalten und auch Verhaltensweisen analysiert. Wie genau das System funktioniert, wie gesagt, weiß ich im Detail nicht, da werde ich aber sicherlich nochmal in Zukunft etwas tiefer einsteigen, um das zu verstehen, weil mich das sehr irritiert. Im Ergebnis bekommen Lehrkräfte dann so ein farblichen Balken. Das ist also ein Original-Screenshot aus der Broschüre und vollkommen unklar ist für mich tatsächlich auch, was genau passiert oder wer Zugang zu diesen Daten hat, wenn dann ein Kind tatsächlich immer weiter in diesen roten Bereich rutscht und was heißt überhaupt roter Bereich und bedeutet das höchste Warnstufe oder bedeutet Stufe 5 schon, hier musst du eigentlich sofort zur Polizei rufen. Dazu kommt noch, dass die Daten, die für dieses System erfasst werden, dass die Browser basiert, verarbeitet werden, immerhin verschlüsselt. Ein weiteres halbwegs beruhigendes Signal ist, dass Thürias in seiner Broschüre zumindest daraufhin weist, dass die Nutzung von gewaltorientierten Computerspielen oder auch das Tragen eines Irokesenschnitz zum Beispiel, keine Indikatoren sind für eine erhöhte Gewaltbereitschaft. Aber wie gesagt, da werde ich mich auf jeden Fall nochmal weiter informieren wollen, wie dieses System genau in der Praxis arbeitet. Und letztendlich ist es auch mal sehr interessant zu wissen, was passiert dann eigentlich mit diesem Farbskala-System. In der ganzen Beschäftigung mit KI in den letzten zwei Jahren hat sich bei uns im Fraktionsteam irgendwann mal diese Frage aufgedrängt, was es denn überhaupt mit den Menschen macht, die mit solchen KI-Systemen arbeiten. Und es wird immer so ein bisschen als beruhigendes, ja sozusagen als so eine Art Feigenblatt, ganz oft erwähnt, naja, am Ende die letzte Entscheidung trifft ja der Mensch. Aber was bedeutet das eigentlich? Weil für uns hat dann tatsächlich an der Stelle diese Debatte nicht aufgehört, sondern erst angefangen. Weil die Frage ist dann, welche Verantwortung kann ein Mensch dann überhaupt für seine Entscheidung übernehmen. Und wenn er tatsächlich diese Entscheidung treffen soll, ist er überhaupt dazu befähig, diese Entscheidung zu treffen. Einmal tatsächlich kognitiv, weil es ja überhaupt wie das System funktioniert, kann er einschätzen, wenn eine Klassifizierung oder eine Entscheidungsvorbereitung vorgenommen oder vielleicht sogar eine Entscheidung getroffen wird, kann er überhaupt erkennen, ob die Entscheidung des Systems richtig ist in seinem Sinne oder ob er vielleicht sich dagegen entscheiden sollte. Und selbst wenn er sich entscheidet, sich dagegen zu entscheiden, ist er überhaupt dazu berechtigt, aufgrund von seiner Rolle in der Organisation. Es gibt Organisationen, da wird es ja vielleicht durchaus erwartet, dass er eigenmächtig entscheidet und dann gibt es andere Organisationsformen, wo es genau von ihm erwartet wird, sich nicht eigenmächtig zu entscheiden. Also das betrifft jetzt alles nicht nur den Bereich Bildung, sondern insgesamt soziale Kontexte im Einsatz von KI-Systemen. Eine grundsätzliche Frage, die wir uns stellen müssen in allen Anwendungssektoren ist, wer entscheidet denn überhaupt besser, der Mensch oder die Maschine und nach welchen Gütekriterien wird das entschieden? Im Bildungsbereich gibt es ja durchaus die Meinung, dass es heißt, lieber sollen Schüler von scheinbar neutralen Systeme bewertet werden als von Vorurteils belasteten Menschen. Aber auch ein System ist natürlich niemals neutral und auch selbst wenn ein Mensch mit Vorurteilen belastet ist, hat er trotzdem nur einen relativ kleinen Entscheidungsspielraum. Wenn hingegen für Bewertungsverfahren Systeme eingesetzt werden, dann wirken sie direkt auf die ganze Schule oder im schlechtesten Fall vielleicht sogar für das ganze Land. Und auch wenn wir uns dafür entscheiden, dass Entscheidungen an Maschinen ausgelagert werden soll, um Schaden zu vermeiden, ist auch die Frage, wodurch entsteht dann überhaupt ein Schaden. Entsteht ein Schaden durch ein richtig funktionierendes System, das dann aber langfristig gesellschaftliche Schäden mit sich bringt oder entsteht ein Schaden durch ein nicht gut funktionierendes System oder ein nicht wie erwartet funktionierendes System und entstehen Schäden eigentlich nur durch Tun oder entstehen Schäden auch durch Unterlassung. Das heißt, bezogen auf diese Entscheidung, wenn wir entscheidet besser Mensch oder Maschine, müssen all diese Aspekte mit betrachtet werden und auch der Verzicht auf ein maschinelles System, das vielleicht irgendwann nachweislich einen positiven Effekt hat, kann tatsächlich zu einem Schaden führen. Wenn wir uns dann dafür entschieden haben, dass wir ein KI-System ergänzt und einsetzen wollen in einem bestimmten Anwendungssektor, dann muss als nächstes entschieden werden, wieviel Entscheidungsspielraum soll der Mensch dann überhaupt noch haben, wenn es heißt, am Schluss trifft der Mensch die letzte Entscheidung. Die Papiere von der EU-Kommission zum Beispiel gehen im Moment von drei verschiedenen Stufen aus. Human in command, human on command und human in balloon. Aber es gibt schon aus der Informatik viel ältere Klassifizierungssysteme, die viel ausgefeilter sind, zum Beispiel vom MIT aus der 1980er-Jahre, die bis zu zehn Stufen unterscheiden, in denen verschiedene Autonomie gerade vom Menschen bis zur Maschine einmal durchlaufen werden. Von der vollständigen Autonomie für den Menschen bis zur vollständigen Autonomie durch die Maschine. Das heißt, da ist dieser Aussage, die letzte Entscheidung trifft der Mensch, ist noch soviel wahnsinnig vielen Fragen unterworfen. Und vor allem finde ich das für die allerwichtigste Frage genau diese Abstufungen, welchen Entscheidungsspielraum Mensch überhaupt hat. Weil daraus leitet sich dann letztendlich auch ab, dass man mit diesem System gebildet wird, muss mit diesem System überhaupt zu arbeiten und auch welche Vereinbarung er vielleicht in seinem Arbeitsvertrag braucht, also welche Rechte er überhaupt hat, diesen Entscheidungsspielraum tatsächlich auch wahrzunehmen. Selbst wenn er diesen Entscheidungsspielraum dann für sich festgelegt hat, dann ist auch noch die Frage, wie viel Entscheidungsspielraum lässt das System dann tatsächlich zu. Es gibt in diesem ganzen Bereich Mensch-Maschine-Interaktion derzeit noch sehr, sehr wenig Forschung, die gegeben hat, die zeigen zum Beispiel, selbst wenn Menschen erkennen, dass das System gerade nicht optimal arbeitet und sie möchten gerne in das System eingreifen, um einen Fehler zu eliminieren oder eine Korrektur vorzunehmen und dann dabei feststellen, dass dieser Prozess so wahnsinnig aufwendig und kompliziert ist, dann neigen Menschen tatsächlich dazu, mit diesem fehlerhaften System trotz besseren Wissens weiter zu arbeiten. Und das ist halt etwas, was wir gerade in sozialen Kontexten und gerade in Bereichen, dass die KI-Systeme über das Leben oder Lebenswege von Menschen entscheiden, einfach ganz genau hinschauen sollten, was es denn eigentlich bedeutet, wenn der Mensch die letzte Entscheidung treffen soll. Dann am Ende kann es tatsächlich sein, dass der Entscheidungsspielraum, der dort angedeutet wird mit dieser Aussage, viel, viel kleiner ist als angenommen. Entscheidungsspielräume geklärt sind und auch, weil wir von total optimal funktionierenden KI-Systemen ausgehen, dann ergeben sich immer noch Probleme auf der strukturellen Ebene, was macht das dann mit der Lernkultur und mit der Bildungskultur an Schulen? Das fängt an bei der Erhebung von den Daten, also der Datafizierung von Lernprozessen. Ich werde nicht müde, immer wieder zu wiederholen, dass wir immer noch mit personenbezogenen Daten von größtenteils minderjährigen SchülerInnen arbeiten. Und dass wir Kinder auch schon sehr, sehr früh daran gewöhnen, sich mit algorithmischen Klassifizierungs- und Bewertungsverfahren auseinanderzusetzen und sich vielleicht ihnen auch sogar zu unterwerfen, ohne dass sie sie aufgrund der Blackbox-Problematik vielleicht nachvollziehen können. Nächste Problematik ist das Ding der Standardisierung. Operationalisierung von Daten. Welche Dinge werden dabei ausgelassen? Wer bestimmt, was der Standard ist? Wer bestimmt, was das normal ist? Inwieweit können diese Systeme überhaupt hinterfragt werden? Welche Qualitäts- und Fairnessmaße beim Training und welche Feedback an diese Systeme gegeben werden? In der Bildung gehört es letztendlich dazu, auch nicht standardisierte Wege zu gehen. Hetty, einer der renommiertesten Bildungsforscher, hat in seiner Studie Visible Learning unter anderem ja auch noch mal rausgestellt, dass es zum einen zum Bildungserfolg gehört und dass es auch mit zum Bildungserfolg beiträgt, wenn SchülerInnen befähigt werden, vorgegebene Lösungswege aufzubrechen oder auch ihre eigenen zu finden. Aber durch diese ganze Vereinzelung und durch die Standardisierung gehen halt einfach auch bestimmte Möglichkeiten im Bild-Lern-Spektrum verloren, sodass SchülerInnen gar nicht mit alternativen Möglichkeiten vielleicht mehr konfrontiert werden, um in Horizont zu erweitern. Die nächste Problematik ist das Scheitern. Wenn ich jetzt in einem normalen Klassenverbund vielleicht selber schon mal merke, ich komme hier an meine Grenzen oder ich komme mit der Aufgabenstellung nicht zurecht, dann ist das natürlich total frustrierend. Aber gleichzeitig gehört es auch mit so einem Bildungsprozess und mit zur Persönlichkeitsentwicklung auch dazu, die Grenzen zu erkennen, auch mit Misserfolgung umzugehen. Und wenn all dies ausbleibt, dann verschieben sich diese Grenzen einfach viel, viel weiter nach hinten, weil dann immer nur der Inhalt präsentiert wird, der gerade zu meinem vom System errechneten Lernniveau passt und ich aber vielleicht gar nicht mehr dazu richtig gefordert werde, mich auch aber mit Dingen auseinanderzusetzen, die ich vielleicht noch gar nicht können kann, die mich aber vielleicht jetzt aktuell nochmal weiterbringen. Jetzt im Klassenverband gibt es zwar auch das Thema der Bindeferenzierung, also dass es unterschiedliche Inhalte idealerweise für verschiedene Lernniveaus oder für verschiedene Lerntypen gibt, aber in einem Klassenverband gibt es immer noch die Möglichkeit, das in Gruppenarbeiten zum Beispiel zu organisieren, wo etwas schwächere Schüler mit etwas stärkeren Schülern zusammen an einer Lösung arbeiten können. Wenn wir auf individualisierte, systembasierte Lernpfade gehen, dann sitzen im Prinzip die Schüler innen dort alleine und das System entscheidet, was ihnen präsentiert wird und was ihnen nicht präsentiert wird. Da geht einfach sehr, sehr viel verlorendes Spektrum verengt sich. Gleichzeitig kann es aber auch passieren, dass Lehrkräfte vielleicht noch mehr angegriffen werden, als sie es vielleicht jetzt schon werden von Eltern, einfach in Frage gestellt werden. Ihre Entscheidungssysteme können mehr in Frage gestellt werden, weil Lehrkräfte vielleicht verlangen, dass ein System nochmal die Bewertung nachvollzieht, was letztendlich sehr demotivierend für Lehrkräfte sein kann, was Vertrauen unterwandern kann und letztendlich auch die Autorität von Lehrkräften wieder unterwandern kann. Wir haben sowieso schon ein großes Problem mit Lehrkräftemangel und die Frage ist, ob solche Entwicklungen, Lehrkräfte oder angehende Lehrkräfte motiviert, diesen Beruf dann überhaupt noch zu ergreifen, wenn sie sich dann auch zukünftig immer mit technischen System messen müssen. Letztendlich aber wahrscheinlich das größte Problem, was macht das mit der Ungleichheit? Also alle Bildungsberichte gehen im Prinzip immer wieder davon aus, dass wir Bildungsungleichheiten und Ungerechtigkeiten haben. Das ist eines der größten Probleme im Bildungssektor, das es tatsächlich gibt. Und die Frage ist, inwieweit der verstärkte Einsatz von KI-System, die so Ungleichheiten entweder aushebelt oder vielleicht sogar verstärken kann. Das kann auf der individuellen Ebene passieren, dass Schülerinnern, die sich vielleicht sehr gut selbst organisieren können und vielleicht gut mit Systemen auch arbeiten können, dieses schneller verstehen, vielleicht auch schneller wissen, wie sie es umgehen können, während vielleicht eher lernschwache Schüler sich dem System eher ausgeliefert fühlen und vielleicht eher demotiviert werden, sich dann nochmal Hilfe zu suchen oder vielleicht auch Lehrkräfte, das gar nicht unbedingt erkennen können, dass Schülerinnern vielleicht überhaupt Schwierigkeiten haben, wenn sie diese Systeme zu Hause anwenden oder vielleicht hinter einem Bildschirm verschwinden. Auf einer größeren Ebene kann der Einsatz von KI-Systemen die Ungleichheit auch verschärfen, weil einfach die Frage ist, werden sich dann zukünftig eher gut ausgestattete Schulen in reichen Bundesländern, in privilegierten Umfeldern, KI-Systeme zur Unterstützung leisten können oder werden KI-Systeme eher eingesetzt werden können in weniger privilegierten Kontexten. Es gibt in den USA, gab es jetzt die Gründungen von Rocket-Chip-Schulen. Ich kann mir den Namen immer sehr schlecht merken. Rocket-Chip Public Schools heißen sie. Und dort sitzt dann im Prinzip nur noch eine Hilfslehrkraft, die dann bis zu 90 Schülerinnen an ihren Computer-Bildschirmen steuert, anleitet, irgendwie unterstützt, um einfach auch Stellen an gut ausgebildeten Lehrkräften einzusparen. Also dort läuft es auf eine Art Massenabfertigung hin und die Forschung, die es dargegeben hat, hat jetzt zumindest letztes Jahr schon gezeigt, dass die Ergebnisse, die die Schülerinnen dort erzielen, bis zu eine Note schlechter sind als Schülerinnen, die einem herkömmlichen Klassenverband mit vernünftig ausgebildeten Lehrkräften lernen. Wir kennen diese Diskussion auch im Gesundheitsbereich, in der Pflege, auch da wird diskutiert, ob Robotik-Systeme in der Pflege eher ein System für die privilegierten sind, wer es sich leisten kann und holt sich ein Roboter dazu oder ob es auch da eher an einer Auslagerung, an Technik geht, dass wir in weniger privilegierten Einrichtungen einfach von Maschinen betreut werden anstatt von Menschen. Also da kann der Bildungssektor sich vielleicht ganz gut am Gesundheitssektor orientieren und diese Debatte dort mal verfolgen, in welche Richtung das da geht. All diese Schwächen und Risiken zusammengenommen, frage ich mich tatsächlich, ob dieser Werben für KI-Systeme an Schulen oder auch teilweise der Druck, der da gemacht wird, dass das eigentlich nur eine super Sache ist, ob das nicht letztendlich einfach nur gemacht wird, um die eigentlichen Probleme im Schulsystem zu verschleiern. Denn eigentlich haben wir es mit einer großen Mangelfinanzierung zu tun. Wir haben zu große Klassen, wir haben zu wenig Lehrkräfte, wir haben einen wahnsinnigen Sanierungsstau und wenn gleichzeitig dann aber von Regierungen mit empfohlen wird, dass wir doch KI-System und Learning Analytics einsetzen, weil dadurch die Lehrkräfte entlastet werden und sich dann besser um die Schülerinnen kümmern sollen, wobei wir eigentlich gar keine Evidenz dafür haben, dass das tatsächlich so funktioniert und so klappt, dann habe ich einfach zunehmend das Gefühl, dass genau diese Mangelwirtschaft einfach aufrechterhalten werden soll und dadurch verschleiert werden soll, dass wir mal wieder versuchen, soziale Probleme mit Technik zu lösen. Und das ist etwas, wo wir meiner Meinung nach genau jetzt an diesem Punkt sind, diese Diskussion zu führen und diese Entwicklung zu verhindern. Weil diejenigen, die letztendlich darunter leiden, sind neben den Lehrkräften, die am Ende nämlich nur scheinbar entlastet werden, vor allem die Schülerinnen und Schüler, deren Daten jetzt einfach erhoben werden und verarbeitet werden sollen und wir gar nicht wissen, was daraus am Ende wird. So, bedeutet das jetzt aber, dass KI-Systeme im Bildungssektor und in der Schule gar nichts verloren haben? Soweit würde ich gar nicht gehen, sondern ich möchte gerne in Zukunft unterscheiden, auf welchen Ebenen wir KI-System im Bildungssektor einsetzen. Wir haben jetzt bisher immer so ein bisschen betrachtet, was auf der Mikroebene passiert, also wo personenbezogene Daten von Schülerinnen oder von Lehrkräften analysiert und verarbeitet werden. Es gibt aber auch noch die MESO und die Makroebene im Bildungssystem. Auf der MESO-Ebene reden wir von dem Zugang zu Lernorten oder auch zu Lerninhalten und die Makroebene betrachtet tatsächlich die übergreifenden Steuerung von Bildungssystemen, beispielsweise auch die Problematik der Ungerechtigkeit lösen lassen müsste. Auf der MESO und auf der Makroebene gibt es tatsächlich dann die Möglichkeit mit Open-Data zu arbeiten und nicht mit personenbezogenen Daten, um diese bestimmten oder um diese konkreten Probleme mit anzugehen. Und ich möchte jetzt im Folgenden eigentlich mal vorstellen, welche Beispiele es dafür jetzt schon gibt oder welche es geben könnte, damit es nicht so als Behauptung im leeren Raum steht. Also nochmal zurück auf die Mikroebene gegangen, gibt es dort auch durchaus Möglichkeiten, mit Systemen zu arbeiten, die nicht unbedingt die personenbezogenen Daten von Schülerinnen und Schülern verarbeiten. Das ist zum einen die Möglichkeit, es gibt ein System, das Lehrkräfte, neue Methoden zum Beispiel anhand einer KI trainieren können und aufgrund des Feedbacks der KI dann sehen können, wo Verständungsschwächen entstehen, sodass sie dann ihre Methoden und ihre Erklärweisen nochmal anpassen können, bevor sie damit dann konkret in die Klasse gehen. Dann gibt es natürlich diesen ganzen Bereich der Administration, Vertretungspläne, Stundenpläne oder auch Postverwaltung. Da gibt es ja schon einige Beispiele auch aus Behörden, wie sowas eingesetzt werden kann mit ganz, ganz unkritischen Anwendungsbereichen und kein großen personenbezogenen Daten, die dafür nötig sind. Was auch total günstig ist, ist natürlich alles, was dazu beiträgt, das System KI zu verstehen. Also selbst wenn ich Anwendungen durchaus in gewissen Bereichen hier intensiv in Frage stellen möchte, ist zu keinem Zeitpunkt in Frage zu stellen, dass natürlich verstanden und gelernt werden muss, wie Algorithmische und KI-Systeme funktionieren und was man mit ihnen machen kann. Das heißt als Unterstützung für Lernmethoden oder auch um Experimente durchzuführen, ist es auch für Schüler durchaus geeignet. Es gab mal diesen Wettbewerb, ich weiß nicht, ob der jedes Jahr stattfindet, zur KI-Schule des Jahres. Dort haben jugendliche Schüler in unter anderem ein System entwickelt, um Zugverspätung vorherzusagen. Also sehr anwendungsnah und sehr sinnvoll für viele von uns. Und auch Methoden der Textanalysen oder Datenbankanalysen, auch die können Schülern durchaus zugutekommen, sodass sie sie als Werkzeuge für das eigene Lernen benutzen und dabei aber weniger Schülerinnen Werkzeuge für das KI-System darstellen müssen. Auf der Mesoebene habe ich tatsächlich im Moment sehr, sehr wenig Anwendungsbeispiele gefunden, was da gemacht werden kann. Also eine Sache, die mich inspiriert hat, ist das Ergebnis eines Edu-Hacks. Dort hat eine Gruppe eine Open Source Bibliothek entwickelt und so was kann ich mir sehr, sehr gut auch tatsächlich für Deutschland vorstellen. Wir haben ja diese Problematik, Lehrkräfte von euch werden das kennen. Ich habe das jetzt auch schon oft gehört, dass Lehrkräfte immer auf der Suche sind, wo finde ich den gute OER-Materialien, woher weiß ich dann, dass die gut sind oder nicht, woher weiß ich, ob die zu meinem Unterricht passen. Es ist alles soweit verstreut, ich weiß gar nicht, wo ich das ganze gute Zeug finden soll. So war es alles, in eine Datenbank zu packen und dann mit KI-System sie durchsuchbar zu machen und vielleicht auch so durchsuchbar zu machen, dass Lehrkräfte schnell dort auch wissen, wie komme ich dann an genau die Ergebnisse, die ich gerade für meinen Unterricht gebrauchen kann. Könnte ein Anwendungsbeispiel sein. Die OER-Strategie der Bundesregierung ist ja jetzt ausgelaufen, wird gerade neu entwickelt, kommt im nächsten Jahr und wir wissen leider noch nicht, was drinsteht, aber es bleibt einfach zu hoffen, dass eine Zentralisierung oder zumindest eine bessere Auffindbarkeit von OER-Inhalten dort mitgedacht wird. Das Thema Inklusion, Integration, hatten wir schon angesprochen. Auch da sehe ich bei KI, wenn mal diese ganzen Problematiken bei der Sprachekennung und Übersetzung ausgehebelt sind, wenn die ausgehebelt sind, dass wir dort auch noch viele Potenziale haben, die es zu heben gilt, um Inklusion und Integration einfacher zu machen und was ich auch sehe, ist im Kontext autonomes Fahren oder auch Verkehrsleitsysteme, das ganze Thema Schultransporte. Sei es jahreszeitenbedingt oder vielleicht auch im ländlichen Raum und vor allem aber auch mit Blick auf Förderschulen oder inklusive Schulen. KI-Systeme können sicherlich dabei unterstützen, den Transport gut zu organisieren und effizient zu organisieren und wir werden es ja mindestens im nächsten Jahr mit dieser Pandemie zu tun haben und gerade inklusive Schulen oder Förderschulen haben bei diesem ganzen Transportthema tatsächlich ein großes Problem, weil dort die Zusammenkunft von Schülerinnen in so einem Schulbus oder in so einem Transportbus hin zur Schule für Menschen oder Schülerinnen mit Behinderung einfach noch ein viel größeres Risiko darstellen, als es für gesunde Schülerinnen ist. Also Menschen mit Behinderung gehören zur Risikogruppe Nummer 1. Zu weiteren Potenzialen auf der Makro-Ebene. Dort gibt es tatsächlich schon konkrete Anwendungsfälle, die uns für Deutschland auch ein Vorbild sein könnten. Also sowohl die Schweiz als auch Belgien haben zum Beispiel Systeme entwickelt, um die Durchmischung, die soziale Durchmischung an Schulen zu optimieren, dass in etwas Wohlhaben darin statt Vierteln nicht nur privilegierte Schülerinnen sind und die weniger privilegierten dann halt in Problemschulen landen, sondern dass dort einfach nochmal neu berechnet wird, wie eine bessere Durchmischung stattfinden kann. Das wurde in der Schweiz zum Beispiel so gemacht, dass die Straßenzüge neu berechnet werden, wie also Wohngebiete bestimmten Schulen zugeteilt werden. Da ist es unter der Maßgabe, dass die Schulwege sicher sein müssen und dass sie nicht länger sein sollen, als bisher gehabt. Und das hat also im ersten Versuch tatsächlich so gut funktioniert, dass jetzt mehrere Kantone versuchen wollen, dieses System zu übernehmen. In Belgien hat es ein ähnliches Projekt gegeben. Dort wird jetzt im Moment das System aber nochmal überarbeitet, weil dort Eltern sich beschwert haben, dass sie ihre Kinder nicht mehr auf Schulen schicken, oder Schicken ergehen lassen können, die zum Beispiel bestimmte Schwerpunkte haben. Dann gibt es dann eine Schule, die hat eine Spezialisierung auf den musischen Bereich oder auf den sportlichen Bereich und dort wird das System jetzt so überarbeitet, dass die Schulen dort auch Faktoren gewichten können, sodass es dort zusätzlich zu der besseren sozialen Durchmischung auch die Möglichkeit gibt, noch bestimmte Schwerpunkte zu setzen. Auch wieder in UK gibt es ein System, dass es Behörden erleichtern soll, Schulinspektionen vorzunehmen. Das heißt, dort wird aufgrund von bestimmten Indikatoren rechtzeitig prognostiziert, welche Schule vielleicht nochmal eine Inspektion oder einen Besuch durch die Behörde bedarf, um bestimmte Entwicklungen vielleicht rechtzeitig zu stoppen. Und auch in England, das fand ich ganz gut, gibt es die NGO Nesta, die einige von euch vielleicht kennen, und die haben ein eigenes Papier entwickelt, das genau auf das abzielt, was ich hier auch vorstellen möchte, nämlich wenn wir KI im Bildungssektor schon einsetzen wollen, dann sollten wir uns auf die strukturellen Probleme konzentrieren, oder wenn wir schon auf der Mikroebene arbeiten, dann sollten wir uns auf Systeme konzentrieren, die mit den Daten von Lehrkräften arbeiten und Lehrkräfte bei ihrer Arbeit unterstützen. Zumindest jetzt in einem ersten Schritt, denn die KI-Systeme noch nicht so gut und so weiter entwickelt sind, wie wir sie vielleicht gerne hätten. Diese Systeme können tatsächlich schon Vorbild sein, auch für Deutschland, und wovon ich in Deutschland auch ein bisschen träume, und woran wir gerade politisch arbeiten, ist dieser leidige Königsteiner Schlüssel zum Beispiel. Der Königsteiner Schlüssel verteilt im Moment Fördergelder nach Bevölkerungssichte und nach Steueraufkommen. Da funktioniert das ganz klassisch jetzt im Moment, nach dem Matthäus-Prinzip, wer hat den wird gegeben. Reiche Länder bekommen den höheren Anteil an Fördergeldern und die etwas ärmeren Länder bekommen halt nicht so viel. Dabei sollte es doch eigentlich genau umgekehrt sein. Und wenn es tatsächlich möglich wäre mit einem KI-System auf Basis von noch mehr oder anderen Daten zu ermitteln, welcher Förderzweck genau welche Förderhöhe braucht, dann wäre es doch vielleicht sogar möglich, dass wir je nach Förderzweck jedes Mal diesen Verteilungsschlüssel neu errechnen. Also wenn es dort Möglichkeiten gibt oder wenn es dort Ansätze gibt, so etwas zu entwickeln, bitte ich um Kontaktaufnahme, das würde mich sehr, sehr interessieren. Selbstverständlich würde das voraussetzen, dass von den Schulen, Schulträgern und auch Schulbehörden noch mal ganz andere Daten auch erhoben und erfasst werden. Es gibt aber auch bereits Bildungsdatenbank. Es gibt die Forschungsdatenbank Bildung, wo jetzt im Moment schon Bildungsstudierne eingestellt sind. Also die Infrastruktur letztendlich wäre für sowas vorhanden. Es müsste sich vielleicht nur etwas auch in der Kultur ändern, damit Schulen auch bereit sind oder damit überhaupt auch Länder und Behörden dort anfangen, bestimmte Daten zu erheben, um dann halt auch die strukturellen Systeme auflösen zu können. Welche Anforderungen brauchen wir letztendlich, um auf dieser Makroebene an die strukturellen Probleme heranzugehen? Dort würde ich gerne unterscheiden, was können Menschen auf der persönlichen Ebene tun, was muss auf der Organisationsebene passieren und vor allem, was braucht es noch auf der rechtlichen Ebene? Im Moment wird ja ganz, ganz viel immer davon geredet, um sich fortzubilden, damit sie mit diesem System arbeiten können. Ja, das ist aber auch nur ein Teil, der getan werden muss. Und Teil dieser Fortbildung ist natürlich nicht nur, dass es darum geht, wie diese Systeme angewendet werden, sondern es braucht ein tiefes Verständnis einfach von KI als soziotechnisches System und es braucht schönes Stichwort Data Literacy. Das heißt, ein Verständnis auch dafür zu entwickeln, was Daten überhaupt aussagen. Und aber vor allem anderen eigentlich, braucht es auf der ganz individuellen Ebene immer noch ganz viel Fortbildung, was überhaupt das Thema Digitalisierung betrifft und auch der damit verbundene Kulturwandel überhaupt sich zu öffnen, um Informationen oder auch Inhalte zu teilen, um eine gewisse Fehlerkultur zu entwickeln. All das ist ja gerade noch im Umbruch. Und wenn wir jetzt davon reden, dass wir KI-Systeme an den Schulen wollen und dass das nicht erledigt werden sollte, dass wir uns einfach nur darauf zurücklehnen und sagen, Lehrkräfte müssen sich weiterbilden und dann können sie auch KI-Systeme an der Schule einsetzen. Die Eltern habe ich jetzt noch mal entklammern gesetzt, davon ausgeht, dass wir es vielleicht wirklich schaffen, unsere Forschungs- und Entwicklungsschwerpunkte mehr. Das heißt, dass KI-Systeme an den Schulen, an den Schulen, an den Schulen, an den Schulen, an den Schulen, an den Schulen, an den Schulen, vielleicht wirklich schaffen, unsere Forschungs- und Entwicklungsschwerpunkte mehr auf die Markuren, auf die Meso-Ebene zu legen und weniger auf die Schülerbasierten-Systeme. Auf der Organisationsebene, also dort, wo entschieden wird letztendlich, kommt ein KI-System zum Einsatz ja oder nein. Das ist die Schulleitung oder das ist den Schulträger oder vielleicht auch Bundesländer, muss natürlich als allererstes mal hinterfragt werden, wozu brauche ich das System? Ich hatte es eben schon angesprochen, dass es ein technisches System ist, ist ein technisches System tatsächlich dafür die Lösung oder sollten wir vielleicht eher auf der sozialen Ebene nochmal schauen, was wir vielleicht an unseren Lernzielen oder an unseren Methoden oder an unsere Organisationskultur verändern müssen. Selbst wenn wir uns entscheiden für ein technisches System, dann muss natürlich entsprechend die Infrastruktur gegeben sein. Das heißt, die Frage ist, wo werden Daten mit denen gearbeitet wird, wo werden sie gespeichert? Haben wir überhaupt Wähler an den Schulen, damit dort gearbeitet werden kann, all diese Fragen? Natürlich braucht es auch auf der Entscheidungsebene Kompetenzen, es braucht den Kulturwandel und überhaupt erst mal die Grundlagen der Digitalisierung, bevor wir mit KI den nächsten Stufe gehen. Wir brauchen die Regelung zur menschlichen Entscheidungsfähigkeit, tatsächlich auch in den Arbeitsverträgen und wie auch in anderen Verwaltungsbereichen auch, das sollte es auch im Bildungsbereich einfach ganz klare Beschaffungsrichtlinien geben. Wenn Systeme angeschafft werden, dann braucht es ganz klare Anforderungskataloge, wie diese Systeme gestaltet werden sollen. Und natürlich muss sich dann auch der Bund entscheiden, Förderung in die richtige Richtung zu schicken und diese Systeme zu fördern und zu unterstützen, die sich auf die Mese und die Makroebene fokussieren und nicht die Ethic-Startups, die versuchen, das Lernerlebnis für Schüler zu verbessern, obwohl es dafür keine Evidenz gibt. Werde ich auch nicht müde, das immer wieder zu wiederholen. So, dann haben wir natürlich auf der rechtliche Ebene noch viele offene Fragen, die KI-Systeme im Allgemeinen betreffen und gar nicht unbedingt nur auf den Bildungssektoranwendung finden. Und das ist einmal die Problematik der Nachvollziehbarkeit. So lange KI-Systeme an sich selber nicht nachvollziehbar sind, müssen zumindest Schnittstellen geschaffen werden, das Evoluaktorinnen oder halt ForscherInnen zumindest reingucken können, was das System überhaupt macht. Wir brauchen eine Nachweisbarkeit, dass diese Systeme funktionieren. Erst recht, wenn wir mit SchülerInnen Daten arbeiten wollen und wir brauchen eine Kritikadität ex ante. Wir reden hier vom Bildungssektor. Dort werden Lebenswege vorbestimmt. Das ist nicht der Raum, um Experimente zu machen und mal Systeme loszulassen, laufen zu lassen und dann mal zu gucken, welche Probleme sie eventuell entwickeln. Wir haben aus dem Ausland jetzt schon genügend Beispiele, was nicht gut funktioniert. Ich wäre kein Fan davon, wenn wir das Ganze hier in Deutschland noch mal wiederholen wollen. Eigentlich nicht nötig das zu sagen, aber es braucht letztendlich auch eine rechtlich bindende Anbieterstabilität. Es gab tatsächlich, ich glaube auch in den USA, in den Blumen, das wurde überall ausgerollt und eingesetzt und dann irgendwann hat er an Peter entschieden, seine Dienste einzustellen. Was aus den Daten geworden ist, bis dahin weiß letztendlich kein Mensch. Das ganze Thema Offenheit sollte gerade bei KI-Entwicklungen im Bildungssektor viel, viel stärker auch eingefordert und verankert werden. Das heißt auch KI-Systeme sollten, wie Open Source Software behandelt werden, als Open AI zum Beispiel stärker mit gefördert werden. Wir müssen viel stärker entwickeln im Bereich OER, Open Data, um dann diese ganzen Daten, die wir im Lernenkontext dann auch sammeln, wiederum als Open Educational Data, also als OED, auch wieder zur Verfügung zu stellen. Ohne offene Datenbasis kommen wir da nicht hin. Sehr charmant finde ich auch die Idee der öffentlichen Register. Dort sollten sich auch KI-Systeme im Bildungsbereich eintragen lassen. Und was auf jeden Fall passieren muss, ist die Überarbeitung des Artikel 22 der DSGVO. Dort werden im Moment ja nur Entscheidungen geregelt, die also vollautomatisierte Entscheidungen sind dort geregelt. Was nicht geregelt ist, sind teilautomatisierte Systeme und teilautomatisierte Systeme sind ja die, die jetzt eigentlich weitestgehend im Einsatz sind. Und wenn wir auch da wieder im Hinterkopf haben, das ja als Argument immer noch gilt, der Mensch trifft die letzte Entscheidung, dass wir es auch zukünftig verstärkt mit teilautomatisierten Systemen zu tun haben. Und dort müssen Einspruchsrechte und Widerspruchsrechte einfach noch klarer geregelt werden. Ach nee, bevor ich zu meinem Fazit komme, möchte ich noch mal auf die lange Kette der Verantwortlichkeit auch noch mal eingehen. Wenn Systeme tatsächlich ausgewählt werden, müssen Entscheider in der Lage sein, auch diese Systeme ja zu beurteilen mit ganz, ganz grober Anlehnung an diese lange Kette der Verantwortlichkeit von Katharina Zweig und Tobias Kraft, sollte es mit in einen Anforderungskatalog und sollte es mit in den Kompetenzkatalog von all denjenigen, die dazu entscheiden, dass sie in der Lage sind, zu hinterfragen und zu prüfen, aufgrund von welcher Datenbasis wurde ein System trainiert. Also welche Qualität, welche Quantität, wie alt sind die Daten, passen sie überhaupt zum Trainingszweck. Dann letztendlich auch nach welchen Maßgaben wurde das System trainiert. Ganz, ganz wichtig ist ja auch ein KI-System, das einmal für einen bestimmten Zweck trainiert wurde, ist nicht unbedingt günstig in einem ganz anderen Anwendungskontext. Gerade im Bildungsbereich, wenn damit geworben wird, dass bei Übersetzungssystemen oder Spracherkennungssystemen das ja ganz, ganz tolle Software-Asset Service Systeme schon gibt, die quasi von der Stange gekauft werden können, muss immer noch hinterfragt werden, sich zu meinem Anwendungskontext. Und letztendlich passt auch dieses System zu meinem Ethik-System, das ich bei mir an der Schule habe. Datenverwendung ist ganz, ganz wichtig. Was passiert mit den Daten, die erhoben werden an einer Schule? Auch wenn es nur Daten von Lehrkräften sind. Gerade in dem Moment, wo es personenbezogene Daten sind, muss einfach sichergestellt werden, dass nicht nur rechtlich, sondern auch tatsächlich aktiv in der Anwendung kein Weg gibt, dass diese Daten an Stellen weitergegeben werden, wo sie nicht hingehören. Es gibt aus den USA auch mal wieder dort dieses Beispiel, dass Akteure der Wissenschaftsverlagsbranche Daten von Wissenschaftlern weitergegeben haben an die Einwanderungsbehörde ICE, was auch immer sie dort verloren haben. Aber das sind alles Entwicklungen, die müssen ausgeschlossen sein. Ganz großer Komplex IT-Sicherheit, das muss sichergestellt sein. Das ist im Prinzip ein eigener Vortrag. Dort möchte ich hier aber verweisen auf die arbeitende Stiftung neuer Verantwortung, die schon ganz, ganz viel dazu untersucht und entwickelt und auch Schaubilder gemacht haben, welche Angriffsvektoren es für KI-Systeme überhaupt gibt. Und letztendlich müssen Entscheidenden auch sicherstellen, dass es Ressourcen gibt um dieses Thema, wenn sie dann einmal im Einsatz sind, auch tatsächlich dauerhaft evaluiert sind, damit sich diese ganzen Schwächen, die wir ja kennen, in der Praxis dann auch noch einschleichen. Das heißt, wenn einem bewusst wird, was es alles für Anforderungen braucht, um KI-Systeme im Bildungssektor, egal zu welchem Zweck einzusetzen, dann wird, glaube ich, klar, dass das etwas ist, was noch ein sehr langer Weg ist, was nicht überhastet angegangen werden soll und was noch sehr, sehr viel Qualifizierung und Weiterentwicklung braucht. Und das letztendlich bringt mich jetzt zu meinem Fazit. Bisher ist es so, dass bei KI im Bildungssektor vornehmlich darüber gesprochen wird, dass Learning Analytics-Systeme eingesetzt werden, um halt das Lernverhalten von Schülerinnen und Schülern zu analysieren und dabei mit personenbezogenen Daten gearbeitet wird. Letztendlich gibt es zum jetzigen Zeitpunkt noch keine Evidenz dafür, dass diese Systeme funktionieren und dass diese ganzen Datensammlungen auch tatsächlich sinnvoll sind. Es ist ganz, ganz viel Marketing und vor allem auch Wirtschaftsförderung dahinter, wenn diese Start-ups jetzt in die Richtung gefördert werden und das Risiko, das da mit entsteht, wenn diese Systeme weiterhin in die Schulen gedrückt werden, ist, dass die wahren strukturellen Probleme einfach dadurch verschleiert werden und dass diese Mangelwirtschafts einfach fortgesetzt werden und diese ganzen Potenziale, die KI tersendlich mit sich bringt, diese Probleme tatsächlich auch mit zu Lösung, dass die einfach gar nicht gehoben werden. Das Risiko dabei ist, dass es vornehmlich immer um personenbezogenen Daten von minderjährigen Schülerinnen geht und dass die ganzen Chancen, die wir im Open-Data-Bereich haben, dafür einfach weiterhin nicht genutzt werden. Und wir haben jetzt den Zeitpunkt, wo die Weichen gestellt werden, ist es genau der Pfad, auf den wir jetzt auch weitergehen wollen oder wollen wir jetzt anfangen, in diese Entwicklung einzugreifen und den Fokus mehr auf die MESO und die Makroebene legen. Die EU-Kommission hat jetzt kürzlich ihren überarbeiteten Digital Education Plan vorgestellt. Dort ist zu diesem ganzen Thema KI vorgesehen, dass Lehrkräfte weitergebildet werden müssen, dass es Ethikleitlinien geben müssen und letztendlich auch das Forschung noch mal intensiviert werden muss. Und das ist jetzt genau der Punkt, um dort reinzugehen und die Fragen zu stellen und darauf hinzudrängen, dass halt in die richtige Richtung geforscht wird. Das hat mich letztendlich in dieser ganzen Vorbereitung zu meiner Empfehlung gebracht in Anlehnung an diese Pyramide von der Daten-Ethik-Kommission, die ich eigentlich, auch wenn das Prinzip der Risikoklassifizierung diskutabel ist, finde ich eigentlich dieses Pyramidensystem sehr gelungen und übertragen auf KI-Systeme im Bildungsbereich, sehe ich also einen ganz, ganz großen grünen, unkritischen Bereich, wenn es darum geht, die Forschung auf der Makroebene weiter zu unterstützen und weiter zu fördern, alles unter der Nutzung immer von Open Data, die entweder schon vorhanden sind oder vielleicht auch noch weiter erhoben und genutzt werden können. Das fließt größtenteils auch noch mit rein in die Meso-Ebene, die auch auf der Basis von Open Data schon sehr, sehr viel Gutes erreichen kann und ganz, ganz oben in der Spitze, wo ich einen roten Bereich sehe, ist tatsächlich die Mikroebene, darum die Analyse-Systeme geht für Schülerinnen und für Lehrkräfte, womit personenbezogenen Daten gearbeitet wird. Wenn es dort weitere Entwicklung geben sollte, dann würde ich es bevorzugen, wenn es dort ein Forschungsbereich gibt oder den Anwendungsbereich, vielleicht höchstens für Lehrkräfte. Aber dass wir die ganze Analyse von Schülerinnen vielleicht erst mal noch außen vorlassen, bis wir vielleicht viel mehr über KI-Systeme noch wissen und alles immer unter der Voraussetzung, dass die Daten, die erhoben werden, dann auch weiter zur Verfügung gestellt werden für die Generierung von Open Educational Data. Das war's. Vielen Dank für Eure Aufmerksamkeit. Alle Anregungen, um die ich gebeten habe, alle Lücken, die ich vielleicht noch gelassen habe oder alle Interessenten, die Lust haben, an diesem Thema auch noch mit weiterzuarbeiten, freue ich mich total über Kontaktaufnahme und auf Feedback und da weitere Informationen. Ich habe hier auch noch einen großen Anhang mit Quellen, die ich schon gearbeitet habe. Wenn es dazu auch noch Rückfragen gibt, kommt jederzeit, nicht jederzeit, nicht nachts um drei, also per E-Mail schon, aber vielleicht nicht per Telefon. Aber die habt ihr auch gar nicht den Nummer. Egal. Kommt einfach auf mich zu. Und dann würde es mich freuen, wenn wir im Gespräch bleiben. Vielen Dank. Hallo Nina, schön, dass du da bist. Danke für den spannenden Vortrag gerade. Wir hatten so ein bisschen technische Probleme im Hintergrund. Ich hoffe, deswegen, dass alle im Livestream im Vortrag auch gut sehen konnten. Nina, du hast viel erzählt über KI und die Grenzen und Vorteile. Was sind denn so aus deiner Sicht vielleicht die klugen nächsten Schritte, die man so gehen müsste, was künstliche Intelligenz im Klassenzimmer betrifft? Hallo Nina. Ja, genau. Was sind die, was sind die nächsten Schritte? Also ich glaube, wir sind im Moment in einer besonderen Entwicklungsphase, wo KI in der Schule und im Bildungsbereich einfach noch nicht so wahnsinnig weit verbreitet ist. Und ich habe das ja auch gemerkt bei meiner Recherche und auch zum Beispiel hier, was diese Meso-Ebene angeht. Es gibt noch nicht so extrem viele Anwendungen, wo man konkret jetzt schon reingehen und eingreifen kann und sagen, wir wollen hier eine andere Entwicklung oder das und das musst du konkret weitergehen. Was allerdings gut an dieser Entwicklung ist, ist eben, dass wir noch an diesem frühen Punkt sind und noch die Möglichkeiten haben, Einflussen nehmen zu können. Ist da ein L im Hintergrund gehört? Ja, okay, ich rede einfach weiter. Das heißt, nach allem, was ich jetzt mitbekommen habe, wie sich das Thema KI in der Bildung gerade ansetzt zu entwickeln, möchte ich eigentlich gerne so eine Art Break machen, einen kleinen Schnitt und nochmal hinterfragen. Ist der Weg, der jetzt eingeschlagen wird von den Ad-Tech-Startups und auch von den Regierungen, das ist überhaupt der Richtige, dass wir KI-Systeme einsetzen, um das Verhalten und Lernverhalten von Lernenden zu analysieren oder wollen wir nicht nochmal überlegen, ob wir nicht die KI-Systeme, die wir jetzt haben, dazu nutzen können, die strukturellen Probleme im Bildungssektor anzugehen. Davon gibt es genug. Dort haben wir eine ganz andere Datenbasis und es kann vor allem weniger Schaden angerichtet werden für die einzelnen Personen, die analysiert werden oder dann halt auch im besten Fall gar nicht mehr analysiert werden. Weil alles, was wir aus der KI-Geschichte wissen, das ist sehr, sehr viel Schwierigkeiten gibt, sobald KI in sozialen Kontexten eingesetzt werden. Also wenn KI-Systeme benutzt werden und Menschen zu analysieren, jetzt kurz auf den Punkt gebracht, dann führt das meistens zu größeren Problemen und wir sollten in der Bildung nicht diese Fehler wiederholen. Ja, das sind auf jeden Fall ziemlich gute Gedankenanstöße. Wir haben leider gar nicht so richtig, richtig viel Zeit um jetzt hier noch Fragen zu beantworten. Ich sehe gerade im Chat auch tatsächlich keine, dass es da noch viel Gesprächsbedarf gibt. Deswegen würde ich vorschlagen, dass wir jetzt mit dir in einen Big Blue Button umziehen.