 Meine Damen und Herren, ich begrüße Sie zu meinem Kurzvortrag zum Thema Prüfen, das heißt Assessment im Virtual Linguistics Campus. Ich habe meinen Kurzvortrag wie folgt gegliedert, zunächst etwas zu den Grundlagen. Anschließend werde ich Ihnen das Lehr- und Prüfkonzept im Virtual Linguistics Campus vorstellen. Und werde dann anhand eines ausgewählten Kurses Ihnen zeigen, wo und in welchem Umfang Assessment dort verortet ist und schließlich mit einigen Beispielen zum Abschluss Ihnen demonstrieren, wie das Testen denn nun wirklich live aussieht. Lassen Sie mich mit etwas grundlegenden beginnen. Sie wissen, innerhalb einer Lerneinheit können Tests völlig verschieden verortet werden und werden daher in diagnostische Tests unterschieden, die vor einer Lerneinheit stattfinden, summative Tests, die nach einer Lerneinheit durchgeführt werden und schließlich innerhalb des Lernprozesses die integrierten Tests mit denen die Lernenden ihr Wissen selbst überprüfen können und die formativen Tests mit denen nicht nur das Wissen überprüft wird, sondern auch Einfluss auf das weitere Lerngeschehen genommen werden kann. Die Lerneinheit im Virtual Linguistics Campus sieht so wie hier dargestellt aus. Wir haben die digitalisierten Inhalte, das heißt multimediale Lehr- und Lernelemente, verknüpft mit Lehrvideos, die auch separat über YouTube zugänglich sind. Wir haben computergestützte Inhaltsvermittlungsprinzipien. Die Erschließung der Inhalte wird von jedem Ort zu jeder beliebigen Zeit durch unsere Studierenden vorgenommen und zusätzlich haben wir flankierende Elemente, bei denen das Testen hier besonders dargestellt ist durch diese Tastatur. Hier kommen diese formativen Tests, die integrierten Tests mit hinein. Nun, unser Lehr- und Lernkonzept ist das des Inverted Classroom. Das heißt, die Inhalte, die digitalisierten Inhalte werden außerhalb des Hörsaals online angeboten. Im Hörsaal selbst wird dann anschließend geübt, auch auf der Basis digitalen Materials, oder es werden auch Inhalte vertieft und bisweilen können auch hier durch das Buch symbolisiert, können auch durchaus klassische Materialien zum Einsatz kommen. Die Test-Szenarien sind zunächst einmal die integrierten Tests, die über unseren Interactive Tutor mit den Lerneinheiten direkt verknüpft sind. Das heißt, Studierende können zu jeder Zeit die gelernten Inhalte überprüfen durch Selbsttests. Das sind verschiedene Test-Szenarien, die sie hier einsetzen können. Zusätzlich gibt es die sogenannten Mastery Worksheets, das sind unsere formativen Tests, deren Ergebnis Einfluss auf den Ablauf des Präsenzgeschehen haben kann. Werden die Tests gut bestanden, kann in der Präsenzphase sofort mit dem Vertiefungs- und Übungsprozess begonnen werden. Werden die Tests weniger gut bestanden, das heißt, ist der Mastery Level niedriger, dann wird wohl ein gewisses Maß an Re-Teaching, an Lehrer-zentrierten Input erforderlich sein, um zunächst einmal die Teilnehmer auf einen Level zu bringen. Dieses Konzept kann natürlich auch in Online-Kursen durchgeführt werden. Es bleibt im Prinzip bestehen. Einziger Zusatz ist, dass nun die Präsenzlehre durch eine weitere Digitalisierung ersetzt wird. Die Materialien zu üben und vertiefen sind nun nahezu vollständig digital und zusätzlich gibt es ein Forum zum Austausch der Teilnehmer untereinander. So führen wir unsere On-Campus-Online-Kurse, aber auch unsere Massive-Open-Online-Kurse durch. Das Ganze kann nun auch noch einen Schritt weitergetrieben werden, indem man nun die Materialien zum Vertiefen und Üben hier violett dargestellt wird, adaptiv an den jeweiligen Lernstand des Lerners anpasst, die Mastery-Worksheets, die formativen Tests, nehmen Einfluss auf die Bereitstellung weiterführender Materialien und so geraten wir in den Level des adaptiven Lehr- und Lernens hinein. Unsere Kurse werden für die einzelnen Lernenden massgeschneidert. Schauen wir uns nun nochmal die Mastery-Tests innerhalb einer Lerneinheit an. In der Phase 1 wird der Inhalt der digitale Inhalt selbsttätig erschlossen. In Phase 2 kommt der Hörsaal zum Einsatz, hier werden die Inhalte vertieft. Dazwischen der formativen Test das Mastery-Worksheet. Jede Lerneinheit im Virtual Language Campus ist mit einem Mastery-Worksheet gekoppelt. Werden 60% der Fragen in einem Mastery-Worksheet korrekt beantwortet, ist das Worksheet bestanden und es erfolgt ein Eintrag in der Datenbank. Wird das Worksheet nicht bestanden, das heißt gehen wir diesen Weg hier, dann hat jeder Lerende beliebig viele Versuche das Worksheet dennoch zu bestehen, ohne dass ein Eintrag in der Datenbank erfolgt. Mit diesem Prinzip verteufeln wir nicht das Durchfallen, sondern wir motivieren die Studierenden, die Tests immer wieder zu wiederholen. Dabei bekommen sie selbstverständlich neues Fragenmaterial geliefert. Ein einmal bestandener Test kann selbstverständlich auch wiederholt werden, um das erreichte Ergebnis, das vielleicht noch nicht zur eigenen Zufriedenheit vorliegt, weiter zu verbessern. Ein herunterfallen unter die 60% Grenze ist allerdings nicht mehr möglich. Schauen wir uns nun an wie diese einzelnen Tests innerhalb eines Kurses verortet sind. Ein Kurs besteht, wie hier in der Mitte dargestellt, aus mehreren Lerneinheiten. In der Regel sind das je nach Semester 13 oder 14 Lerneinheiten, genauso viele sind es in unseren MOOCs. Und jede Lerneinheit ist gekoppelt mit dem integretten Test und mit einem Mastery Worksheet. Im Vorfeld lassen wir diagnostische Tests schreiben. Im Anschluss an den gesamten Kurs die summativen Tests, die sogenannten Electronic Exams. Damit haben wir das gesamte Test-Szenario innerhalb eines Kurses vereinigt. Nur noch die Frage, was sind das für Testtypen? Hier sehen Sie eine Reihe von Tests dargestellt. Insgesamt befinden sich im Virtual Linguist Campus ca. 1200 verschiedene elektronische Tests, wobei die formativen und integrierten Tests ohne Mitfeedback erfolgen. Dort bekommen die Studierenden direkte Rückmeldung. Die summativen und diagnostischen Tests allerdings haben kein Feedback, denn hier muss ja zunächst einmal das gesamte Fragenmaterial an den Lernein gebracht werden und anschließend die Auswertung erfolgen. Die Tests selber sind z.B. Selection Tests oder Pointing Tests auf Deutschzeigeübungen oder Auswahlübungen, Analyseübungen bei denen z.B. gewisse Wörter, Sätze etc. analysiert werden müssen. Es sind Dragon Drop Tests, es sind höher Aufgaben, ganz wichtig in der Sprachwissenschaft, es sind Eingabeübungen, Freitextübungen, es sind Transkriptionsübungen, phonetische Transkriptionen, Sie kennen das vielleicht noch vom Schulunterricht und natürlich auch Multiple Choice Fragen, wobei wir mittlerweile die Multiple Choice Übungen durch das ersetzen, was wir Dynamic Multiple Choice nennen. Ich werde Ihnen das im Anschluss noch vorführen. Zusätzlich haben wir auch noch weitere Test-Szenarien innerhalb der Präsenzphase. Wir führen mit unseren Voting-Systemen pro Lerneinheit drei ganz gezielte Fragen durch, um nochmals sicherzustellen. Vor Beginn der Präsenzphase haben die Studierenden die Inhalte auch durchdrungen. Mittlerweile haben wir ein Pool von 200 solcher Voting-Fragen, die wir den verschiedenen Kursen zuordnen können. Lassen Sie mich nun einen einzelnen Kurs auswählen, den gerade im Wintersemester zu Ende gegangenen Kurs History of English, ein On-Campus-Kurs, der im Inverted Classroom nach dem Mastering-Model durchgeführt wurde. Es haben 172 Studierende den Kurs begonnen. 147 haben die Prüfung mitgeschrieben. Einige waren noch krank, die werden im Nachschreibetamin dabei sein, sodass wir im Endeffekt auf ca. 160 Studierende kommen werden, die den Kurs wohl bestanden haben. Bisher haben ihn 147 bestanden. Die Anzahl der Tests, die durchgeführt wurden, beläuft sich auf 3.559 Tests. Zusätzlich gab es 39 Active-Vote-Fragen für die Präsenzphase. Die einzelnen Tests, nun hier sehen Sie es, diagnostischer Test wurde ein einziger vor der Sitzung durchgeführt, vor dem Kurs durchgeführt. 124 Studierenden nahmen an diesem freiwilligen, diagnostischen Test teil. Das heißt, nicht alle, es war freiwillig. Mit diesem Test sollte festgestellt werden, ob die Studierenden die benötigten linguistischen Grundlagen für den Kurs History of English, der im dritten Semester durchgeführt wird, besitzen. Der diagnostische Test aus vier Teiltests bestand, haben wir eine totale Summe von 496 Tests. 42 integrierte Tests wurden über den interaktiven Tutor angeboten. Da wir nicht wissen und auch nicht wissen wollen, wie intensiv die Studierenden diese Option nutzen, können wir hier nichts über die Zahlen aussagen. Für jede Lerneinheit, also 13 Lerneinheiten, gab es einen Mastery-Test und den haben 147 Studierende durchgeführt. Also kommen wir auf 1.911 Tests. Am Ende haben wir eine E-Klausur geschrieben und die E-Klausur am Ende bestand aus vier Teiltests, also auch hier wieder 147 Teilnehmer, mal vier sind 588. Zusätzlich gab es in diesem Kurs noch vier sogenannte graded worksheets. Summative Tests im Anschluss an einzelne ausgewählte Lerneinheiten, die zusätzlich als Studienleistung in diesem Kurs erbracht werden mussten. 141 Studierende haben diese Studienleistungen erfüllt und sich damit weiterqualifiziert, die Gesamtsumme 564 Tests. Schauen wir uns nun an, was das für Tests waren. Der diagnostische Test, ich hatte ja gesagt, bestand aus vier Teiltests. Es waren Multiple Choice Übungen allerdings, ich hatte ja schon bereits gesagt, Multiple Choice wird bei uns sukzessive durch Dynamic Multiple Choice ersetzt. Wir verwenden Multiple Choice nur noch an den Stellen, wo Multiple Choice mit mehreren Levels verknüpft ist. Wir haben ein Input-Task, ein Counting-Task, wo gewisse Dinge gezählt werden mussten und dann eingegeben werden mussten. Ein reines Input-Task, also eine Freitextüber und ein Selection-Task in diesem diagnostischen Test zusammengefasst. Die integrierten Tests umfassen alle unsere Testformate. Die formativen Tests bestanden aus sieben dynamischen Multiple Choice, drei klassischen alten Multiple Choice Übungen und drei Listening-Tas. Die summativen Tests, einmal Input, zweimal Selection und einmal Multiple Choice und schließlich noch die Abschlussklausur, die aus Multiple Choice anteilen, einem Input-Task, einem Listening-Task und einem Selection-Task bestanden. Ja, was sind das für TAS, die wir durchführen? Hier sehen Sie vier Beispiele und ich möchte Ihnen diese Beispiele nun im Einzelnen demonstrieren. Ja, meine Damen und Herren, hier sehen Sie nun den typischen Multiple Choice Test. Ich glaube, ich muss nicht groß erläutern, wie er funktioniert. Es wird eine Frage gestellt, anschließend vier, manchmal fünf oder sechs Antwortauswahlmöglichkeiten gegeben und der Benutzer wählt die entsprechende Antwort aus. Wenn die Antwort falsch ist, bekommt man innerhalb der Mastery Worksheets sofort eine Rückmeldung, warum die Antwort falsch ist und man bekommt die Frage dann irgendwann wieder einmal gestellt. Und so geht das weiter in einem Multiple Choice-Task. In einem Dynamic Multiple Choice-Task wird ebenfalls eine Frage gestellt, aber von den vier vorhandenen Antwortmöglichkeiten wird zunächst nur eine gewählt. Und man muss an dieser Stelle entscheiden, ist das schon die richtige? Nun, in diesem Fall stimmt das nicht und ich bekomme eine zweite Option gestellt und muss wiederum entscheiden, ob das schon die richtige ist. Ich werde Sie einmal richtig beantworten und damit komme ich zur nächsten Frage. Die übrigen Möglichkeiten bekomme ich aber gar nicht mehr zu sehen. Noch eine weitere und nun werde ich mal die Frage falsch beantworten. Ich werde sagen ja und die Antwort ist damit bereits nach zwei Versuchen falsch beantwortet. Auch hier bekomme ich die richtige Lösung nicht zu sehen und damit ist schon klar, dass hier ein wesentlich höherer Aufwand getrieben werden muss als einer einfachen Multiple Choice Übung. Diese Dynamic Multiple Choice Übung, die im Prinzip Multiple Choice plus Entscheidungsfragen sind, wenden wir ab sofort nahezu ausschließlich in unseren Test-Szenarien an und ersetzen damit sukzessive die Multiple Choice Übungen. Hier sehen Sie eine typische Texteingabeübung, in der in diesem speziellen Fall Artigulationsorte benannt werden müssen. Hier zum Beispiel das Gaumensegel auf Englisch Juwala oder zum Beispiel Epiglottis. Und bei der Eingabe dieses Wortes sehen Sie, dass ich mich zwar vertippt hatte, aber das Wort Epiglottis als solches erkannt wurde und der vertipper entsprechend kommentiert wurde. Eine phonetische Transkriptionsübung ist eine Texteingabeübung mit besonderem Text unter Berücksichtigung von Fehler-Toleranzen. Zunächst wird ein Wort orthografisch und akustisch dargeboten. Orange Juice. Anschließend wird dieses Wort durch Zuhilfenahme der normalen und der virtuellen Tastatur phonetisch transkribiert. Five times not. Je länger die Eingabe, desto höher die Fehler-Toleranz. Und damit meine Damen und Herren, bin ich am Ende. Sie können über diese Tests mehr erfahren, indem Sie entweder sich im Virtual Language Campus ein Konto anlegen. Das kostet nichts. Es ist frei und dann in die E-Examen-Demo-Sektion gehen. Dort können Sie die Tests ausprobieren. Sie können weitere Videos auf YouTube in unserem Kanal zum Thema E-Assessment betrachten. Die Tests sind auch in unserem virtuellen Zentrum für Lehrerbildung zu finden. Oder Sie können in unsere Publikation hineinschauen, wo wir insbesondere in dem Buch E-Teaching, E-Learning, E-Teaching und E-Assessment in der Hochschullehre ein ganzes Kapitel dem Thema Electronic Assessment gewidmet haben. Herzlichen Dank.