Dokumentation Seminarkooperation "Kollaboratives Lernen in und mit Virtual Reality"
Evaluation - Seminarjournale und Wirksamkeitsanalyse
Der explorative und teilweise experimentelle Charakter des Seminars erfordert eine umfangreiche Evaluation der Veranstaltung. Aus diesem Grunde gab es gleich mehrere Quellen, aus denen wir Feedback und evaluative Ergebnisse für die Veranstaltung erhielten. Drei dieser Quellen stellen wir hier vor.
Seminarjournale: Begleitende Veranstaltungsdokumentation durch die Studierenden
Die Studienleistung des Seminars bestand in der fortlaufenden Erstellung eines Seminarjournals, das der individuellen Reflexion, Selbstverortung sowie der kontinuierlichen inhaltlichen Auseinandersetzung diente. Die Studierenden verfassten zu jeder Sitzung einen Journaleintrag anhand einer bereitgestellten Vorlage, die aus zwei strukturellen Elementen bestand: einem standardisierten und einem offenen Teil.
Der standardisierte Teil umfasste verschiedene Items als Likert-Skalen, die wiederkehrend in jeder Sitzung ausgefüllt wurden. Diese bezogen sich auf die persönliche Einschätzung der Studierenden in Bezug auf ihre Haltung zu Virtual Reality, deren pädagogisches Potenzial sowie den empfundenen Nutzen der jeweiligen Sitzung. Ziel war es, im Verlauf des Seminars individuelle Entwicklungen in Einstellungen und Lernprozessen sichtbar zu machen (Huber, 2009)[1].
Der offene Teil der Vorlage enthielt reflexive Leitfragen zur jeweiligen Sitzung, die von den Studierenden stichpunktartig oder in kurzen Absätzen beantwortet wurden. Dies ermöglichte eine flexible und individuelle Auseinandersetzung mit den Inhalten (Zuber & Zuber, 2015)[2].
Für Studierende, die aus gesundheitlichen oder anderen Gründen nicht an einer Sitzung teilnehmen konnten, wurde jeweils eine alternative Version des Journaleintrags zur Verfügung gestellt. Diese enthielt stärker themenfokussierte Fragen, die eine vertiefte Auseinandersetzung mit den Inhalten der jeweiligen Sitzung ermöglichen sollten – auch ohne direkte Teilnahme. So entstand ein niedrigschwelliger, aber verbindlicher Rahmen, der Verantwortungsübernahme, Selbststeuerung und Reflexionsfähigkeit unterstützte (Berendt, 2013)[3].
Die Arbeit mit Seminarjournalen fördert laut Huber (2009)[4] und Reinmann (2015)[5] nicht nur die Vertiefung von Lerninhalten, sondern auch die Entwicklung eines reflexiven Habitus, der insbesondere im Kontext professionellen pädagogischen Handelns von hoher Bedeutung ist.
Studierenden-Feedback
Ein zentrales Element des Seminars war die kontinuierliche Einbindung studentischen Feedbacks, um die Lehrgestaltung möglichst adaptiv und lernwirksam zu gestalten. Über die Seminarjournale erhielten wir regelmäßig Einblicke in die Perspektiven der Studierenden.
Durch gezielte Items und offene Reflexionsfragen konnten Rückmeldungen darüber gesammelt werden, was aus Sicht der Studierenden gut funktioniert hat, wo Unklarheiten bestanden und welche Aspekte als besonders lernförderlich oder herausfordernd wahrgenommen wurden. Diese Rückmeldungen ermöglichten es uns, bei Bedarf zeitnah auf Bedürfnisse und Anregungen zu reagieren.
Rechts nebenstehend finden Sie Auszüge zu drei der offenen Fragen, die im Seminarjournal zu jeder Sitzung gestellt wurden. Die Zitate stammen von unterschiedlichen Studierenden aus verschiedenen Journal-Einträgen bzw. Sitzungen.
Zum Abschluss des Seminars wurde ergänzend ein Gesamtfeedback eingeholt. In der letzten Sitzung konnten die Teilnehmenden an verschiedenen Feedbackstationen sowohl schriftlich als auch mündlich (via Tonaufnahme) ihre Eindrücke, Bewertungen und Verbesserungsvorschläge zum gesamten Seminarverlauf abgeben.
Untenstehend sehen Sie einige Auszüge aus dem Gesamtfeedback, um einen Einblick in die Rückmeldung der Seminarteilnehmenden zu erhalten.
"Einblick & Beobachtung von VR-Simulationen, Kennenlernen der verschiedenen Welten"
"Kahoot und Bomben entschärfen :)"
"Die Zusammenarbeit in der Gruppe"
"Die Diskussion über kolaboratives Lernen, gute theoretische Einführung mit den ersten Schritten in die Praxis"
"Das alles sehr entspannt gewirkt hat. Es war eine komplett andere Atmosphäre als in Präsenz."
"Den interaktiven & praktischen Part, in welchem wir die Möglichkeit hatten andere Personen bei der Nutzung zu beobachten. Den Diskurs über Definitionsdiskurse von VR."
"1. Mal VR auszuprobieren"
"Ich fand die Abschlussrunde sehr interessant. Durch diesen Austausch konnte man nochmal hören, wie die anderen Seminarteilnehmenden die Sitzung in VR empfanden und wo es Gemeinsamkeiten und Unterschiede gibt."
"Technikprobleme gabs, aber das ist ja normal"
"Akkuleistung der Brille bzw. Akkuverbrauch durch die Software"
"Zeitplan bzw. Pausen aber die Technikl hat ja auch blockiert"
"Das Abstürzen und Hängen des Raums"
"Das Notieren der Ergebnisse und gleichzeitige Diskutieren war für mich überfordernd. Die Herausforderung bestand für mich darin eine geeignete Weise der Ergebnissicherung zu finden und gleichzeitig zuzuhören und die technischen Herausforderungen (z.B. Notiz konnte nicht direkt an der Tafel platziert werden ohne Probleme) zu vereinbaren."
"Ich hatte Kopfschmerzen und eine warme Stirn."
"- Gruppenarbeit in VR
- Verständnis zwischen Kommilitonen"
"Die Diskussion nach der Ergebnisvorstellung, i.e. die unterschiedliche Art wie Menschen ihre eigene Aktivierbarkeit mittels VR gedeutet haben."
"Moo-Deng = Aufladen"
"Der gemeinsame Austausch über die VR-Erfahrung"
"Die drei I´s, warum VR so gut funktioniert
-> Immersion, Interaktion, Imagination"
"Auch wenn es manchmal Probleme gibt, gibt es gute Möglichkeiten damit umzugehen."
"Wie es war, zum ersten Mal ein Seminar mit den VR Brillen zu haben; wie besser ich mich kommunizieren konnte (hatte weniger soziale Angst)."
Wirksamkeitsanalyse: Wissenschaftliche Begleitevaluation durch das NIDIT-Projekt
Das Projekt NIDIT beinhaltet ein eigenes Maßnahmenpakets, dass sich schwerpunktmäßig mit einer systematischen und kontinuierlichen Sicherung von Projektergebnissen und Ergebnisqualität durch breit angelegte qualitative und quantitative Wirkungs- und Wirksamkeitsanalysen und der damit verbundene nachhaltige Beitrag zu qualitativ hochwertigen digitalisierten und internationalen Lehrangeboten an den Hochschulen auseinandersetzt.
Im Rahmen der Wirksamkeitsanalyse lassen sich im Kontext des (digitalen) Lehrens und Lernens angestrebte Ziele (z.B. Wissenszuwachs in bestimmten Inhalten bei Studierenden nach Besuch einer Lehrveranstaltung, Lernziele bei Besuch eines Weiterbildungsangebots für Lehrende, Passgenauigkeit des Angebots zur Zielgruppe) und deren Erreichung untersuchen und überprüfen.
Möchten Sie mehr über die Wirksamkeitsanalyse des Projekts Nidit erfahren? Dann klicken Sie auf den folgenden Link: Link zur Homepage Wirksamkeitsanalyse
Ergebnisse aus der Wirksamkeitsanalyse
Im Rahmen dieser Auswertung wurden einzelne Aspekte aus dem Selbsteinschätzungsbogen zur Einschätzung der eigenen digitalen Kompetenzen und Kompetenzen zur Internationalisierung der Lehre verwendet. Dieser Fragebogen wurde innerhalb des Projekts NIDIT entwickelt. Mehr Informationen zum Fragebogen und zum Evaluationsdesign finden Sie unter: https://www.unigiessen.de/de/studium/lehre/projekte/nidit/goals/impactanalysis_dt.
Des Weiteren wurde einzelne Aspekte aus dem Modularen Fragebogen zur Evaluation digitaler Lehr-Lern-Szenarien (MOFEDILLS) von Kärchner, Gehle und Schwinger (2022)[6] verwendet.
Aufgrund der geringen Teilnehmer:innenanzahl (16TN zu Anfang, 13 am Ende der Veranstaltung) ist die Stichprobe nicht repräsentativ, sodass die Daten lediglich einen Anhaltspunkt für die Einschätzung der Seminarreihe bieten. Sie liefern aber dennoch interessante Einblicke und Lesarten in den Ergebnissen, die wir im Folgenden auszugsweise vorstellen.
In Bezug auf die Prädiktoren zur Nutzung von VR in der eigenen pädagogischen Arbeit zeigten sich überwiegend positive Effekte des Seminars:

Hinweis zur Lesart der Grafiken: Die blauen Balken zeigen die Befragungsergebnisse der Teilnehmenden vor der Befragung (Prä-Befragung). Die orangenen Balken zeigen die Befragungsergebnsise nach der Befragung (Post-Befragung). Die Mittel- und Streuwerte lassen sich auf der linken Seite ablesen oder direkt im Diagramm.
Die Einstellungen zur Nutzung von VR in der eigenen pädagogischen Arbeit veränderten sich durch die Seminarreihe so gut wie nicht. Wir gehen davon aus, dass für eine deutliche Veränderung der Einstellung zu Virtual Reality vermutlich eine deutlich längere und intensivere Auseinandersetzung mit dem Medium geschehen muss, als es in einem Semester möglich wäre. Immerhin: Die Einstellung wurden durch das Seminar und die dortige Auseinandersetzung aber auch nicht schlechter.
Die Befürchtungen zum pädagogischen Einsatz von Virtual Reality nahm dagegen erfreulicherweise ab. Gerade bei neuen, komplex wirkenden Technologien wie Virtual Reality gibt es immer wieder Berührungsängste und Sorgen von Lehrenden, mit der Technik nicht angemessen umgehen zu können oder sogar Dinge zu beschädigen. Es freut uns, dass nach dem Seminar die Befürchtungen deutlich weniger stark gewertet werden als zu Beginn der Veranstaltung.
Die selbstbezogenen Überzeugungen zeigen den größten positiven Effekt, was uns besonders freut. Fühlte sich der Großteil der Teilnehmenden vor der Veranstaltung nicht in der Lage, pädagogische Arbeit mit Virtual Reality zu realisieren, veränderte sich das eigene Kompetenzerleben und die selbtbezogenen Überzeugungen nach der Veranstaltung deutlich ins Positive.
Des Weiteren beantworteten die Teilnehmenden in der Prä- und Post-Befragung, sowie im Rahmen von zwei Zwischenerhebungen im laufenden Seminar 6 zusätzliche Items (short-cuts). Die Auswertung dieser Ergebnisse zeigen einige spannende Aspekte:
Die erste Zwischenstandserhebung fand nach der Theoriephase (Sitzung 1 bis 3) statt, die zweite Zwischenstandserrhebung nach der Praxisphase (Sitzung 4 bis 5).
- Das Allgemeine Interesse am Thema bleibt über den gesamten Zeitraum hin gleichbleibend hoch. Ein Indikator unter anderem für die Aktualität des Themas für Studierende der Bildungs- und Erziehungswissenschaften (und darüber hinaus).
- Das Wissen über VR stieg stetig an – mit einer besonders starken Steigerung
nach der Praxisphase. - Besonders interessant: Die Kategorien der wahrgenommenen Kompetenz im Einsatz von VR, sowie des Werts/Nutzens von VR für die eigene pädagogische Arbeit und die Hochschullehre im Allgemeinen verringerten sich nach der Theoriephase, nahmen durch die Praxis- und Diskussionsphase des Seminars aber wieder zu. Die deutlichste Steigerung durch Praxis- und Diskussionsteil ist hierbei für die wahrgenommene Kompetenz zu verzeichnen.
- Der Wert/Nutzen von VR für die Hochschullehre im Allgemeinen übersteigt am Ende leicht den Ausgangswert, wohingegen der Wert/Nutzen für die eigene pädagogische Arbeit am Ende leicht unter dem Ausgangswert bleibt.
- Der Wunsch VR in der eigenen Arbeit zukünftig einzusetzen, steigt vor allem nach der Reflexions- und Diskussionsphase am Ende des Semesters an.
Diese Ergebnisse bestärken uns in der Wahl unseres didaktischen Konzeptes für die Veranstaltung: Allein die Wissensaneignung reicht nicht aus, um die Bildungstechnologie pädagogisch einordnen zu können und zu "verstehen". Im Gegenteil: Die Theorie kann diesbezüglich sogar negativ wirken und hinsichtlich der eigenen wahrgenommenen Medienkompetenz einschüchtern. Erst der praktische Einsatz, das intensive Ausprobieren und selbstwirksame Handeln ermöglicht es, eigene Kompetenzen zu entwickeln und wahrzunehmen, den Wert/Nutzen der Technologie für das pädagogische Feld einzuschätzen und eine eigene Haltung zu dem Thema zu entwickeln.
Ebenfalls positiv: Die Wahl der Pico 4 Enterprise Standalone VR-Headsets ist laut dem Feedback der Studierenden korrekt gewesen: Die Studierenden geben unter anderem fast einstimmig eine sehr gute Bewertung hinsichtlich der Benutzerfreundklichkeit des VR-Headsets an. Dies deckt sich mit unseren Erfahrungen die wir bereits in der Einleitung angesprochen haben: Die VR-Technologie wird immer zugänglicher, intuitiver und stabiler für die Nutzung in Bildungsszenarien. Insgesamt wird die Verwendung von VR in dem Seminar als sehr positiv von den Studierenden bewertet. Darüber hinaus gaben alle Studierenden an, dass die Einbettung der VR in der Veranstaltung „sinnvoll“ bzw. „sehr sinnvoll“ war. Auch die Wirkung und eigene Wahrnehmung innerhalb der virtuellen Realität wurden mehrheitlich positiv bewertet. Lediglich bei der Frage nach Unwohlsein (z.B. Übelkeit, Schwindel) stimmten fast die Hälfte der Studierenden zu.
Einige Auszüge aus den Ergebnissen der Wirksamkeitsanalyse
Insgesamt sind wir sehr zufrieden und freuen uns über die positiven Ergebnisse der Wirksamkeitsanalyse. Sie bestätigen unser persönliches Gefühl, dass es essenziell ist, Bildungstechnologien im Seminarkontext stärker handlungspraktisch und selbstverantwortlich nutzen und erproben zu können. Nur so lassen sich mentale Barrieren abbauen und (Medien-)Kompetenzen für den pädagogischen Einsatz nachhaltig entwickeln.
Den kompletten Bericht der Wirksamkeitsanalyse finden Sie hier:










