Projektbeschreibung

Monitoring-Werkzeug für L²P (ETS6)

Kontakt

Name

Dr. Harald Jakobs

Center for Innovative Learning Technologies (CiL)

Telephone

workPhone
+49 (0)241 80-21953

E-Mail

Steckbrief

Eckdaten

Veranstaltungsform:
Sonstiges
Format:
Sonstiges
Lernszenarien - Hauptkategorie:
Anreicherung
Lernszenarien - Weitere Kategorien:
Personalisierung
Studiengang:
Alle
Fakultät:
0 - Sonstige
Jahr:
2010
Medien:
L²P-Modul zu Learning Analytics

Idee und Ziel

E-Learning ist mehr als nur „Zugriff auf Online-Materialien“. Durch den gezielten, didaktisch durchdachten Einsatz von interaktiven Übungen und Kommunikations-/Kollaborationsfunktionen können E-Learning-Elemente in einer Veranstaltung zur kontinuierlicheren Aktivierung der Lernenden führen. Eine wesentliche Herausforderung ist daher, mit L²P eine Online-Lehre zu fördern, die über ein reines Informationsangebot hinausgeht. Zurzeit können jedoch keine zuverlässigen Aussagen getroffen werden, ob L²P-Lernräume eher als „passive“ Online-Dokumentenarchive fungieren oder komplexere, aktivierende BL-Konzepte umsetzen.

Ziel des Projekts ist daher die Konzeption, Implementierung und Evaluation eines web-basierten Lernindikatoren-Dashboards für L²P-Lernräume, welches pro Veranstaltung eine integrierte Über-sicht über das Verhalten der Studierenden gibt und es erlaubt, dies in Relation zu ihrer Leistung in Übungen und Klausuren sowie zu Lehraktivitäten der Lehrenden zu stellen. Mit Hilfe des Dashboards können Lehrende somit lehrveranstaltungsbegleitend die Wirkung ihrer Lehraktivitäten und das Verhalten bzw. die Leistung der Studierenden untersuchen, reflektieren und Schlussfolgerungen für eine Optimierung ihrer BL-Didaktik treffen.

Die Indikatoren-Sets für die Analyse sollen auf L²P-Daten basieren. Durch den Einsatz entsprechender Funktionen können sowohl Zugriffsdaten, Umfrageergebnisse als auch Anwesenheitslisten und Leistungsbewertungen in L²P verwaltet und in Relation zueinander analysiert werden. In einer ersten Testphase sollen durch eine prototypische Implementierung Daten in L²P erhoben, zusammengeführt, analysiert, automatisch ausgewertet (Data Mining) und als Indikatoren dargestellt werden. Durch die Evaluation eines Prototypen-Einsatzes sollen aussagekräftige, relevante und veranstaltungstypspezifische Indikatoren für die Analyse spezifischer RWTH-Lehrkontexte identifiziert werden, die zukünftig hochschulweit in L²P-Lernräumen verfügbar gemacht werden könnten.

Projektverlauf

Der nutzerzentrierte Designprozess wurde gemäß dem Design-Implement-Analyze-Zyklus (DIA-Zyklus) in sieben Stufen unterteilt. Begleitet von Literaturrecherchen wurden mehrere Prototypen untersucht und im Hinblick auf die für den jeweiligen Entwicklungsschritt spezifischen Anforderungen hin evaluiert.

Die Entwicklung erfolgte in zwei wesentlichen Schritten:
1. Implementieren, Testen und Verfeinern der Systemarchitektur
2. Design, Implementierung und Evaluation verschiedener Versionen der Benutzeroberfläche
Im Rahmen der Systemarchitektur wurde ein Datensammlungsmodul implementiert und in die Lernplattform L²P eingespielt. Mit ihm werden Nutzerinteraktionen und Aktivitätsdaten gesammelt.

Mit der Datenmodellimplementierung sollte eine Lösung für die Datenspeicherung gefunden und verschiedene Datentypen unterstützt werden, die aus der Sammlung der Nutzeraktivitätsdaten resultierten. Um die gesammelten Daten aus L²P exportieren zu können, wurde ein Datenimportmodul gestaltet und implementiert.

Das Datenschutzmodul modifiziert die personenbezogenen Daten aus L²P, um den nötigen Datenschutz zu gewährleisten.

Das Indikatoren-Framework stellt Services für die Erstellung von Evaluationsreports bereit, d.h. es führt zwischen Benutzeroberfläche und in der Datenbank gesammelten Lernerdaten Kalkulationen zu Indikatoren aus, während die Visualisierungskomponente eine Abstraktionsschicht bereitstellt, um verschiedene Reports zur Verfügung zu stellen.

Die Benutzeroberfläche wurde in drei Iterationen entwickelt. Das erste Interface wurde in Form eines Wizards implementiert, das zweite in Form eines Dashboards, das den Nutzer_innen vier Bereiche anzeigt: Nutzungsdaten, Nutzerverhalten, Assessment-Aktivitäten und Kollaborationsaktivitäten. Jeder Bereich enthielt verschiedene anpassbare LA-Indikatoren. Die dritte Version war eine Erweiterung der zweiten Version mit einer Personalisierungsoption und Support für eine fragenbasierte Indikatorenanalyse.

Ergebnis

Das Learning Analytics-Werkzeug wurde im WS 2012/13 in sechs Kursen mit 150-750 Teilnehmer_innen im Pilotbetrieb eingesetzt. Die Erfahrungen in jedem Kurs wurden dokumentiert, analysiert und überprüft, um den Nachweis zur Wirksamkeit und Nützlichkeit des Werkzeugs (im Sinne von Bewusstsein wecken und Reflexion anregen) zu erbringen. Im Hinblick auf die Bewusstmachung ergab sich, dass das Werkzeug den Nutzer_innen am meisten über den Gebrauch der Lernmaterialien aufzeigte, aber ebenso das Online-Zugangsverhalten der Studierenden und einige genderspezifische Unterschiede bewusst machte. Darüber hinaus regte das Werkzeug auch die Reflexion an, sobald es aussagekräftige Daten produzierte und die Werte der maßgeblichen Faktoren wertwoll für die Nutzer_innen waren. Die Sammlung und Analyse der Nutzungsszenarien führte zu dem Schluss, dass das LA-Werkzeug insbesondere Anfänger in die Lage versetzt, mehr Bewusstsein für ihre Veranstaltungen und ihre Studierenden zu entwickeln und diese stärker zu reflektieren. Gleichzeitig zeigte die Studie jedoch auch Fälle, in denen die Lehrenden sich deutlich gegen den Gebrauch solcher Werkzeuge in der Lehre aussprachen.