Theoretischer Hintergrund und Fragestellung

Multimediaeffekte werden traditionell vor allem im Kontext des Lernens betrachtet (Mayer, 2005). Allerdings gibt es immer mehr empirische Arbeiten die zeigen, dass Bildelemente auch in Testsituationen einen bedeutsamen Einfluss auf kognitive, metakognitive und affektive Parameter haben. Analog zum Lernkontext wird eine Erhöhung der Antwortrate durch den Einsatz von Bildern in Testaufgaben auch als Multimedia-Effekt im Testkontext bezeichnet (Lindner et al., 2017). Allerdings haben nicht alle Bildelemente vergleichbare Effekte und so ist es relevant, die Auswirkungen der Nutzung verschiedener Bildtypen näher zur betrachten.

Unterschieden werden in der Forschung bisher vor allem dekorative Bilder, die höchstens lose mit dem Aufgabenkontext assoziiert sind. Repräsentationale Bilder hingegen visualisieren lösungsrelevante Textinformationen. Werden räumlich-strukturelle Informationen aus dem Text dargestellt, werden diese teils auch als organisationale Bilder bezeichnet. Informationale Bilder liefern dagegen Informationen, die über den Textinhalt hinausgehen und für die Lösung der Aufgabe essenziell sind. Studien haben gezeigt, dass vor allem repräsentationale Bilder die Testleistung, die Bearbeitungszeit, die Metakognition sowie die Testmotivation bedeutsam beeinflussen können (vgl. Lindner, 2021). Für einen empirisch fundierten Einsatz von Bildern in Testmaterialien ist jedoch differenzierteres Wissen über die Wirkung verschiedener Bildtypen erforderlich. In einer ersten Metaanalyse identifizierten Hu et al. (2021) insgesamt 23 relevante Studien, publiziert bis August 2018, und zeigten für Bilder mit verschiedenen Funktionen unterschiedliche Effekte auf Leistungsoutcomes.

Unsere Metaanalyse setzt an diesem Punkt an und erweitert die Datenlage substanziell für die zentralen Bildtypen. Auf Basis unserer Literatursuche (bis Dezember 2022) konnten wir folgende Fragen erstmals differenzierter für Bilder mit verschiedenen Funktionen untersuchen:

(1) Welche Rolle spielt die Bildfunktion für Multimediaeffekte auf die Testleistung, die Bearbeitungszeit, die Metakognition und auf affektiv-motivationale Variablen?

(2) Gibt es neben der Bildfunktion weitere relevante Moderatoren für Multimediaeffekte im Testkontext, wie beispielsweise das Antwortformat (Multiple-Choice vs. Open Response) oder das Testsetting (Computer-Based vs. Paper-Pencil)?

Methode

Als Basis unserer Metaanalyse wurden die Datenbanken ScienceDirect, PsycINFO und Web of Science systematisch durchsucht. In einem mehrteiligen Screening-Prozess, dem PRISMA-Schema folgend, wurden die identifizierten Studien anhand von definierten Ein- und Ausschlusskriterien hinsichtlich ihrer Relevanz für die Metaanalyse überprüft. Zwei zentrale Einschlusskriterien waren, dass Bilder in Testaufgaben integriert sind und eine adäquate Kontrollgruppe ohne Bilder (z.B. nur Text) untersucht wird. Insgesamt konnten wir 39 Forschungsarbeiten inkludieren, aus denen 113 Effektstärken geschätzt wurden. Anhand von Random-Effects Modellen wurden für drei verschiedene Bildtypen jeweils summative Effekte und Heterogenitätsmaße bestimmt.

Ergebnisse

Dekorative Bilder schienen, verglichen mit einer reinen Textbedingung, keinen Einfluss auf die Testleistung (g = 0.02; p = .369), die Bearbeitungszeit (g = -0.02; p = .51), die Metakognition (g = 0.18; p = .347) oder die Freude an der Bearbeitung (g = 0.03; p = .399) zu haben. Für repräsentationale/organisationale Bilder konnten wir signifikante und jeweils positive Effekte auf die Testleitung (g = 0.37; p < .001), die Metakognition (g = 0.26; p < .001) und die Freude an der Testbearbeitung (g = 0.21; p < .001) finden, wohingegen kein signifikanter Effekt bezüglich der Bearbeitungszeit vorlag (g = -0.01; p = .925). Die Datenlage zu informationalen Bildern war geprägt von großer Heterogenität (I² = 99.46 % für die Variable Testleistung) ohne klares Befundmuster. Weitere Forschung ist notwendig, um differenzielle Effekte essenzieller Bilder besser zu verstehen. Unsere Moderatoranalysen deuten in diesem Zusammenhang auf einen signifikanten Einfluss des Testsettings (Computer-Based vs. Paper-Pencil) und des Standorts der Forschungsgruppen (Europa vs. USA vs. Asien) hin.

Insgesamt zeigt unsere Metaanalyse, dass vor allem repräsentationale Bilder im Testkontext differenziert eingesetzt werden können, um beispielsweise Konstrukt-irrelevante Varianz zu reduzieren (z.B. Leseanforderungen in naturwissenschaftlichen Aufgaben) oder den Spaß an der Testbearbeitung in Low-Stakes-Assessments zu erhöhen. Dekorative Bilder erwiesen sich als nicht störend, aber entgegen der Erwartung von vielen Testkonstrukteuren und Lehrkräften auch nicht als motivationsförderlich.

Individualisierter, an Schüler:innen orientierter Unterricht, bedarf einer andauernden Erfassung des Lernstandes und individuellen Lernfortschritts (Jung et al., 2018). Diese sollte reliabel und valide, einfach zu handhaben, ohne großen Aufwand implementierbar, auf die Lehrinhalte abgestimmt (Lembke & Stecker, 2007) und zwischen Messzeitpunkten vergleichbar sein. Ein erfolgsversprechender Ansatz um individuelle Lernverläufe über die Zeit abzubilden, ist die Lernverlaufsdiagnostik. Diese beinhaltet wiederholte, kurze Tests desselben Inhalts, mit denen die individuellen Fortschritte von Schüler:innen gemessen und an Lehrkräfte (und ggf. Schüler:innen) zurückgemeldet werden können (Deno, 2003; Fuchs, 2004). Im Sinne einer formativen Beurteilung (Black & Wiliam, 2009) soll so eine effiziente, individuelle Förderung der Schüler:innen ermöglicht werden, da positive wie negative Leistungsentwicklungen zeitnah sichtbar werden und Lehrkräfte wie ggf. Schüler:innen sich daran orientieren können.

Bisherige Ergebnisse deuten darauf hin, dass Lernverlaufsdiagnostik einen positiven Effekt auf die akademische Leistung von Schüler:innen haben kann, gleichermaßen zeigt sich eine hohe Heterogenität (Fuchs & Fuchs, 1986; Stecker et al., 2005). So scheint dieser Effekt durch verschiedene Variablen moderiert zu werden (z.B. Adaption des Unterrichts, Stecker et al., 2005; Unterstützung der Lehrkraft, Jung et al., 2018). Aus bisherigen Untersuchungen lassen sich drei Bereiche für mögliche Einflussfaktoren auf die Effektivität von Lernverlaufsdiagnostik ausmachen: Aspekte des Settings (z.B. Eigenschaften der Schüler:innen), die Implementation der Lernverlaufsdiagnostik (z.B. Häufigkeit der Testungen) und die Handhabung der Ergebnisse (z.B. Unterstützung der Lehrkräfte). Eine Systematisierung und metaanalytische Betrachtung bisheriger Ergebnisse entlang dieser Bereiche scheint sinnvoll und richtungsweisend für zukünftige Forschung und Praxis im Bereich der Lernverlaufsdiagnostik.

In der präsentierten Metaanalyse werden daher folgende Fragestellungen untersucht: (i) Welchen Einfluss hat Lernverlaufsdiagnostik auf die Entwicklung schulischer Leistungen von Schüler:innen? (ii) Inwiefern variiert die Effektivität der Lernverlaufsdiagnostik basierend auf Aspekten des Settings, der Implementation und der Handhabung der Ergebnisse der Lernverlaufsdiagnostik?

Zur Beantwortung der Fragestellungen wurde eine systematische Literatursuche durchgeführt. Eingeschlossen wurden Studien, die die Effektivität von Lernverlaufsdiagnostik in einem (quasi-)experimentellen Design untersuchten und in einer begutachteten englischsprachigen Zeitschrift veröffentlicht wurden. 24 geeignete Studien mit insgesamt 6728 untersuchten Schüler:innen, 85 Gruppenvergleichen sowie 30 unabhängigen Effekten wurden von zwei unabhängigen Kodierer:innen identifiziert (Cohen’s Kappa κ = .71). Diese Studien wurden anhand eines deduktiv-induktiv entwickelten Kodierschemas hinsichtlich möglicherweise relevanter Einflussfaktoren kodiert (Cohens Kappa κ_mean = .92 [.70; 1]).

Bezüglich der ersten Forschungsfrage zeigt sich ein signifikanter, kleiner Haupteffekt von Lernverlaufsdiagnostik auf die schulischen Leistungen von Schüler:innen mit g = .32 (p < .001). Die Heterogenität zwischen den Studien ist moderat bis hoch (I² = 73.49; Q = 242.41, p < .001). Bezüglich der zweiten Forschungsfrage, zeigen Moderatorenanalysen insbesondere signifikante Unterschiede in der Effektivität durch die Implementation sowie durch die Handhabung der Ergebnisse. Bezogen auf die Implementation legen die Ergebnisse nahe, dass die Lernverlaufsdiagnostiktests mindestens wöchentlich durchgeführt werden sollten, um effektiv zu sein. Bezüglich der Handhabung der Ergebnisse zeigen die Analysen, dass der Effekt von Lernverlaufsdiagnostik auf die schulischen Leistungen größer ist, wenn (a) die Lehrkräfte während des Einsatzes der Lernverlaufsdiagnostik kontinuierlich beraten werden und (b) die Lehrkräfte datenbasierte Unterstützung bei der Adaption ihres Unterrichts erhalten.

Insgesamt zeigen die Ergebnisse, dass Lernverlaufsdiagnostik im Vergleich zu traditionellem Unterricht bessere Lernergebnisse von Schüler:innen erzielt. Demnach scheinen Lehrkräfte durch die Bereitstellung der Informationen zu den individuellen Lernverläufen der Schüler:innen in der Lage zu sein, Schüler:innen effektiver zu fördern. Ein entscheidender Aspekt bei der Umsetzung von Lernverlaufsdiagnostik besteht nicht nur darin, den Lehrkräften die Ergebnisse der Lernverlaufsdiagnostik zur Verfügung zu stellen, sondern sie dabei zu unterstützen, wie sie ihren Unterricht entsprechend der Ergebnisse anpassen können. Unsere Ergebnisse erweitern die bestehende Literatur, indem sie Bedingungen aufzeigen, unter denen Lernverlaufsdiagnostik besonders effektiv ist. Darüber hinaus werden Aspekte der Lernverlaufsdiagnostik und ihrer Implementation fokussiert, die bisher nur unzureichend untersucht wurden.

Theoretischer Hintergrund

Das aktive Abrufen von Informationen während des Lernprozesses, zum Beispiel durch formative Tests, hat einen positiven Einfluss auf Behaltens- und Verstehensprozesse (Dunlosky et al., 2013) und wurde als Testing-Effekt bekannt (engl. testing effect, auch retrieval-based practice, test-enhanced learning). Ergebnisse verschiedener Meta-Analysen zeigen, dass aktives Abrufen anderen Lerntechniken deutlich überlegen ist und, dass diese Effekte über verschiedene Wissensdomänen und auf verschiedene Arten von Wissen verallgemeinert werden können (Adesope et al., 2017; Pan & Rickard, 2018; Rowland, 2014; Yang et al., 2021). Trotz dieser umfangreichen Evidenz werden entsprechende Lernstrategien sowohl von Lehrenden als auch von Lernenden nur sehr begrenzt genutzt (Dunlosky & Rawson, 2015). Neue Impulse für eine intensivere Nutzung werden durch die Verwendung digitaler Technologien und Tools geschaffen. Diese vereinfachen die Erstellung, Verwaltung und Auswertung entsprechender Lernangebote. Ferner gibt es Vorteile durch die Möglichkeit automatisierter Bewertungen und dem Erhalt von Echtzeit-Feedback für die Lernenden. Im Bildungsbereich werden bereits vermehrt Learning Management Systeme genutzt, um formative Onlinetests zu gestalten (Schwerter et al., 2022). Noch einen Schritt weiter geht die vorliegende Arbeit mit der Nutzung algorithmisch generierter Aufgaben, in Form von parametrisierten Fragen (Michael, 2021) und versucht so die Nutzung des Testing-Effekts weiter zu stärken.

Fragestellung

Die vorliegende Studie befasst sich mit dem Einsatz parametrisierter Fragen in formativen Onlinetests und deren Auswirkungen auf Intensität der Nutzung durch Studierende sowie auf deren Lernerfolg. Parametrisiert meint dabei, dass die verwendeten Multiple-Choice-Fragen spezifische Leerstellen aufweisen, die beim Aufrufen der Frage jeweils mit verschiedenen Werten des zugeordneten Parameters gefüllt werden. Parameter können dabei sowohl Werte, einzelne Worte als auch ganze Sätze sein. Die Grundstruktur der Frage und das zu lernende Konzept ändern sich dabei nicht. So kann z.B. wiederholt die Berechnung des Medians oder die Identifikation von abhängiger und unabhängiger Variable in einem Abstract geübt werden, jedoch wird bei jeder Wiederholung eine andere Datenreihe bzw. ein anderer Abstract angezeigt.

Methode

In einem experimentellen Setting wurden Studierenden eines Kurses zu quantitativen Forschungsmethoden wöchentliche Onlinetests, entsprechend der sechs behandelten Themenkomplexe, angeboten. Die Studierenden wurden randomisiert zwei Gruppen zugeteilt. Von Thema zu Thema wechselten die Gruppen zwischen Kontroll- und Experimentalbedingung, so dass sowohl Between-Person als auch Within-Person-Vergleiche möglich sind (Split-Plot-Design). In beiden Bedingungen konnten die Multiple-Choice-Fragen beliebig oft wiederholt werden und es wurde unmittelbares, korrektives Feedback zur Verfügung gestellt. Die Onlinetests in der Kontrollbedingung bestanden aus statischen Fragen, so dass bei jeder Wiederholung identische Fragen zur Bearbeitung angezeigt wurden. In der Experimentalbedingung hingegen wurden die parametrisierten Fragen eingesetzt und die Fragen veränderten sich mit jeder Wiederholung etwas.

Ergebnisse

An der Studie nahmen 318 Studierende im Wintersemester 22/23 teil. Zur Analyse der Ergebnisse wurde aus den Logdaten der Fragen die Übehäufigkeit ermittelt und als weitere abhängige Variable die Ergebnisse in der Abschlussklausur differenziert nach Themenkomplex herangezogen. Die Auswertung erfolgte mit Bayesianischen verallgemeinerten Mehrebenenmodellen in der probabilistischen Programmiersprache Stan, unter Verwendung des R-Pakets brms (Bürkner, 2018). Die beste Modellpassung für die Analyse der Übehäufigkeit gelang mit einer zero-inflated negative binomial Regression (Mahmood & Xie, 2019). Der Effekt auf die Leistung konnte über eine zero-one-inflated Betaregression modelliert werden (Heiss, 2021). Erwartungskonform gehen parametrisierte Fragen mit einer intensiveren Nutzung der Onlinetests einher. Im Durchschnitt werden 13,9 (95%-CI: 10,9-17,0) mehr parametrisierte Fragen als in der Kontrollbedingung bearbeitet. Abweichend von den zuvor getroffenen Annahmen führen parametrisierte Fragen bei den vorliegenden Daten nicht direkt zu einer Steigerung der Lernleistung. Die Ergebnisse werden im Hinblick auf einen möglichen Grenznutzen zusätzlicher Übungseinheiten und im Hinblick auf praktische Implikationen für Lehrkräfte diskutiert.