Digitale Medien werden zunehmend im Bildungskontext eingesetzt (Lorenz et al., 2022). Auch im Bereich der Kompetenzdiagnostik steigt die Relevanz computerbasierter Assessments (CBA) gegenüber papierbasierten Assessments (PBA). Unterschiede in der Darstellung und Bearbeitung von Testaufgaben zwischen CBA und PBA können sich auf die Testleistung (Delgado et al., 2018) und auf das Testerleben der Testteilnehmenden auswirken (z.B. Chua & Don, 2013; Delgado & Salmerón, 2021). Hinzu kommen computerspezifische Funktionsweisen wie Adaptivität (Brüggemann et al., 2023; Ling et al., 2017) und Feedback (Kuklick & Lindner, 2021), die Einfluss auf das Testerleben nehmen können. Zum einen ist ein positives Testerleben per se anzustreben (Martin & Lazendic, 2018), zum anderen können sich kognitive, affektive und motivationale Effekte des Testformates indirekt auf die Testleistung auswirken. Zusätzlich können Effekte des Testformats auf das Testerleben die Testfairness beeinflussen, wenn sie sich unterschiedlich stark auf verschiede Schülergruppen auswirken.

In diesem Symposium werden aktuelle Beiträge zu kognitiven, affektiven und motivationalen Effekten von CBAs auf Testnehmende vorgestellt. Die Beiträge nutzen experimentelle Forschungsdesigns und Daten aus Large Scale Assessment (LSA) mit vornehmlich Schülerinnen und Schülern aus der Primarstufe und Sekundarstufe I im schulischen Kontext. Im Fokus steht das Testerleben im Hinblick auf Angst, Langeweile, Motivation, Freude und mentale Fokussiertheit. Die ersten zwei Beiträge vergleich das Testerleben von PBA und CBA im LSA von Lesekompetenz bei Schülerinnen und Schüler der vierten Klasse, während der dritte und vierte Beitrag Effekte von computerspezifischen Funktionen von CBAs untersuchen.

Hahnel et al. vergleichen die mentale Fokussiertheit zwischen Schülerinnen und Schüler im PBA und CBA. Im zweiten Beitrag untersuchen Frey et al. Unterschiede in der Freude, Langeweile und Angst in Testsituationen. Brüggemann et al. thematisieren Unterschiede in der Testängstlichkeit zwischen Mädchen und Jungen im PBA und CBA, sowie in einem computeradaptiven Lesekompetenztest bei Viertklässlerinnen und Viertklässlern. Im vierten Beitrag stellen Lindner et al. die motivationalen und affektiven Effekte bei CBAs mit verschiedenen Typen des direkten Feedbacks für die Testnehmenden vor.

Die Beiträge werden im Hinblick auf die Potentiale und Herausforderungen, die durch kognitive affektive und motivationale Effekte von CBAs in Testsituationen für die beteiligten Akteure endstehen, diskutiert.

Die Beiträge werden im Hinblick auf die Potentiale und Herausforderungen, die durch kognitive affektive und motivationale Effekte von CBAs in Testsituationen für die beteiligten Akteure endstehen, diskutiert.

Theoretischer Hintergrund: Aus Metaanalysen ist bekannt, dass das Lesen von (informativen) Texten am Bildschirm im Vergleich zum Lesen gedruckter Texte zu einer schlechteren Leseverständnisleistung führt (z. B. Delgado et al., 2018), vor allem beim Lesen mit Zeitbegrenzung. Als Ursache dafür wird eine im Vergleich oberflächlichere Informationsverarbeitung angenommen, die durch Unaufmerksamkeit, Ablenkbarkeit oder abschweifende Gedanken gekennzeichnet ist (Delgado & Salmerón, 2021). Dieses Phänomen ist potentiell auch bei der Bearbeitung von Leseverständnistests von Bedeutung und soll in der vorliegenden Studie für die Internationale Grundschul-Lese-Untersuchung (IGLU) 2021 untersucht werden. Mit dem Zyklus 2021 wurde die IGLU-Lesestudie erstmals in einem vollständig digitalen Erhebungsmodus durchgeführt. Dazu wurde ein experimentelles Design realisiert, um die Vergleichbarkeit des computerbasierten- (CBA) und des papierbasierten Assessment (PBA)-Modus zu prüfen.

Fragestellung: Die deutsche Ergänzungsstudie widmete sich der Frage, ob sich in IGLU 2021 das Testerleben im Sinne mentaler Fokussiertheit zwischen PBA- und CBA-Modus unterscheidet.

Methode: An der Ergänzungsstudie nahm eine ausgewählte Teilgruppe der Schülerinnen und Schüler der CBA-Hauptstudie (n = 1378) und der PBA-Brücken-Studie (n = 672) von IGLU teil. Zur Erfassung des Testerlebens bearbeiteten sie zehn Items aus dem On-line motivation questionnaire (Boekaerts, 2002). Zur Beantwortung der Fragestellung wurde der Mittelwertsunterschied im selbstberichteten Testerleben zwischen PBA- und CBA-Modus anhand einer latenten Zweigruppenanalyse (Gruppen: PBA und CBA) geprüft. Im Messmodell für Testerleben wurden zwischen den Gruppen invariante Faktorladungen und Schwellen angenommen.

Ergebnisse: Zur Kontextualisierung der Ergebnisse werden zunächst Befunde zur Frage vorgestellt, ob sich der IGLU-Lesetest in zentralen Messeigenschaften zwischen PBA- und CBA-Modus unterscheidet, d.h. in den Itemparametern (Schwierigkeit und Diskrimination) als auch in der Konstruktinterpretation. Im Hinblick auf das Testerleben wird der Mittelwertsunterschied zwischen PBA- und CBA-Modus berichtet sowie ergänzend Varianzunterschiede. Zusätzlich wird explorativ dargestellt, ob der Mittelwertsunterschied in mentaler Fokussiertheit zwischen PBA- und CBA-Modus für Schülerinnen und Schüler unterschiedlich ausfällt.

Diskussion und Implikation für Theorie und Praxis: Die Ergebnisse werden zusammenfassend auf dem Hintergrund der Literaturlage eingeordnet und diskutiert. Detaillierte Ergebnisse können aufgrund des internationalen Embargos zur IGLU Veröffentlichung bis zum 16.05.2023 zum jetzigen Zeitpunkt noch nicht in das Abstract einfließen. Mögliche Implikationen beziehen sich auf die Interpretation von Moduseffekten in IGLU 2021 im Hinblick auf vermittelnde Variablen.

Theoretischer Hintergrund: Im Jahr 2021 wurde die Internationale Grundschul-Lese-Untersuchung (IGLU) nicht mehr als papierbasiertes Assessment (PBA) sondern als computerbasiertes Assessment (CBA) administriert. Die damit verbundenen Änderungen in der Darbietung der Aufgaben und die unterschiedlichen Interaktionsmöglichkeiten mit dem Testmaterial können sich unter anderem auf das emotionale Testerleben der untersuchten Schülerinnen und Schüler auswirken. Gemäß der Kontroll-Wert-Theorie der Leistungsemotionen beeinflussen individuelle Bewertungen der Testsituation hinsichtlich Kontrolle und Wert die Ausbildung emotionaler Reaktionen.

Methode: Derartige Effekte wurden anhand einer Teilstichprobe von N = 2931 Viertklässlerinnen und Viertklässlern der IGLU 2021-Erhebung in Deutschland untersucht. Von diesen nahmen 660 an der PBA-Brückenstudie teil und der Rest am regulären CBA-Test. Die Gruppenzuteilung erfolgte per Zufall. Das emotionale Erleben von Angst, Freude und Langeweile bei der Testbearbeitung wurde mit einer gekürzten und adaptierten (genderneutrale Gestaltung) Version des Achievement Emotions Questionnaire – Elementary School (AEQ-ES) erhoben.

Fragestellung:

1. Wie verhalten sich die Skaleneigenschaften des gekürzten und adaptierten AEQ-ES im Vergleich zur Originalversion?

2. Können die seitens der Kontroll-Wert-Theorie postulierten Zusammenhänge zwischen emotionalem Erleben und wahrgenommener Kontrolle und Wert bestätigt werden?

3. Kann die von der Kontroll-Wert-Theorie gemachte Annahme einer multiplikativen Verknüpfung von wahrgenommener Kontrolle und Wert gestützt werden?

4. Welche Effekte hat CBA im Vergleich zu PBA im Hinblick auf das Erleben von Angst, Freude und Langeweile während der Testung im Rahmen von IGLU 2021?

Ergebnisse: Die Trennschärfen der Items waren durchgehend gut. Deren Mittelwerte und Standardabweichungen waren vergleichbar mit der Originalversion des AEQ-ES. Die Reliabilitäten der einzelnen Skalen (Freude: α = .74, Angst: α = .73; Langeweile: α = .80) waren nur geringfügig niedriger als die der Skalen der Originalversion. Die postulierten Zusammenhänge der Kontroll-Wert-Theorie konnten zum Großteil bestätigt werden. Detaillierte Ergebnisse können aufgrund des internationalen Embargos zur IGLU Veröffentlichung bis zum 16.05.2023 zum jetzigen Zeitpunkt noch nicht in das Abstract einfließen.

Diskussion und Implikation für Theorie und Praxis: Im Beitrag werden die Implikationen der Befunde für die Kontroll-Wert-Theorie der Leistungsemotionen und die für die Vergleichbarkeit von PBA und CBA bei IGLU diskutiert.

Digitale Medien nehmen im Schulkontext immer mehr an Bedeutung an. Computerbasierte und computeradaptive Testformate können unter anderem bei der Diagnostik und Kompetenzerfassung im Schulkontext eingesetzt werden. Auch Large Scale Assessments wie die Internationale Grundschul-Lese-Untersuchung (IGLU 2021) setzt bereits computerbasierte Tests ein und das Programme for International Student Assessment (PISA) nutzt multistage computeradaptive Testformate zur Kompetenzerfassung von Schüler*innen. Dabei kann das Testformat, mit dem die Schüler*innen getestet werden, einen Einfluss auf deren Testerleben nehmen und besonders die Zustandsangst kann durch Veränderungen des Testformats beeinträchtigt werden (Ling et al., 2017). Beim Einsatz von digitalen statt papierbasierten Tests ist die Computerangst ein Faktor, der sich auf die Zustandsangst auswirkt (Shermis & Lombard, 1998) und computeradaptive Tests führen bei Testpersonen oft zu einer erhöhten Zustandsangst (Ling et al., 2017). Im Rahmen des additiven Modells der Testängstlichkeit (Zohar, 1998) kann dies Personen mit hoher allgemeiner Testängstlichkeit disproportional betreffen. Dabei unterscheiden sich Jungen und Mädchen im Mittel in diesen genannten Aspekten. Mädchen geben im Durchschnitt eine geringere Selbstwirksamkeitserwartung zum Umgang mit Computern an (Aesaert & van Braak, 2015), was sich auf die Computerangst auswirken kann. Weiterhin geben Mädchen im Mittel an, mehr Testängstlichkeit und Zustandsangst zu verspüren (Núñez-Peña et al., 2016). Im Rahmen des Interferenzmodells der Testängstlichkeit kann sich die erhöhte Zustandsangst negativ auf die Testleistung auswirken (Cassady & Johnson, 2002), was die Testfairness beeinträchtigen kann.

Vor diesem Hintergrund untersucht die vorliegende Studie, inwiefern sich papierbasierte, computerbasierte und computeradaptive Tests auf die Zustandsangst von Schülerinnen und Schülern der vierten Klasse nach einem Lesekompetenztest auswirkt.

In einem Zwischen- und Innersubjektvergleich wurde die Zustandsangst von 371 Grundschüler*innen (48.2 % weiblich) aus Nordrhein-Westfalen vor und nach einem papierbasierten, computerbasierten und computeradaptiven Lesekompetenztest mit dem STAI-SKD (Englert et al., 2011) erhoben. Linear mixed-effect Modelle konnten zeigen, dass Mädchen eine höhere Zustandsangst am Ende eines computeradaptiven Lesekompetenztests verspüren, als Mädchen, die den gleichen Test in fixierter Form am Papier oder Computer bearbeiten. Gleichzeitig sinkt die Zustandsangst von Jungen im computeradaptiven Test gegenüber papierbasierten und computerbasierten Tests. Dieses Ergebnis bleibt auch bei einem direkten Vergleich des computerbasierten und computeradaptiven Tests ohne Berücksichtigung des papierbasierten Tests stabil. Die Ergebnisse werden vor dem Kontext des Interferenzmodells der Testängstlichkeit mit Hinblick auf die Testfairness diskutiert.

In digitalen Bildungskontexten wird computerbasiertes Leistungsfeedback zunehmend häufiger implementiert. Durch automatisiertes Feedback können Fehlkonzepte schnell behoben und Wissen schon während der Bearbeitung von Aufgaben aufgefrischt oder vertieft werden. Neben solchen kognitiven Effekten stellt sich allerdings auch die Frage, welche affektiv-motivationalen Auswirkungen computerbasiertes Feedback im Kontext von digitalen Lern- und Testumgebungen hat. Es fehlte bisher jedoch an belastbaren empirischen Untersuchungen bezüglich der affektiv-motivationalen Auswirkungen von automatisiertem Feedback.

Das Projekt COMET (Cognition and Motivation in Educational Testing) hat u.a. zum Ziel, die Effekte verschiedener Varianten computerbasierten Leistungsfeedbacks auf kognitive, metakognitive und differenziert erfasste affektiv-motivationale Parameter experimentell, holistisch und prozessorientiert zu untersuchen. Die Ergebnisse sollen dazu beitragen, digitale Lern- und Testumgebungen evidenzbasiert zu gestalten. In diesem Beitrag werden zentrale Ergebnisse aus vier experimentellen Studien mit insgesamt 1501 Probanden vorgestellt und integrativ diskutiert. Die Studien untersuchten gängige Varianten von computerbasiertem Feedback (KR, KCR, AUC, EF; vgl. Mertens et al., 2022 für eine Übersicht der Feedbackformen) hinsichtlich ihrer Auswirkungen auf den emotionalen sowie affektiv-motivationalen Zustand der Testbearbeitenden während der Aufgabenbearbeitung.

Ein Kernbefund aller Studien war die Leistungsabhängigkeit der affektiv-motivationalen Effekte gegenüber einer Kontrollbedingung ohne Feedback. Studienübergreifend nahmen nach richtigen Antworten und positivem Feedback die berichteten positiven Emotionen zu und negative Emotionen ab. Negative affektiv-motivationale Effekte zeigten sich hingegen vorwiegend nach falschen Antworten und für leistungsschwächere Schülerinnen und Schüler bei Implementation von simplem KR-Feedback. Der affektiv-motivationale Zustand nach falschen Antworten schien nämlich auch von der Feedback-Komplexität abzuhängen: Je mehr Informationen das Feedback zur Aufgabenlösung lieferte (d.h. KR<KCR<EF), desto neutraler wurde selbst negatives Feedback aufgenommen. Ein Vergleich von AUC vs. KCR Feedback sowie AUC vs. EF in einem Within-Subject-Design erbrachte hingegen jeweils vergleichbare Effektmuster, wobei durch Feedback nach richtigen Antworten stets deutlich positive affektiv-motivationale Zustände induziert wurden, während nach falschen Antworten in diesen Studien keine signifikant negativen bzw. teilweise sogar leicht positive Effekte gegenüber der Kontrollgruppe ohne Feedback auftraten.

Allgemein erwies sich computerbasiertes Feedback im Mittel und für leistungsstarke Personen affektiv-motivational förderlicher als kein Feedback. Nach falschen Antworten schien Feedback gegenüber Bedingungen ohne Feedback hingegen oftmals affektiv-motivational nicht substanziell überlegen bzw. teils sogar unterlegen zu sein. Als Implikation für die Praxis ergibt sich aus den COMET-Studien, dass einfaches KR-Feedback vermieden und komplexeres, informatives Feedback bevorzugt werden sollte. Zudem braucht es eine größere Sensibilität für potenziell negative affektiv-motivationale Effekte von Feedback auf leistungsschwächere Schülerinnen und Schüler bei der Gestaltung von Lehr-Lernsoftware. Neben der Leistungsabhängigkeit werden weitere mögliche Moderatoren (z.B. Studiendesign, Aufgabentypen) der affektiv-motivationalen Effekte von computerbasiertem Feedback diskutiert.