Computergestützte Lern- und Testumgebungen ermöglichen eine unkomplizierte Implementierung von unmittelbarem Leistungsfeedback. Neben Studien, die positive Effekte von Feedback auf das Lernen nahelegen, untersuchen nur wenige Studien leistungsbezogene Emotionen (Freude, Stolz, Ärger, Frustration) von Testteilnehmenden als Reaktion auf automatisiertes Feedback und verschiedene Feedbacktypen. In diesem Experiment wurden daher 97 Studierende hinsichtlich leistungsbezogener Emotionen verglichen, die eine Kontrollbedingung ohne Feedback, automatisiertes Elaborated Feedback (EF) und Answer-Until-Correct (AUC) Feedback in drei Testblöcken in einem Within-Subject-Design durchliefen. Die Ergebnisse indizierten positive Effekte von EF und AUC-Feedback auf Emotionen im Vergleich zur Kontrollbedingung. Die Feedbackrichtung moderierte die Effekte: Positives Feedback führte zu deutlich positiven affektiven Reaktionen, während negatives Feedback weniger positiv wirkte und im Fall von AUC sogar tendenziell als frustrierend wahrgenommen wurde.

Im Zuge der Digitalisierung können computerbasierte Tests mit automatisiertem Feedback versehen werden. Forschungsergebnisse zeigen, dass Feedback im Vergleich zu keinem Feedback großes Potential hat zur Verbesserung von Lernen und Leistung (Mertens et al., 2022). Allerdings können verschiedene Feedbacktypen und deren Valenz (positiv nach richtigen Antworten; negativ nach falschen Antworten), auch emotionale Zustände während des Testens beeinflussen. Diese Effekte scheinen leistungsabhängig zu sein (Fong et al., 2019; Kuklick & Lindner, 2023): Positives Feedback führt üblicherweise zu positiven Effekten hinsichtlich erfasster Emotionen, während negatives Feedback zu negativen Effekten führen kann (Niemann et al., 2014). Da zudem verschiedene Feedbacktypen unterschiedlich wirken können, ist es wichtig, ihre differentiellen Effekte–unter Berücksichtigung der Antwortrichtigkeit–auf Emotionen während des Testens sorgfältig zu untersuchen. Fokus dieser Studie ist daher, wie der affektive Zustand der Teilnehmenden beeinflusst wird, wenn sie entweder direkt elaborierte Informationen (EF) oder AUC Feedback mit mehreren Versuchsschleifen erhalten.

Methode

Die Analysen basieren auf 97 Studierenden (M_Alter = 23.64, SD_Alter = 5.31), welche in einem Within-Subject-Design mit drei verschiedenen Feedbacktypen konfrontiert wurden: kein Feedback, direktes elaboriertes Feedback (EF) und AUC-Feedback. Diese Varianten wurden in drei Testblöcken implementiert, die randomisiert wurden und je 12 von insgesamt 36 naturwissenschaftlichen Multiple-Choice Aufgaben zu Faktenwissen umfassten. Um sicherzustellen, dass Fehler gemacht werden, wurden auf Basis einer Pilotierung des Testmaterials hinreichend schwierige Aufgaben ausgewählt (Lösungserfolg: M = 38%, SD = 14%). Nach jeder Aufgabe wurde mithilfe einer 5-stufigen Likert-Skala der affektive Zustand der Teilnehmenden erfasst (Freude, Stolz, Ärger, Frustration).

Ergebnisse und Diskussion

Die Ergebnisse zeigen, dass positives Feedback (EF, AUC) im Vergleich zu keinem Feedback Freude und Stolz signifikant erhöhte (ps < .001) sowie Ärger und Frustration verringerte (ps < .001). Nach falschen Antworten schien EF im Vergleich zu keinem Feedback Ärger (p < .001) und Frustration zu verringern (p = .019), während AUC-Feedback (vs. kein Feedback oder EF) die Frustration leicht erhöhte (p = .003) und die Freude (vs. EF) verringerte (p = .033). Die Ergebnisse legen nahe, dass die Bereitstellung von EF im Vergleich zu AUC oder keinem Feedback vorteilhafter für den affektiven Zustand der Teilnehmenden war.

Insgesamt scheinen der Feedbacktyp (EF, AUC) sowie die Valenz (Fong et al., 2019; Kuklick & Lindner, 2023) einen signifikanten Einfluss auf den Affekt von Testbearbeitenden zu haben. Dies ist besonders für leistungsschwache Testteilnehmende relevant, die häufiger Fehler machen und durch negatives Feedback leicht frustriert werden könnten. Mehrfache Feedbackschleifen (AUC) könnten hierbei besonders nachteilig sein. Direktes EF hatte keine negativen affektiven Auswirkungen und könnte negative Emotionen sogar abschwächen. Die Ergebnisse unterstreichen die Bedeutung differenzierter Überlegungen vor der Implementierung von Feedback in digitalen Tests.

Die affektiven Auswirkungen von automatisieren Leistungsfeedback sind bisher nur wenig erforscht. Diese Experimentalstudie untersucht daher die affektiven Effekte von unmittelbarem, elaboriertem Feedback in einem digitalen Kontext. 410 Studierende bearbeiteten einen digitalen Test mit verschiedenen Darbietungsvarianten von elaboriertem Feedback (EF): Textbasiertes Feedback oder textbasierte Feedbackbotschaft mit zusätzlichem Bild und/oder emotionalem Design. Im Vergleich zu einer Kontrollgruppe ohne Feedback zeigten alle Darbietungsvarianten von EF leistungsmoderierte Effekte (vorteilhafte Effekte auf positive/negative Emotionen nach korrekten Antworten und unvorteilhafte Effekte auf positive/negative Emotionen nach falschen Antworten). Im Vergleich zu Text-Botschaften schwächte ein emotionales Design oder ein repräsentationalen Bild in der EF-Botschaft jedoch den negativen Effekt der Fehlerbenachrichtung auf positive Emotionen ab. Zusammenfassend zeigte die Studie, dass Designvariationen von EF als emotionale Unterstützung eingesetzt werden könnten.

Im Kontext des digitalen Testens zeigen viele Studien, dass unmittelbares Feedback das Lernen fördern kann (Mertens et al., 2022). Eine Darbietung von unmittelbaren Feedbackbotschaften könnte aber auch Nachteile haben, denn die Verarbeitung von fehlerbezogenem Feedback kann sich emotional negativ auswirken (vgl. z.B. Autoren, Jahr). Wir nehmen an, dass die feedbackbezogenen emotionalen Reaktionen der Testbearbeitenden durch die Ergänzung von aufgabenbezogenen, repräsentationalen Bildern (vgl. z.B. Ritzhaupt et al., 2018) und zusätzlichen Emotional Design Elementen (hier: warme Farben und animierter pädagogischer Agent; vgl. z.B. Brom et al., 2018) in den Feedbackbotschaften positiv beeinflusst werden kann.

In dieser computerbasierten, präregistrierten Experimentalstudie haben wir elaboriertes Feedback (EF) durch zwei visuelle Designelemente ergänzt (Repräsentationales Bild [RP]; emotionales Design [ED]) und die Wirkung der verschiedenen Feedbackbotschaften auf die Testbearbeitenden untersucht. Unsere Annahme war, dass die Wirkung des Feedbacks auf die Emotionen vor allem durch die vorangegangene Richtigkeit der Antwort moderiert wird und dass visuell angereichertes Feedback im Vergleich zu textbasiertem Feedback den emotionalen Zustand nach dem Erhalt von Feedbackbotschaften verbessert.

410 Studierende (51% weiblich; M_Alter=24.29; SD_Alter=4.23) bearbeiteten einen computerbasierten Test mit 12 Geometrie-Aufgaben (offenes Antwortformat) und erhielten dabei in einem Between-Subject-Design entweder (1) kein Feedback oder unmittelbares EF mit verschiedenen Designelementen: (2) Text, (3) Text + RP, (4) Text + ED oder (5) Text + RP + ED. Die Studierenden bewerteten nach jeder Aufgabe je drei Items zu ihren aktuellen positiven (Stolz, Freude, Hoffnung) als auch zu ihren aktuellen negativen Emotionen (Ärger, Frustration) auf einer 5-Punkte-Likert-Skala. Für die Datenauswertung verwendeten wir moderierte lineare Mixed-Effects Modelle.

Erwartungskonform verbesserte EF im Vergleich zu keinem Feedback die Emotionen der Getesteten nach korrekten Antworten und hatte einen nachteiligen Effekt auf die Emotionen nach falschen Antworten (p_s<.001). Im Einklang mit früheren Befunden (z.B. Autoren, Jahr) zeigt sich in dieser Studie, dass die affektiven Effekte von Feedback leistungsabhängig waren. Konfirmatorisches Feedback schien sich affektiv positiver auszuwirken als korrektives Feedback.

Hinsichtlich der experimentellen Feedbackmanipulation zeigte sich, dass die ergänzten visuellen Designelemente die Emotionen der Studierenden im Vergleich zum Textfeedback positiv beeinflussten, allerdings nur in Bezug auf positive Emotionen nach inkorrekten Antworten (p_s≤.036). Insgesamt scheinen visuell angereicherte Feedback-Botschaften affektiv reinem Text-Feedback leicht überlegen zu sein. Ein gezielter Einsatz von visuellen Designelementen könnte im Kontext digitaler Leistungstests also der emotionalen Unterstützung bei fehlerbezogenem Feedback dienen.

Literaturverzeichnis

Autoren (Jahr). Titel. Journal. Number der Aufgabe, Seiten.

Brom, C., Stárková, T., & D'Mello, S. K. (2018). How effective is emotional design? A meta-analysis on facial anthropomorphisms and pleasant colors during multimedia learning. Educational Research Review, 25, 100–119. https://doi.org/10.1016/j.edurev.2018.09.004

Mertens, U., Finn, B., & Lindner, M. A. (2022). Effects of computer-based feedback on lower- and higher-order learning outcomes: A network meta-analysis.Journal of Educational Psychology, 114(8), 1743–1772. https://doi.org/10.1037/edu0000764

Ritzhaupt, A. D., Pastore, R., Wang, J., & Davis, R. O. (2018). Effects of organizational pictures and modality as a feedback strategy on learner comprehension and satisfaction. Educational Technology Research and Development, 66, 1069–1086. https://doi.org/10.1007/s11423-018-9575-0

The easiness effect refers to the tendency of laypeople to accept claims as true when accompanied by easily understandable information. Despite efforts to educate people about the easiness effect, past research shows that it is robust and can still be observed even when sources are untrustworthy or information is tagged as fake news. This study examined whether an elaboration prompt that encouraged laypersons to reflect on the contents of an educational video informing laypersons about the easiness effect could attenuate the easiness effect. Results showed that the easiness effect was replicated. The addition of an elaboration prompt did not mitigate its persuasive advantage. The findings highlight the need for additional educational interventions to promote critical evaluation skills in the public.

The easiness effect of science popularization refers to the tendency of laypeople to accept claims as true when accompanied by easily understandable information (Scharrer et al., 2017). This may become problematic when laypersons read simplified scientific information on the Internet where anyone can post content regardless of his or her qualifications. Past research reveals that the easiness effect is robust and can be observed even when sources are untrustworthy (Scharrer et al., 2019) or information is tagged as fake news (Scharrer et al., 2022). Furthermore, a recent study by Scharrer et al. (2022) found that an educational video explaining the easiness effect did not mitigate the easiness effect, suggesting that further educational efforts are needed to prevent people from rashly falling for easy-to-understand information.

The present study examined whether combining an educational video that informs laypersons about the easiness effect with a prompt to elaborate the video contents attenuated the easiness effect. In an online experiment with 127 medical laypeople (M=25.10 years, SD=5.41, 58% female), participants first watched a 5-min educational video introducing the easiness effect. After that, half of the participants received an elaboration prompt asking them to write down the implications of the video for their decision making. All participants then read four stimulus texts, two from each comprehensibility condition (easy or difficult), and rated their claim agreement and trust in their own claim decision based on current knowledge, based on further information, and the desire to consult experts.

Results showed that participants were more likely to agree with the claims and had greater confidence in their own decision when they read easy texts than when they read difficult texts. They also had a lower desire to consult experts when they read assertions from easy-to-understand texts, which, in sum, replicates the easiness effect. In addition, participants’ claim agreement was lower and they indicated less trust in their own claim decision based on further information when they responded to an elaboration prompt than when they did not. However, the addition of an elaboration prompt did not mitigate the persuasive advantage of easily comprehensible scientific information, as there was no significant comprehensibility×elaboration prompt interaction.

In line with previous research, the results underline the robustness of the easiness effect. The limited effect of the elaboration prompt suggests that additional educational interventions are needed to reduce the easiness effect of science popularization and to promote critical evaluation skills in the public.

Feedback can have a pivotal influence on writing performance and interest, but the effects are heterogenous. Individual students’ receptivity to feedback and situational perceptions of feedback usefulness could explain the heterogeneity but evidence is missing. We present an experimental study (N=1382 secondary students) in which we investigated the effects of feedback on changes in interest and achievement – with a particular focus on student’s receptivity to feedback and feedback perceptions – in written argumentation. Our results indicate that feedback effectiveness depends on students’ individual receptivity to feedback. Specifically, the effect of feedback receptivity on student's interest change was mediated by the perception of feedback usefulness. We discuss the significance of student characteristics to understand the heterogeneity in effects of feedback.

Feedback can have a pivotal influence on writing performance (Graham et al., 2015) and interest (Rakoczy et al., 2019), but the effects are heterogenous and sometimes negative (Wisniewski et al., 2020). Feedback research attempted to explain the heterogeneity with feedback characteristics, but different students respond differently to the same feedback. Therefore, recent discussions shifted attention to student characteristics to explain heterogeneity (Lipnevich & Panadero, 2021). Feedback models assume individual student characteristics, such as the four dimensions of receptivity to feedback (Lipnevich et al., 2021; Panadero & Lipnevich, 2022), and situational perceptions of feedback, like the perceived usefulness of a particular feedback (Van der Kleij & Lipnevich, 2021), to influence feedback effectiveness. Students who are receptive to feedback tend to engage with feedback, internalize it, and use it to improve their performance (Lipnevich & Lopera-Oquendo, 2022). Perceiving feedback as useful can help students feel more competent and succeed in their tasks, leading to increased interest and achievement (see Harks et al., 2014). Thus, we assume that feedback receptive students may experience positive changes in interest and achievement – potentially via situational perceptions of feedback usefulness.

Method

Our sample included 1382 secondary school students (Mage = 16.43, SD = 1.46, age range = [14, 21]; 42% females, 35% males, 5% other, 18% missing) from ninth to 13^th grade in Germany. The experimental study had a five level between-subject design (see Figure 1 for the procedure).

Results and Significance

Results presented in Figure 2 show that students who are generally more receptive to feedback (on all dimensions) reported higher levels of feedback usefulness. Moreover, students who perceived the feedback as useful showed positive changes in situational interest. Students scoring high on three receptivity dimensions had positive changes in situational interest via perceived feedback usefulness. Thus, feedback effectiveness depends on dimensions of feedback receptivity as these lead to increased perceptions of feedback usefulness and ultimately result in positive changes in situational interest. Our study emphasizes the significance of considering the combination of individual and situational student characteristics – receptivity to feedback and the perception of usefulness - to understand the heterogeneity in the effects of feedback.