Peer-Feedback hat sich in empirischen Studien als effektive Lernmethode erwiesen (z.B. Baker, 2016; Huisman et al., 2019). Die Vorteile von Peer-Feedback bestehen dabei darin, dass die Studierende sich aktiv am Lernprozess beteiligen und somit ihren eigenen Wissens- und Kompetenzerwerb steigern können (Double et al., 2020; Li et al., 2020). Der Peer-Feedback-Prozess besteht aus vier Schritten (Kollar & Fischer, 2010): Ausarbeitung, Feedbackgabe, Feedbackrezeption und Revision. Der Forschungsstand zeigt jedoch, dass Peer-Feedback instruktional unterstützt werden muss, damit die Potenziale dieses Ansatzes tatsächlich zum Tragen kommen (Carless & Boud, 2018; Lui & Andrade, 2022). Instruktionale Unterstützungsmaßnahmen können zum einen dahingehend unterschieden werden, ob sie bestimmte Peer-Feedback-Prozesse während des konkreten Lernprozesses prompten (z.B. in Form von Rubrics zur Bewertung erhaltenen Peer-Feedbacks) oder ob sie bereits vor dem Peer-Feedback-Prozess im Sinne eines Trainings präsentiert werden. Zudem kann unterschieden werden, ob instruktionale Maßnahmen mit oder ohne Hilfe von Online-Technologien realisiert werden, wobei Online-Technologien Potenziale insbesondere hinsichtlich einer asynchronen Nutzung und der Möglichkeit, die Aufgaben ohne Zeitdruck zu bearbeiten, zugeschrieben werden. Diese instruktionalen Unterstützungsmaßnahmen können positive Effekte auf die Feedbackqualität sowie auf die Leistung haben (z.B. Sluijsmans et al., 2002; Zheng et al., 2020). Es ist jedoch noch unklar, welche Art von instruktionaler Unterstützung (Scaffolding) für welche Phase des Peer-Feedback-Prozesses am effektivsten ist, um entsprechende Effekte zu erzielen. Vor diesem Hintergrund untersucht der vorliegende Beitrag mittels metaanalytischer Verfahren, inwiefern sich (a) die Effekte unterschiedlicher instruktionaler Unterstützungsmaßnahmen (Scaffolds) auf die Feedbackqualität, die Leistung und weitere für das Lernen bedeutsame Outcomes voneinander unterscheiden, inwiefern sich (b) die Effekte von Online-Technologien im Gegensatz zu Offline-Fördermaßnahmen unterscheiden, und inwiefern sich (c) ähnliche oder unterschiedliche Effekte einzelner Maßnahmen in Abhängigkeit von der jeweiligen Peer-Feedback-Phase zeigen, in der sie eingesetzt werden. Dabei stellen die Feedbackgabe und die Feedbackrezeption die Kernprozesse dar, weswegen der Fokus auf der Förderung dieser beiden Phasen gelegt wird.

Um passende Studien zur Beantwortung der Fragestellung zu finden, wurde eine systematische Literaturrecherche in mehreren Suchmaschinen (Web of Science, Psyndex, Pubmed, ERIC, PsycArticles, Mendeley, PubPsych) durchgeführt. Nach dem Ausschluss von Duplikaten, nicht-experimentellen Studien sowie Arbeiten, die nicht auf Englisch publiziert wurden, gingen N=54 Studien mit insgesamt N=5925 Lernenden in die Analysen ein. Diese Studien wurden mit Hilfe eines eigens für unsere Untersuchung konzipierten Analyseschemas daraufhin kodiert, welche Arten von instruktionaler Unterstützung in ihnen genutzt und in welcher Phase des Peer-Feedback-Prozesses sie eingesetzt wurden. Mit Blick auf die Arten instruktionaler Unterstützung wurde einerseits zwischen Prompts und Trainings unterschieden und zum anderen differenziert, ob die Maßnahmen mithilfe von Online-Technologien umgesetzt wurden oder nicht. In Anlehnung an Kollar und Fischer (2010) wurde zudem kodiert, welche Phasen des Peer-Feedback-Prozesses jeweils berücksichtigt wurden. 10% aller Studien wurden von zwei unabhängigen Kodiererinnen mit guter bis sehr guter Reliabilität beurteilt (Gwet‘s AC1 = 0.62 bis 1.00).

Erste deskriptive Ergebnisse zeigen, dass sich die Präsentation instruktionaler Unterstützung in 90,74% (n=49) der eingeschlossenen Studien auf den Prozess der Feedbackgabe bezog, aber nur in 51,85% (n=28) auf die Feedbackrezeption. Sowohl die Feedbackgabe (40,82%, n=20) als auch die Feedbackrezeption wurden hauptsächlich mithilfe von Online-Tools (71,43%, n=20) unterstützt. Für den Vergleich von Prompts und Trainings zeigt sich, dass die instruktionale Unterstützung in 42,86% (n=21) der Studien aus Prompts und in 22,45% (n=11) der Studien aus Trainingsmaßnahmen bestand. Außerdem zeigen erste explorative Analysen überwiegend positive Effekte der eingesetzten instruktionalen Maßnahmen auf die untersuchten abhängigen Variablen; allerdings ist hierbei eine recht hohe Varianz zwischenden Studien, den unterschiedlichen Arten instruktionaler Unterstützung und zwischen den durch die Maßnahmen angezielten Peer-Feedback-Phasen zu beobachten. Tiefergehende Analysen werden auf der Konferenz vorgestellt.

Die Bedeutung von Feedback für Lernprozesse von Schüler:innen konnte in zahlreichen Studien gezeigt werden (Hattie, 2009; Hattie & Timperley, 2007). Der Grad der Wirksamkeit hängt jedoch von der konkreten Ausgestaltung, wie z.B. der Darstellungsform und den Inhalten, ab (Marschner, 2011; Narciss, 2006, 2018). Die Einbindung von Feedback in digitalen Lernumgebungen wird seit zwei Jahrzehnten vermehrt untersucht, dennoch liegen zu dessen Gestaltung nur wenige Befunde vor (Maier & Klotz, 2022). Bisher konnte gezeigt werden, dass unmittelbares Feedback Lernprozesse besser unterstützt als verzögertes Feedback, jedoch zugleich den Lernprozess stört (Vasilyeva et al., 2007). Ob jedoch eine interne Evaluation, also von den Lernenden ausgehend (Nelson, Ehren & Godfrey, 2015), oder ein externes Feedback, z.B. also von externen Feedback-Quellen ausgehend (Hellrung & Hartig, 2013), wirksamer für den Lernprozess ist, bleibt offen.

Simulationen bieten im Rahmen von Lernprozessen die Möglichkeit, digitales Feedback zu integrieren. Sie werden zum Beispiel zur Analyse und Förderung von Fehlersuchprozessen in technischen Systemen eingesetzt (Abele, Behrendt, Weber & Nickolaus, 2016; Schaper, Hochholdinger & Sonntag, 2003; Walker et al., 2016). Mithilfe einer Simulation einer Automatisierungsanlage konnten Walker et al. (2016) zeigen, dass ein Drittel der Elektroniker:innen für Automatisierungstechnik im 3. Ausbildungsjahr, trotz vorhandenem Fachwissen, Schwierigkeiten beim analytischen Problemlösen (aPL) haben. Schaper et al. (2003) haben erfolgreich ein Konzept für die Förderung des Problemlösens von Auszubildenden, basierend auf dem Cognitive Apprenticeship Ansatz (Brown, Collins & Duguid, 1989) getestet, wobei ebenfalls eine Simulation eingesetzt wurde.

Basierend auf den Befunden der Feedback-Forschung ergibt sich die Frage, ob ein aktiv angefordertes Feedback, also basierend auf der Eigenwahrnemung von Unterstützungsbedarf das aPL stärker unterstützt als ein Feedback, dass von extern bestimmten Sollwerten ausgelöst wird.

Zu diesem Zweck wurde die bei Walker et al. (2016) zugrunde liegende Simulation SINA im Rahmen des Projekts TechKom (Prof. Dr. Felix Walker, UHH) u.a. um zwei Feedback-Varianten erweitert. Das anfrage-basierte Feedback (in Form von gestuften Lernhilfen) muss durch die Nutzer:innen eigenständg aufgerufen werden und ist demnach von internen Soll-Werten abhängig, während das trigger-basierte Feedback (in Form eines Chats) von ihren Aktionen, also von externen Soll-Werten, abhängig angezeigt wird. Im Rahmen des Projektes DEFINE wird der Einfluss der beiden Feedback-Modalitäten auf die Wirksamkeit von digitalem Feedback in Simulationen im Rahmen eines Diagnosetrainings für Auszubildende untersucht.

Zur Testung der Hypothese „Auszubildende, die anfrage-basiertes Feedback erhalten, erlangen höhere aPL-Kompetenzen als Auszubildende mit trigger-basiertem Feedback“ wurde ein Experimental-Kontrollgruppen-Pre-Post-Testdesign eingesetzt. Im Pre- und Posttest, sowie der Intervention erfolgte die Bearbeitung von jeweils drei Fehlerfällen von denen die Ursache je einmal im Programm, der Elektrik und der Mechanik lag. Feedback wurde lediglich in der Intervention bereitgestellt.

Im Rahmen dieses Beitrags wird eine Teilstichprobe von n = 74 Auszubildenden aus 4 Schulen betrachtet, die, randomisiert zwischen beiden Feedbackarten, an einem zweitägigen Training teilgenommen haben. Die Erhebung hat zwischen März und Juli 2023 stattgefunden, wobei das Training aus zwei Terminen je Schulklasse bestand, die innerhalb von zwei Wochen stattgefunden haben.

Erwartungskonform fiel der Gruppenvergleich im Eingangstest nicht signifikant aus (t (71) = 1.315, p > .05). Unabhängig von der Art des erhaltenen Feedbacks, zeigt sich eine Wirksamkeit des Diagnosetrainings (t (72) = 6.58, p < .001, d = .77). Doch die ersten Analysen zeigen, dass entgegen der angenommenen Hypothese „Auszubildende, die anfrage-basiertes Feedback erhalten, erlangen eine höhere aPLK als Auszubildende mit trigger-basiertem Feedback“ im Posttest kein Unterschied zwischen den Gruppen in der aPLK vorliegt (t (71) = 0.56, p = .29, d = .13). Vertiefende Analysen, z.B. getrennt nach Fehler-Art, stehen noch aus. Aufgrund der starken Indizien für die Wirksamkeit des Trainings, das die grundsätzliche Zuschreibung der Wirksamkeit von Feedback repliziert, bieten sich weitere Untersuchungen zu den Feedbackmodalitäten an.

Theoretischer Hintergrund

Schüler:innen zeigen in Experimentiersituationen, insbesondere bei der Anwendung der Variablenkontrollstrategie (VKS), Lernschwierigkeiten, welche angepasste Lernprozesse erfordern (Schwichow et al., 2016). Das Geben von schriftlichem Feedback hat sich in diesem Kontext als effektive Lernunterstützung erwiesen. Wollenschläger et al. (2011) konnten herausstellen, dass Feedback, welches die Kompetenzen der Schüler:innen anhand von Kriterien adressiert, wirksam ist. Hild et al. (2020) konnten belegen, dass Schüler:innen von Feedback zum aktuellen Leistungsstand profitieren. Ropohl und Scheuermann (2018) konnten zeigen, dass Feedback, welches Informationen zum Lernziel, zum Lernstand und zu den nächsten Schritten enthält zu einem Lernzuwachs bei den Schüler:innen führt. Dies zeigt, dass Feedback differentiell wirkt und keine Feedbackversion einer anderen grundlegend überlegen ist. Des Weiteren klingt an, dass kognitive Konstrukte, wie der Cognitive Load, beim Lernen mit Feedback eine wichtige Rolle für den Lernerfolg spielen (Sweller, 1988). Basierend auf dieser Annahme bietet die Cognitive Theory of Multimedia Learning (CTML; (Mayer, 2001) für die Entwicklung von Feedback im Sinne von Lernunterstützungsmaterial ein weiteres theoretisches Fundament. Laut der CTML steht ein Kanal für visuell/non-verbal (z.B. Bilder) und einer für auditiv/verbal (z.B. Text) präsentierte Informationen zu Verfügung. Durch die Verknüpfung von Text- und Bildpräsentationen wird die Kapazität des Arbeitsspeichers sensitiv behandelt, was sich positiv auf den Cognitive Load auswirkt.

Fragestellung

FF1: Welchen Effekt haben Nur-Text (NT), Nur-Bild (NB) und Text-Bild (TB) Feedback auf den wahrgenommenen Cognitive Load beim Planen von Experimenten unter Anwendung der VKS?

FF2: Inwiefern wird der Effekt von Feedback auf die Qualität der Experimentplanung unter Anwendung der VKS über den wahrgenommenen Cognitive Load mediiert?

Methode

Um die Forschungsfragen zu beantworten, wurde im Sommer 2023 eine Querschnittserhebung durchgeführt. Es haben N = 290 Schüler:innen aus 9. Klassen nordrhein-westfälischer Gymnasien teilgenommen. Nachdem die Schüler:innen eine fehlerhafte vorgeschriebene Experimentplanung gelesen haben sollte diese mit Hilfe von simuliertem Feedback neu geschrieben werden. Das Feedback wurde randomisiert zugeteilt. Danach wurde der Cognitive Load (Kalyuga et al., 1999; Paas, 1992) sowie diverse Kontrollvariablen erhoben.

Ergebnisse

Die ANOVA zeigt einen signifikanten Unterschied zwischen der eingesetzten Feedbackversion und dem wahrgenommenen Cognitive Load der Schüler:innen, F(3,286) = 10.774, p < .001, partielles η² = .102. Die Schüler:innen, die mit dem Nur-Bild- und Text-Bild-Feedback gearbeitet haben, nehmen einen signifikant niedrigeren Cognitive Load wahr verglichen mit den Schüler:innen, die mit dem Nur-Text oder Kontroll-Feedback gearbeitet haben. Im Rahmen der Mediationsanalyse wurde für die multikategoriale X-Variable eine Dummy-Kodierung (D1, D2, D3) vorgenommen. Die Ergebnisse zeigen, dass die Arbeit mit dem Nur-Bild (D2) und Text-Bild (D3) Feedback zu einem niedrigeren Cognitive Load im Vergleich mit dem Feedback der Kontrollgruppe führt (a₂ = -.68, p < .001; a₃ = -.73, p < .001). Der Cognitive Load der Schüler:innen, die mit dem Nur-Text (D1) Feedback gearbeitet haben unterscheidet sich nicht signifikant von der, der Kontrollgruppe (a₁ = -.22, p = .132). Außerdem liegt ein signifikanter direkter Effekt von Cognitive Load auf die Qualität der Experimentplanung vor (b = -.86, p < .001). Je geringer der Cognitive Load bei der Arbeit mit dem Feedback ist, desto höher ist die Qualität der Experimentplanung. Das Bootstrapping ergibt, dass der Effekt des Feedbacks in der Nur-Bild und Text-Bild Gruppe aber nicht in der Nur-Text Gruppe im Vergleich zum Feedback der Kontrollgruppe auf die Qualität der Experimentplanung partiell über den Cognitive Load vermittelt wird (D₁: a₁b = .19, p = .166, 95% KI [-.06, .48]; D₂: a₂b = .58, p = .002, 95% KI [.24, 1.02]; D₃: a₃b = .63, p = .001, 95% KI [.31, 1.00]) (Hayes, 2018).

Die Ergebnisse dieser Untersuchung zeigen, dass schriftliches Feedback aus einer Kombination von textlichen und bildlichen Informationen bestehen sollte, da seitens der Feedbackempfänger ein niedrigerer Cognitive Load wahrgenommen wird, welcher zudem eine mediierende Funktion ausübt.

Theoretischer Hintergrund

(Peer-)Feedback kann ein wertvoller Faktor für erfolgreiches Lernen und Leisten sein (Hattie & Timperley, 2007; Double et al., 2020), jedoch nur dann, wenn das Feedback effektiv aufgegriffen wird (Van der Kleij & Lipnevich, 2020). Nicht nur Charakteristika des Feedbacks sind dabei bedeutsam, sondern auch individuelle Unterschiede zwischen den Lernenden, die Feedback erhalten. Wie diese Unterschiede mit der Wahrnehmung und Nutzung von Feedback zusammenhängen, ist im Vergleich zu günstigen Charakteristika von Feedback noch wenig untersucht (Winstone et al., 2017). Insbesondere die Analyse von Unterschieden in der Lernmotivation ist ein vielversprechender Ansatz zur Erklärung, wie Lernenden erhaltenes Feedback wahrnehmen und nutzen (Fong & Schallert, 2023; Handley et al., 2011).

Zielorientierungstheorien (z.B. Urdan & Kaplan, 2020) sowie Erwartung-Wert-Theorien (z.B. Wigfield & Eccles, 2000) bieten vielversprechende Erklärungsansätze dafür, wie Lernende mit erhaltenem Peer-Feedback umgehen. Für die positive Wahrnehmung und effektive Nutzung von Feedback sind demnach Masterzielorientierungen (starke Lern- und Aufgabenziele) sowie hohe Wertzuschreibungen zur Aufgabe günstig. Lernende mit einer solchen günstigen Motivationsstruktur sollten mehr Freude in der Revision erleben (Huang, 2011), das Feedback als nützlicher erachten (Rakoczy et al., 2013) sowie adaptiver mit Fehlern umgehen, da sie ihre Fehler eher als Lernchancen betrachten statt als Bedrohung (Grassinger & Dresel, 2017). Zudem ist anzunehmen, dass Lernende mit starker Masterzielorientierung sowie hoher Wertzuschreibung sich bei der Umsetzung des Feedbacks mehr anstrengen (Wigfield et al., 2017).

Da Peer-Feedback qualitativ stark variieren kann (Bürgermeister et al., 2021), implementierten wir eine Intervention, in der ein Fokus auf die Erstellung von motivational günstigem Feedback gelegt wurde.

Fragestellung

Demnach untersuchten wir, welche Rolle individuelle, wertbezogene Charakteristika der Motivation (Lern- und Aufgabenziele, Wertzuschreibungen) für die Wahrnehmung und Nutzung von Peer-Feedback mit oder ohne Intervention für motivational günstiges Peer-Feedback spielen. Dabei untersuchen wir die Frage, welchen Einfluss die Motivation der Lernenden in der Feedbackrezeption jenseits der Intervention auf das Erleben und Verhalten beim Erhalt von Peer-Feedback hat.

Methode

Für diese Studie bearbeiteten 366 Studierende (294 weiblich, M_Alter = 20.2; SD_Alter = 2.55) in einem Feldexperiment schriftliche Aufgaben in einem Hochschulkurs und überarbeiteten diese mithilfe von Peer-Feedback. Nach einer Baseline-Befragung, in der Lern- und Aufgabenziele sowie Wertzuschreibungen für die wöchentlichen Aufgaben erfasst wurde, teilten wir die Studierenden randomisiert in zwei Gruppen ein (jeweils mit oder ohne Intervention mit Fokus auf motivationale Qualität im Peer-Feedback). Nachdem sie das Peer-Feedback erhalten und ihre Aufgabe überarbeitet hatten, gaben die Studierenden an, für wie nützlich sie das Feedback halten und inwiefern sie bei der Revision Freude empfanden (Feedbackwahrnehmung). Außerdem berichteten sie ihren adaptiven Umgang mit Fehlern und ihre Anstrengung in der Revision (Feedbacknutzung). Zudem erfassten wir das Ausmaß der Revisionen quantitativ mithilfe computerbasierter Vergleiche.

Ergebnisse

Strukturgleichungsmodelle zeigten, dass der motivationale Fokus des Feedbacks (d.h. die Zuordnung zur Experimental-/Kontrollgruppe) keinen Einfluss auf Feedbackwahrnehmung oder -nutzung hatte. Stattdessen zeigten Lern- und Aufgabenziele sowie intrinsischer, aufgabenbezogener und instrumenteller Wert der Aufgabe wie erwartet positive, statistisch signifikante Effekte auf die wahrgenommene Nützlichkeit des Feedbacks, die Freude während der Revision, den adaptiven Umgang mit Fehlern, die Anstrengung sowie das Ausmaß in der Revision.

Die Ergebnisse weisen darauf hin, dass im Einsatz von Peer-Feedback nicht (nur) die Qualität des Feedbacks gefördert werden sollte (Ansatz bei den Feedbackgebenden), sondern dass insbesondere individuelle Aspekte der Motivation der Studierenden, die das Feedback erhalten, in den Blick genommen und gefördert werden sollten, da sowohl das positive Erleben in der Revision als auch lernbezogene Aspekte (z.B. Umgang mit Fehlern) sowie die objektive Leistung (Revisionsumfang) von diesen beeinflusst werden. Dabei erscheint es hilfreich, Lern- und Aufgabenziele zu fördern, beispielsweise über ein Priming direkt vor dem Feedbackerhalt (Urdan, 2010). Insbesondere scheint es demnach empfehlenswert, für Studierende den Wert von Peer-Feedback und Überarbeitung für Lernen und Leisten hervorzuheben.