| Session | ||
6-02: Die Herausforderung der empirischen Erfassung von Nutzungsprozessen als Teil von Unterrichtsqualität: Chancen und Grenzen unterschiedlicher Ansätze
| ||
| Presentations | ||
Symposium
Die Herausforderung der empirischen Erfassung von Nutzungsprozessen als Teil von Unterrichtsqualität: Chancen und Grenzen unterschiedlicher Ansätze Inwiefern Unterricht lernwirksam ist, hängt sowohl von unterrichtlichen Lerngelegenheiten als auch deren Nutzung durch die Schüler*innen ab. Diese Auffassung hat sich in der quantitativ-empirischen Unterrichtsforschung mit der Etablierung der Angebots-Nutzungs-Modelle durchgesetzt, die den Unterricht als interaktive Ko-Konstruktion von Lehrpersonen, Schüler*innen und dem Unterrichtsgegenstand konzeptualisieren (Vieluf et al., 2020). Um die Wirksamkeit von Unterricht nachvollziehen zu können, ist es demnach wesentlich, schüler*innenseitige Nutzungsprozesse zu verstehen. Zeitgleich gibt es über allgemeine Aussagen zur Bedeutsamkeit von Nutzungsprozessen hinaus bislang erstaunlich wenig empirische Forschung zu diesen Prozessen. Deren Erfassung stellt in verschiedener Hinsicht eine Herausforderung dar: So sind kognitive Verarbeitungsprozesse in der Unterrichtssituation nicht direkt beobachtbar und beobachtbare Aspekte der Nutzung, wie eine aktive Beteiligung am Unterricht, ermöglichen nur indirekt Rückschlüsse auf die Nutzung der Lernenden. Dieses Symposium setzt an diesem Desiderat an und beleuchtet Möglichkeiten der empirischen Erfassung von Nutzungsprozessen aus dreierlei Richtungen: mittels Schüler*inneneinschätzungen, mittels Beobachtungen sowie mittels Eye-Tracking. Dazu nutzen die Beiträge jeweils empirische Beispiele, anhand derer sie die Chancen und Grenzen der jeweiligen Herangehensweise in den Blick nehmen. Der erste Beitrag greift die Möglichkeit der Erfassung von Nutzungsprozessen durch Selbstauskünfte der Schüler*innen auf. Hierfür werden zwei unterschiedliche Fragebogenkonzeptionen vorgestellt, die sich sowohl hinsichtlich der Itemformulierungen, des Zeitpunktes und der Häufigkeit des Einsatzes sowie der dahinterliegenden theoretischen Struktur von Nutzung unterscheiden. Auf der Grundlage der Ergebnisse in Bezug auf den ersten Fragebogen, in dem die Nutzung parallel zu den gebräuchlichen angebotsbezogenen Unterrichtsqualitätsdimensionen skaliert wurde, wird ein theoretisches Modell zu Nutzungsprozessen vorgestellt, auf dem die Konzeption des zweiten Fragebogens aufbaut. Die unterschiedlichen Fragebogenkonzeptionen und diesbezügliche Befunde werden kontrastierend dargestellt und diskutiert. Mit einer videobasierten Herangehensweise zur Untersuchung von behavioralen Nutzungsprozessen der Schüler*innen beschäftigt sich der zweite Beitrag. In zwei Studien wird die Nutzung durch hoch-inferente und niedrig-inferente Ratings untersucht. Die Ergebnisse zeigen, dass Unterrichtsstörungen und das Engagement auf Klassenebene sowie schüler*innengesteuerte Beteiligungsprozesse auf Individualebene durch Beobachtungen reliabel und valide erhoben werden können. Zudem werden signifikante Zusammenhänge zwischen der beobachteten Schüler*innenbeteiligung und der selbstberichteten Nutzung durch die Lernenden vorgestellt. Daran anschließend thematisiert der dritte Beitrag die Erfassung von Aufmerksamkeit als Aspekt der Nutzung durch die Analyse des Blickverhaltens der Schüler*innen. In der Studie wurde das Blickverhalten der Lernenden in einem virtuellen Klassenzimmer aufgezeichnet und in experimenteller Manipulation im Klassenzimmer untersucht, inwiefern die Aufmerksamkeit durch die eigene Sitzposition sowie das Meldeverhalten von Mitschüler*innen beeinflusst wird. Die Ergebnisse weisen darauf hin, dass die Aufmerksamkeit besonders dann auf die sich meldenden Schüler*innen gerichtet wird, wenn sich besonders viele oder besonders wenige melden. Überdies zeigen sich negative Zusammenhänge zwischen dem wahrgenommenen Meldeverhalten und dem berichteten Interesse. In der Diskussion werden die Möglichkeiten und Herausforderungen der unterschiedlichen Herangehensweisen zusammenfassend vor dem Hintergrund des im ersten Beitrag vorgestellten theoretischen Modells beleuchtet und Implikationen für die weitere empirische Erforschung von Nutzungsprozessen abgeleitet. Presentations of the Symposium Erfassung der Nutzung von Lerngelegenheiten im Unterricht aus Schüler*innensicht Theoretischer Hintergrund Unterricht wird als Ko-Konstruktion von Lehrpersonen, Schüler*innen und dem Unterrichtsgegenstand verstanden (Vieluf et al., 2020). Unterrichtsangebote führen dabei nicht zwangsläufig zu Lernfortschritten, da Lernerfolge unter anderem über die Nutzung durch die Lernenden mediiert werden. Bislang lag der Fokus der Unterrichtsqualitätsforschung auf der Untersuchung von Angebotsdimensionen, die mit kognitiven sowie motivational-emotionalen Wirkungen bei den Schüler*innen zusammenhängen, die Struktur der Nutzungsprozesse ist demgegenüber wenig untersucht. Schüler*inneneinschätzungen gelten nebst der Beobachtenden- und Lehrpersonenperspektive als bedeutsam zur Erfassung von Unterrichtsqualität (Lenske & Praetorius, 2020). Dabei stellen Fragebogen eine häufig eingesetzte und forschungsökonomisch effiziente Erhebungsmethode dar. Bisherige Instrumente erheben meist nur das Unterrichtsangebot (z.B. Bertram, 2019; Ferguson, 2012). Wird auch die Nutzung erfasst, werden größtenteils Items für das Angebot und die Nutzung ohne offensichtliche Systematik kombiniert (z.B. Gärtner et al., 2022; Rakoczy et al., 2022), was spezifische Aussagen über die Nutzungsprozesse erschwert. Nur einzelne Fragebogen fokussieren ausschließlich die individuellen Nutzungsprozesse (z.B. Chandra Handa, 2020; Jansen et al., 2022), wählen als Beurteilungszeitraum allerdings mehrere Stunden oder den Unterricht allgemein, was für die Schüler*innen einen unklaren Bezugspunkt darstellen kann. Fragestellung Dieser Beitrag beschäftigt sich in zwei Teilstudien mit den Fragen (1) welche theoretische Struktur den Nutzungsprozessen zugrunde liegt und (2) welche Chancen und Schwierigkeiten mit der fragebogenbasierten Erfassung von Nutzung einhergehen. Hierfür werden zwei Herangehensweisen mit Schüler*innenfragebogen kontrastiert. Teilstudie 1 Methode Basierend auf der umfassenden, siebendimensionalen Konzeptualisierung von Unterrichtsqualität nach Praetorius und Charalambous (2018) wurde ein Beurteilungsinstrumentarium für Unterrichtsqualität entwickelt, das neben dem Angebot mittels Beobachtungsbogen die Nutzungsperspektive mittels Schüler*innenfragebogen erfasst (Rogh et al., 2020). Der Fragebogen deckt analog zum Angebot sieben Qualitätsdimensionen (Klassenführung, motivational-emotionale Unterstützung, Auswahl und Thematisierung der Inhalte, kognitive Aktivierung, Unterstützung des Konsolidierens, Beurteilung und Feedback, Umgang mit Heterogenität) mit je 3-4 Items ab. Deren Formulierung verweist durchweg auf die individuelle Nutzung der Schüler*innen und nimmt jeweils eine ganze Unterrichtslektion in den Blick (z.B. Ich habe gut zugehört). Das Instrumentarium wurde an N=18 Deutschschweizer Primar- und Sekundarschulen (N=112 Unterrichtsstunden; N=1214 Schüler*innen) eingesetzt. Die siebendimensionale Struktur des Fragebogens wurde in Mplus mittels konfirmatorischer Faktoranalysen gegen ein eindimensionales Modell getestet. Ergebnisse Die Fit-Statistiken zeigten für das eindimensionale Modell eine unzureichende Passung (χ2=5213.21; df=231; p<.001; CFI=.86; RMSEA=.06). Das Sieben-Faktoren-Modell wies signifikant bessere Werte auf (χ2=534.96; df=188; p<.001; CFI=.93; RMSEA=.05). Jedoch fallen im siebendimensionalen Modell die quadrierten Faktorinterkorrelationen höher aus als die mittleren quadrierten Ladungen (Fornell & Larcker, 1981). Zudem liegen die Itemladungen bei der Dimension kognitive Aktivierung unter .50. Diese Ergebnisse deuten darauf hin, dass die Nutzung unter Verwendung dieser Items weder parallel zum Angebot noch einfaktoriell modelliert werden kann. Teilstudie 2 In der zweiten Teilstudie wird ausgehend von Schlussfolgerungen aus der ersten Untersuchung eine alternative theoretische Herangehensweise erprobt. Unter Bezug auf bestehende Informationsverarbeitungsmodelle (z.B. Klauer & Leutner, 2012) wurde ein theoretisches Modell für individuelle Nutzungsprozesse erarbeitet, das die Aufmerksamkeit und Verarbeitung sowie emotional-motivationale und metakognitive Prozesse umfasst. Es wird davon ausgegangen, dass diese Aspekte unabhängig vom Lernangebot in jeder Unterrichtssituation erfolgen und für die Fragebogenerhebung den Lernenden kognitiv zugänglich sind. Methode Auf dieser theoretischen Grundlage wurde ein Fragebogen mit sechs bipolaren Items (z.B. motiviert – unmotiviert) entwickelt. Diese Items werden zunächst in einer qualitativen Studie mittels experimentell variierten Videovignetten und kognitiven Interviews an N=18 Schüler*innen der Primar- und Sekundarstufe getestet, bevor eine Pilotierungserhebung in N=6 Schulen mittels Experience Sampling in unterschiedlichen Unterrichtssituationen geplant ist. Die wiederholte Messung innerhalb einer Unterrichtsstunde gewährt zusätzlich Einblick in den zeitlichen Verlauf von Nutzungsprozessen sowohl auf Individual- wie auch Klassenebene (Zirkel et al., 2015). Ergebnisse Erste Ergebnisse dieser Teilstudie werden im Beitrag vorgestellt. In der Gesamtdiskussion werden Möglichkeiten und Herausforderungen des fragebogenbasierten Zugangs zu Nutzung beleuchtet und Schlüsse für die weitere Verwendung von Schüler*innenfragebogen zu deren Erfassung gezogen. Videobasierte Erfassung von Nutzungsprozessen Theoretischer Hintergrund Geht es um die „Nutzung“ des Unterrichtsangebots durch die Schüler*innen, so sind damit kognitive Prozesse gemeint, die sowohl Lernen einschließen als auch das motivationale und emotionale Erleben der Schüler*innen (Vieluf et al. 2020, S. 70). In der internationalen Literatur werden solche Prozesse meist als „Engagement“ diskutiert (Rimm-Kaufmann et al., 2015), wobei dort neben kognitivem und emotionalem auch ein behaviorales Engagement (Troll et al., 2020) konzeptualisiert ist. Wenn Nutzungsprozesse objektiv erfasst werden sollen (also nicht durch Schüler*innen-Selbstberichte), so stellt sich die Frage nach validen Indikatoren, an denen Nutzungsprozesse von außen festgemacht und operationalisiert werden können. Die „aktive Beteiligung“ von Schüler*innen am Unterrichtsgespräch ist beispielsweise als ein möglicher Indikator für (inner-psychische) Nutzungsaktivitäten diskutiert worden (Decristan et al., 2020; Decristan, Jansen & Fauth, 2023). Im Beitrag werden empirische Befunde zu zwei Ansätzen berichtet, die jeweils versuchen, Nutzungsprozesse mittels Videobeobachtungen zu erfassen: Einmal mittel high-inference Ratings auf der Klassenebene (Studie 1) und einmal mittels Kodierungen der schüler*innengesteuerten Beteiligung am Unterricht auf der Individualebene (Studie 2). Studie 1: Hoch-inferente Ratings der Nutzung des Unterrichtsangebots auf der Klassenebene Fragestellung Lässt sich das Nutzungsverhalten von Schülerinnen und Schülern auf der Klassenebene mittels high-inference Ratings reliabel und valide erfassen? a.) Lässt sich in den Ratings eine hinreichend hohe Übereinstimmung erzielen? (Reliabilität) b.) Welche Zusammenhänge zeigen sich zwischen Ratings der Nutzungsindikatoren und bereits bestehenden Ratings ähnlicher Indikatoren? (Validität) Methode N = 10 trainierte Rater*innen beurteilten zehn Unterrichtssequenzen aus der TALIS-Videostudie (5 Minuten Clips). Dieselben Rater:innen schätzten danach N = 34 Unterrichtsvideos (45 Minuten) aus der Pythagoras-Studie ein. Als Übereinstimmungsmaß wird der Average Absolute Deviation Index (ADm) berechnet, der die mittlere Abweichung vom Gruppenmittelwert in der Metrik der Skala (vierstufig) angibt (d.h. niedrige Werte = hohe Übereinstimmung). Ergebnisse Die mittlere Übereinstimmung war zufriedenstellend für die Items Engagement der Schülerinnen (ADm = .43) und Störungen (ADm = .20). Auch die Übereinstimmung mit Masterratings anhand von fünf Videos war gut (ADm = .36 bzw. .19). Insgesamt fallen die Beobachtungsübereinstimmungen für die Items, die auf das Verhalten der Schüler*innen zielen, besser aus als für Items, die auf das Verhalten der Lehrkraft zielen. Es zeigten sich darüber hinaus signifikante Korrelationen mit den korrespondierenden Ratingskalen aus der Pythagoras Studie (r = .47 für Engagement und r = .78 für Störungen). Die Ergebnisse können als Hinweis interpretiert werden, dass schüler*innenseitige Nutzungsprozesse auch mit high-inference Videoratings erfasst werden können. Studie 2: Niedrig-inferente Kodierungen der Nutzung des Unterrichtsangebots auf der Individualebene Fragestellung Lässt sich das Nutzungsverhalten von Schülerinnen und Schülern auf der Individualebene mittels der Kodierung von Beteiligungsprozessen erfassen? a.) Welche Zusammenhänge der schüler*innengesteuerten Beteiligung zeigen sich mit der selbstberichteten Nutzung des Unterrichtsangebots? b.) Welche Zusammenhänge zeigen sich zwischen der Beteiligung der Schüler*innen und deren Leistungsentwicklung? Methode Die Stichprobe setzte sich aus N = 932 Schüler*innen aus 40 Klassen der TALIS-Videostudie zusammen. Kodiert wurden in 10 Minuten Klassengespräch pro Klasse N = 855 Beteiligungen und N = 3850 weitere Meldungen. Ergebnisse In Mehrebenen-Regressionsanalysen hing die schüler*innengesteuerte Beteiligung (Meldung und verbaler Beitrag) auf der Ebene innerhalb von Klassen signifikant mit den selbstberichteten Nutzungsindikatoren Time on task (β = .14, SE = .03), kognitive Aktiviertheit (β = .14, SE = .04) und Selbstbestimmungserleben (β = .17, SE = .04) zusammen. Die schüler*innengesteuerte Beteiligung hing signifikant mit der Leistung im Post-Test zusammen (β = .11, SE = .04). Auch hier weisen die Ergebnisse darauf hin, dass mit den Videokodierungen individueller Beteiligungen valide Nutzungsindikatoren erhoben werden können. Fazit Die Grenzen der videobasierten Erfassung von – per Definition innerpsychischen – Nutzungsprozessen liegen auf der Hand. Allerdings kann auf Grundlage der vorliegenden Befunde argumentiert werden, dass das behaviorale Engagement der Schüler*innen durchaus als valider Indikator für Nutzungsprozesse erfasst und interpretiert werden kann. Aufmerksamkeit von Lernenden im virtuellen Klassenzimmer Die Frage wie Schülerinnen und Schüler ihre Aufmerksamkeit während des Lernens im Klassenzimmer steuern, auf welche Ereignisse sie ihre Aufmerksamkeit richten und welche Auswirkungen dies auf das Lernergebnis hat, ist naturgemäß schwer zu beantworten. Klassische Untersuchungsansätze, wie Befragungen oder auch Unterrichtsbeobachtungen erlauben häufig keine ausreichend genaue Auflösung, um solche Prozesse im Klassenzimmer zu betrachten (Goldberg et al., 2021). Demgegenüber bieten Blickbewegungsmessungen eine vielversprechende Möglichkeit, um die Aufmerksamkeit von Lernenden verhaltensnah zu beschreiben und die Nutzung der verschiedenartigen Informationen durch Lernende im Klassenzimmer zu untersuchen (Jarodzka, Skuballa & Gruber, 2021). Vor diesem Hintergrund wurde ein virtuelles Klassenzimmer entwickelt (Hasenbein et al., 2023), welches es erlaubt die Aufmerksamkeit von Lernenden anhand von Blickbewegungsdaten im Rahmen eines standardisierten Untersuchungssettings zu untersuchen. Es wurde betrachtet, (a) inwiefern die Sitzposition der Lernenden einen Einfluss auf die Aufmerksamkeitslenkung der Lernenden hatte, (b) inwiefern Lernende ihre Aufmerksamkeit auf sich meldende Mitschülerinnen und Mitschüler, die Lehrkraft oder die Tafel richteten und (c) welche Konsequenzen sich daraus für das Lernerleben der Lernenden ergaben. Zudem wurde geprüft, inwieweit interindividuelle Unterschiede bezüglich der Zielorientierung von Lernenden die Aufmerksamkeitslenkung beeinflussten. Methode Genutzt wurden Daten von N = 381 Schülerinnen und Schülern der sechsten Klassenstufe von fünf Gymnasien in Baden-Württemberg. Die Schülerinnen und Schüler erlebten im virtuellen Klassenzimmer aus der Schülerperspektive eine etwa 12-münitige Unterrichtseinheit zum Thema „Sequenzen und Schleifen beim Programmieren“, in der eine virtuelle Lehrkraft wiederholt Fragen mit einem gehobenen Schwierigkeitsniveau an die Klasse richtete. Vor Beginn der Studie wurden die Schülerinnen und Schüler unterschiedlichen Studienbedingungen zugewiesen, die sich im Hinblick auf die Sitzposition (vorn vs. hinten) und den Anteil sich meldender Mitschülerinnen und Mitschüler (20% bis 80%) unterschieden. Zur Analyse der Blickbewegungen wurden Netzwerkanalysen durchgeführt. Darüber hinaus wurden die teilnehmenden Schülerinnen und Schüler zum Ausmaß ihrer Zielorientierung (Gibbons & Buunk, 1999) im Unterricht (vor Beginn der VR-Unterrichtseinheit) und zum Interesse am Thema (nach Ende der Stunde) befragt. Zudem wurde ein Wissenstest zu den in der Unterrichtseinheit behandelten Inhalten durchgeführt. Ergebnisse und Diskussion Die Ergebnisse zeigten erstens, dass die Sitzposition einen Einfluss auf die Aufmerksamkeitslenkung hatte. Studienteilnehmende in einer vorderen Reihe richteten ihre visuelle Aufmerksamkeit eher auf die Lehrkraft und die Tafel, während Teilnehmende in einer hinteren Reihe stärker die sich meldenden Mitschülerinnen und Mitschüler in den Blick nahmen. Besonders stark ausgeprägt waren die Unterschiede bezüglich der Wahrnehmung männlicher Mitschüler. Zweitens zeigten die Ergebnisse, dass die Wahrnehmung von Meldungen abhängig vom Anteil der sich meldenden Schülerinnen und Schüler war. Meldungen wurden vor allem dann registriert, wenn sich entweder wenige (d.h. 20%) oder viele Mitschülerinnen und Mitschüler (80%) meldeten. Darüber hinaus war der Anteil wahrgenommener Meldungen negativ mit dem Interesse an der Unterrichtseinheit assoziiert (r = -.14, p < .05). Wiederum waren die Zusammenhänge besonders deutlich, wenn männliche Mitschülerinnen und Mitschüler im Zentrum der Aufmerksamkeit standen. Bezogen auf den Wissenstest ergab sich ebenso ein negativer Zusammenhang (r = -.12, p = .07), der jedoch nicht statistisch signifikant war. Zudem zeigte die individuelle Zielorientierung keine Effekte auf die Aufmerksamkeitslenkung und das daraus resultierende Interesse und Wissen. Insofern legen die Ergebnisse nahe, dass Blickbewegungsmessungen durchaus vielversprechend sind, um die Aufmerksamkeit von Lernenden im Klassenzimmer in differenzierter Weise zu beschreiben. Der gewählte Ansatz eines standardisierten Untersuchungssettings macht es darüber hinaus möglich, die Bedeutung unterschiedlicher Aufmerksamkeitsobjekte für den Lernerfolg von Schülerinnen und Schülern in systematischer Weise zu betrachten. | ||