Theoretischer Hintergrund

Diagnostische Kompetenz spielte in der Lehramtsausbildung lange Zeit eine untergeordnete Rolle, auch weil fälschlicher Weise ein automatischer Zusammenhang zwischen Diagnosekompetenz und langjähriger Berufserfahrung angenommen wurde (kritisch bereits Weinert & Schrader, 1986). Demgegenüber ist davon auszugehen, dass nicht Praxis per se, sondern gezielte Interventionen und eine theoriegeleitete Praxisreflexion im Rahmen der Lehrkräfteausbildung pädagogische Diagnosekompetenz schulen (Klug et al., 2013; Radkowitsch et al., 2023). In diesem Zusammenhang gewinnen Diagnoseinstrumente an Bedeutung, die die systematische Anbahnung diagnostischer Kompetenzen unterstützen.

Bislang existieren in der Politikdidaktik erst vereinzelte Ansätze zur Entwicklung domänenspezifischer Diagnoseinstrumente (Füchter, 2010, 2011; Mosch, 2013; Weber-Stein, 2018). Insbesondere im Bereich der Förderung politischer Urteilsfähigkeit – unbestritten ein zentraler Lernbereich in der Politikdidaktik (Klee, 2008; May, 2017) – ist die Diskrepanz zwischen der zugeschriebenen Bedeutung und der empirischen Evidenz zu wirksamen Diagnosen und Fördermechanismen frappierend (Weißeno & Weißeno, 2021). Wir gehen davon aus, dass die gezielte Förderung politischer Urteilsfähigkeit eine adäquate fachdidaktische Diagnose voraussetzt. Die differenzierte Einordnung eines Schüler*innenurteils erscheint für die Begründung fachdidaktischer Entscheidungen notwendig.

Fragestellung

Zur systematischen Analyse von politischen Urteilen haben wir in Anlehnung an den politikdidaktischen Forschungsstand zur politischen Urteilsfähigkeit (Massing, 2003; Manzel & Weißeno, 2017; May et al., 2020) eine 3x3-Felder-Matrix entwickelt. Sie erlaubt eine qualitative Einordnung von Schüler*innen-Urteilen auf drei Niveaustufen (basal, ansatzweise differenziert, elaboriert) hinsichtlich drei inhaltlich unterschiedlicher Dimensionen (Argumentationsstärke, Fachkonzepte, Perspektivendifferenzierung).

Damit die Analysematrix die ihr zugeschriebene Funktion erfüllt, zum Aufbau diagnostischer Kompetenzen beizutragen, muss sie gängigen wissenschaftlichen Gütekriterien (Inhalts-/ökologische Validität, Reliabilität) genügen. Unser Schwerpunkt im Vortrag wird dabei auf der Reliabilität liegen, d.h. der Frage, inwiefern die Matrix zu zuverlässigen Zuordnungen führt. Konkret wird untersucht, inwiefern Zuordnungen innerhalb der 3x3-Felder-Matrix personenübergreifend (Interrater-Reliabilität) und personenbezogen (Intrarater-Reliabilität) vergleichbar ausfallen.

Methode

Die Untersuchung der Zuverlässigkeit des Instruments ist Teil einer Interventionsstudie zur Anbahnung diagnostischer Kompetenzen von Lehramtsstudierenden im Masterstudiengang Politikwissenschaft (N=50). Die Studie ist als Zeitreihenexperiment mit drei Messzeitpunkten (t_o, t₁, t₂) konzipiert und für die Reliabilitätsanalyse liegen über 1.000 Kodierbeispiele vor. Im Rahmen eines moodle-basierten Lern-Moduls, das gemäß einem moderat konstruktivistischen Lernmodell (Van Merriënboer 2020) gezielte Instruktionen mit Übungsphasen verbindet, werden die Studierenden mit der Analysematrix vertraut gemacht. Im Anschluss raten sie in zwei iterativen Zyklen im Abstand von 4 Wochen (t₁, t₂) Schüler*innenurteile auf Grundlage der Matrix. Diese Phase wird durch Kollaborationen gestützt, in denen die Studierenden ausgewählte Diagnoseurteile vergleichen und sich argumentativ über Standards der Diagnostik austauschen. Für die Interrater-Reliabilität werden Querschnittsdaten der Messzeitpunkte t₁ und t₂ herangezogen, während die Intrarater-Reliabilität längsschnittlich mit den personenbezogenen Zuordnungen von t₁ und t₂ untersucht wird.

Ergebnisse

Die Inhaltsvalidität des Instruments nehmen wir durch die deduktive Entwicklung aus dem politikdidaktischen Diskussionsstand zur Urteilsbildung als gegeben an. Beispielsweise ist die Dimension „Fachkonzepte“ Teil des bestehenden Bildungsplans. Um die ökologische Validität der Matrix zu gewährleisten, wurde das Diagnoseinstrument mit fünf Expert*innen aus der Unterrichtspraxis (gymnasiales Lehramt) kommunikativ validiert. Im Ergebnis wurde die vorliegende 3x3-Felder Matrix für unterrichtende Lehrer*innen als adäquat betrachtet. Eine diesbezügliche, vertiefende Interview-Studie mit Lehrer*innen aus allen Schulformen ist derzeit in Vorbereitung.

Unsere bisherigen Daten lassen bezüglich der Reliabilität der Matrix zufriedenstellende bis gute Ergebnisse erkennen.

• Die Konvergenz der Diagnosen (Interrater-Reliabilität t_1, t₂) ist nahezu durchgängig zufriedenstellend ausgeprägt: 8 von 10 Gruppen erreichen akzeptable Konkordanzwerte (Kendalls W > .6).
• Die personeninterne Konsistenz der Ratings (Intrarater-Reliabilität t₁-t₂) ist über alle Dimensionen hinweg erkennbar ausgeprägt (Cohens κ > .7).

Die Daten führen aus unserer Sicht zu der Einschätzung, dass die Analysen mit der Matrix unter den vorgestellten Interventionsbedingungen zu zuverlässigen Zuordnungen führen. Die Matrix kann deshalb zur Entwicklung diagnostischer Kompetenz beitragen. Damit ist jedoch nicht geklärt, wie nachhaltig die Verankerung in den subjektiven Diagnosekonzepten ausfällt.

Theoretischer Hintergrund

Das Konzept der professionellen Unterrichtswahrnehmung reicht in mehreren Facetten von noticing, über knowledge-based reasoning und interpreting, bis hin zum decision-making (König et al., 2022; Jahn et al., 2014, Kaiser et al., 2017). Zur Schulung der professionellen Unterrichtswahrnehmung kann die Beschäftigung mit Unterrichtsvideos einen wesentlichen Beitrag leisten, insbesondere wenn das Gesehene reflektiert wird. Oftmals werden bei einer Videoanalyse bedeutungstragenden Sequenzen in den gezeigten Videos nicht erkannt und die anschließenden Unterrichtsreflexionen bleiben eher auf einem oberflächlichen Niveau (noticing). Daher profitieren vor allem angehende Lehrende von instruktionaler Unterstützung beim Umgang mit Unterrichtsvideos (Nagro et al., 2016). Insbesondere der Übergang vom noticing zum reasoning und schließlich zum Treffen instruktionaler Entscheidungen ist ohne Hilfestellung schwierig zu bewältigen (Calandra, Gurvitch & Lund, 2008). Um die aktiv-produktive Auseinandersetzung mit Unterrichtsvideos instruktional zu unterstützen, können Videoannotationen als Reflexions- und Diskussionsanker dienen, die zur intensiveren Auseinandersetzung mit den Unterrichtsvideos anregen und deren Bearbeitung erleichtern sollen (Krüger et al, 2012).

Das Ziel dieser empirischen Vergleichsstudie ist es, die Effektivität von beispielhaften Annotationen als instruktionalem Unterstützungsansatz zur Qualitätsförderung der Unterrichtsreflexion am Beispiel des thematischen Schwerpunkts motivationale Aktivierung zu ermitteln. Alle Proband:innen können zu allen gezeigten Videos grundsätzlich selbstständig Videoannotationen erstellen. Die Treatmentgruppe (TG) erhielt im Vergleich zur Kontrollgruppe (KG) zusätzlich Lernhilfen in Form von vorgefertigten Beispielannotationen in den Videos. In der Studie wird untersucht, inwieweit (1) sich die Anzahl der selbst erstellten Annotationen in der Treatment- und Kontrollgruppe unterscheiden, (2) sich die Anzahl der selbst erstellten Annotationen auf die Qualität der Unterrichtsreflexionen auswirkt, (3) sich die Qualität der Unterrichtsreflexionen der beiden Vergleichsgruppen, gemessen an den Facetten der professionellen Unterrichtswahrnehmung, unterscheidet.

Methode

Teilnehmende Lehramts- und Psychologiestudierenden (N = 52, 1. - 7. Semester, gleichverteilt über beide Gruppen) betrachten drei Unterrichtsvideos aus der Lernplattform Toolbox Lehrerbildung. Der TG wird instruktionale Unterstützung in Form von Beispielannotationen als Lernhilfen in unterschiedlicher Anzahl (fading out) in Szene 1 und Szene 2 geboten. Die KG erhält keine Lernhilfen. Nach dem zweiten und dritten Video verfassen sie jeweils eine schriftliche Reflexion mit Hilfe aller Annotationen. Insgesamt sind 93 Reflexionen gesammelt worden (Szene 2: 28 in TG, 17 in KG; Szene 3: 31 in TG, 19 in KG). Diese wurden mittels einer qualitativen Inhaltsanalyse entsprechend den Facetten der professionellen Unterrichtswahrnehmung kodiert und ausgewertet. Abgerundet wurde das Studiendesign durch einen Pretest, in welchem persönliche Eigenschaften wie Vorwissen zu motivationaler Aktivierung, die eigene Motivation und eine Selbsteinschätzung zum Umgang mit Unterrichtsvideos erfasst wurden. Im Posttest wurde die Selbsteinschätzung erneut abgefragt, um gegebenenfalls eine Änderung festzustellen.

Ergebnisse und ihre Bedeutung

Bezüglich der Anzahl der Annotationen konnte zwischen den beiden Vergleichsgruppen kein Unterschied festgestellt werden. Die Anzahl der erstellten Annotationen korreliert jedoch mit zwei der vier Facetten der professionellen Unterrichtswahrnehmung in den Reflexionen positiv (noticing: r(13) = 0.88, p < .001; reasoning: r(13)= 0.69, p = .009). Daraus lässt sich schließen, dass das Erstellen von Annotationen den Lernenden hilft, auch in den Unterrichtsreflexionen das Beobachtete und den Schritt zur Verknüpfung mit ihrem Theoriewissen auszuführen.

In den Reflexionen für Szene 2 findet sich in der KG signifikant mehr noticing (t(43) = 2.01; p = 0,026, d = 5.44). In dieser Szene hatte die TG die vorgefertigten Beispielannotationen, woraus sich vermuten lässt, dass sich die Proband:innen weniger mit der Facette des noticing beschäftigten, da dies bereits in den Beispielannotationen aufgeführt war. In Szene 3, die für beide Gruppen gleich gestaltet war, hat die TG signifikant mehr interpreting (t(46) = 2.53; p = 0,007, d = 0.68) durchgeführt. Die Lernhilfen unterstützen damit in Szene 3 das Fokussieren auf den zukünftigen Lernprozess der Lernenden, eine der schwierigeren Facetten der professionellen Unterrichtswahrnehmung, und sorgen für eine umfassendere Unterrichtsreflexion.

Im Vortrag werden die Befunde vorgestellt und im Hinblick auf ihre Bedeutung für die Förderung der professionellen Unterrichtswahrnehmung durch Unterrichtsvideos diskutiert.

Simulationen bieten die Möglichkeit, bereits während des Lehramtsstudiums Diagnosekompetenzen praxisorientiert zu fördern (Chernikova et al., 2020). Studierende benötigen beim Lernen mit Simulationen adaptives und elaboriertes Feedback (z.B. Narciss et al., 2014), was hohe Anforderungen an Lehrende stellt. Fortschritte in der künstlichen Intelligenz ermöglichen jedoch eine automatisierte Auswertung komplexer Daten wie Texteingaben als Basis für adaptives elaboriertes Feedback: Eine Laborstudie verglich bereits automatisiert-adaptives Feedback auf Basis von künstlichen neuronalen Netzen mit statischem Feedback in Form einer Expertenlösung (Sailer et al., 2023). Die Intervention mit sechs simulierten Fällen zu Lern- und Verhaltensauffälligkeiten bei Schüler:innen hatte keinen signifikanten Effekt auf die Genauigkeit diagnostischer Urteile; jedoch hatte das adaptive Feedback einen positiven Effekt auf die Qualität der diagnostischen Begründungen. Durch gezielte Hinweise zu den Argumentationsprozessen der Lernenden erhöhte das adaptive Feedback die Salienz relevanter Feedbackinformationen (Machts et al., 2023). Für die Förderung der Diagnosegenauigkeit könnte eine Einbettung in den Lehrbetrieb vorteilhaft sein, da Studierende in entsprechenden Lehrveranstaltungen mehr relevantes Vorwissen mitbringen. Daher untersuchte die vorliegende Studie die Effekte automatisiert-adaptiven Feedbacks im Vergleich zu statischem Feedback beim simulationsbasierten Lernen unter Feldbedingungen.

In dem Feldexperiment bearbeiteten N = 230 (nach Ausschluss Teilnehmender mit mehreren unvollständigen Antworten) Lehramtsstudierende fünf deutscher Universitäten in Online-Lehrveranstaltungen drei simulierte Fälle zu Lernauffälligkeiten bei Schüler:innen und erhielten adaptives (n = 118) oder statisches (n = 112) Feedback. Die Lehramtsstudierenden gaben zu jedem simulierten Fall ein Urteil in Form einer Diagnosestellung an (Einfachauswahlfrage) und schrieben eine diagnostische Begründung (Freitextfrage). In einem Posttest bearbeiteten sie einen weiteren simulierten Fall ohne Feedback. Der Effekt des adaptiven vs. statischen Feedbacks auf die Diagnosegenauigkeit (Übereinstimmung mit wahrscheinlichster Diagnose entsprechend des Falldesigns) und die Qualität der diagnostischen Begründung (Berücksichtigung der sechs relevantesten Fallinformationen) in der Lernphase und im Posttest wurde mit zwei multivariaten Kovarianzanalysen berechnet; als Kontrollvariable wurde die Leistung im ersten Lernfall berücksichtigt, da die erste Feedback-Intervention erst nach Absenden der Antwort erfolgte.

Es zeigte sich ein signifikanter positiver Effekt des adaptiven Feedbacks auf die Qualität der diagnostischen Begründung in der Lernphase, F(1,227) = 4.01, p = .047, η_p² = 0.017, und im Posttest, F(1,227) = 6.78, p = .010, η_p² = 0.029, mit jeweils kleiner Effektstärke. Die Diagnosegenauigkeit war sowohl in der Lernphase, F(1,228) = 1.42, p = .234, η_p² = 0.006 , als auch im Posttest, F(1,228) = 1.12, p = .290, η_p² = 0.005, nicht signifikant unterschiedlich zwischen den Feedback-Gruppen. Die Ergebnisse stützen das Befundmuster der vorangegangenen Laborstudie: Lernende scheinen durch das adaptive Feedback zunächst im diagnostischen Begründen gefördert zu werden. Die erhöhte Salienz relevanter Feedbackinformationen im adaptiven Feedback gibt möglicherweise kognitive und meta-kognitive Ressourcen für den Lernprozess frei. Um einen positiven Effekt des adaptiven Feedbacks auf die Diagnosegenauigkeit zu erzielen, könnten weitere Simulationslerneinheiten förderlich sein und relevantes professionelles Wissen vertiefen. Die Studie zeigt, dass auch unter Feldbedingungen in Online-Seminaren der Einsatz von automatisiert-adaptivem Feedback auf Basis von Sprachverarbeitung mittels künstlicher neuronaler Netze vorteilhaft sein kann.

Theoretischer Hintergrund

Unterrichtsqualität umfasst die Basisdimensionen Klassenführung, kognitive Aktivierung und emotionale Unterstützung (Pianta & Hamre, 2009; Praetorius et al., 2018), die in Unterrichtssituationen sowohl miteinander verwoben als auch isoliert fokussiert werden können (Hörter et al., 2020). Um qualitätsvollen Unterricht umzusetzen benötigen Lehrkräfte professionelle Unterrichtswahrnehmung (PUW) (Blömeke et al., 2015; Blömeke et al., 2022). Die PUW besteht aus dem Beschreiben und Interpretieren von relevanten Unterrichtssituationen, um Handlungsalternativen zu generieren (Sherin & van Es, 2009). Dadurch, dass Expertenlehrkräfte nicht nur kompetent Unterrichtssituationen beschreiben, interpretieren und Handlungsalternativen generieren können, sondern dabei auch die drei Basisdimensionen der Unterrichtsqualität integrieren können (Berliner, 2001), umfasst die PUW ebenfalls die Integration der Basisdimensionen. Diese Prozesse der PUW können durch Videoanalysen erfolgreich gefördert werden (Gold et al., 2021). Jedoch müssen die Unterrichtsvideos sinnvoll instruktional eingebettet werden (Blomberg et al., 2013; Santagata et al., 2021).

Studien der Instruktionsforschung haben gezeigt, dass eine integrierte Vermittlung von Lerninhalten Lernprozesse fördern kann (Harr et al., 2014), indem Lerninhalte gleichzeitig fokussiert und dadurch das Abrufen und Aktivieren verschiedener Lerninhalte gefördert werden kann (spreading activation; Anderson, 1983). Dementsprechend könnte eine integrierte Vermittlung, bei welcher alle Basisdimensionen gleichzeitig in Videoanalysen fokussiert werden, deren Anwendbarkeit (Renkl et al., 1996) und Abrufbarkeit (Anderson, 1983) begünstigen und somit auch die PUW fördern.

Allerdings sind Lehramtsstudierende aufgrund geringer Unterrichtserfahrungen und geringem Wissen (Putnam & Borko, 2000) bei Videoanalysen stark kognitiv belastet (Syring et al., 2015). Somit könnte eine isolierte Vermittlung der Basisdimensionen in Videoanalysen die PUW möglicherweise besser fördern, da hierbei jede Basisdimension in einzelne Unteraufgaben dekonstruiert wird und dies die kognitive Belastung reduziert (van Merriënboer et al., 2002).

Fragestellung

Die Studie überprüft dementsprechend die konkurrierenden Annahmen, ob eine integrierte oder isolierte Vermittlung der Basisdimensionen bei Videoanalysen die PUW besser fördert.

Methode

In der quasi-experimentellen Studie nahmen N=144 Lehramtsstudierende (M_Alter=22.76, SD_Alter=2.27, 79.9% weiblich) an einem 3-wöchigen videobasierten Seminar teil. Eine Interventionsgruppe fokussierte in den Videoanalysen von Grundschulmathematikunterricht jeweils eine Basisdimension pro Sitzung isoliert, während eine zweite Interventionsgruppe die Basisdimensionen in jeder Sitzung integriert analysierte. Ein mathematikdidaktisches Seminar fungierte als Kontrollgruppe.

Prä-Post-Tests erfassten die PUW in schriftlichen Videoanalysen, in welchen die Anzahl der beschriebenen Ereignisse (Beschreibung), die mittlere Qualität der Interpretationen sowie die mittlere Qualität der genannten Handlungsalternativen (κ=.83; Gippert et al., 2022) anhand eines Masterratings kodiert wurden. In diesen schriftlichen Analysen wurde ebenfalls die Integration der Basisdimensionen für die Beschreibungen, Interpretationen und Handlungsalternativen ausgewertet (0-2) (κ=.77).

Ergebnisse

Die vorläufigen Ergebnisse von ANOVAs mit Messwiederholung zeigen keine Unterschiede zwischen den Gruppen im Beschreiben, Interpretieren und Generieren von Handlungsalternativen, sowie in der Integration der Basisdimensionen beim Beschreiben. Hingegen fanden wir bezüglich der Integration der Basisdimensionen signifikante Unterschiede zwischen den Gruppen im Interpretieren, F(1,137)=8.06, p<.001, η_p²=.105. Die Bayessche ANOVA mit Messwiederholung wies auf einen starken Interaktionseffekt (Zeit × Gruppe) BF₁₀ =26588.60. Geplante Kontraste zeigten Vorteile für die integrierte Gruppe gegenüber der isolierten Gruppe, t(1,95)=3.35, p=.001, und der Kontrollgruppe, t(1,90)=2.31, p=.022. Es gab keine signifikanten Unterschiede zwischen den Gruppen in der Integration der Basisdimensionen beim Handlungsalternativen Generieren, F(1,137)=2.48, p=.088, η_p²=.035, und anekdotische Evidenz für die Alternativhypothese, BF₁₀=1.07. Geplante Kontrastanalysen wiesen signifikante Vorteile für die isolierte Gruppe gegenüber der integrierten Gruppe, F(1,95)=2.43, p=.016, sowie der Kontrollgruppe, F(1,90)=2.42, p=.017, auf.

Diskussion

Die vorläufigen Ergebnisse zeigen keine Unterschiede zwischen den verschiedenen Instruktionsarten oder zwischen den beiden Videoanalysebedingungen und der Kontrollgruppe bezüglich der Förderung des Beschreibens, Interpretierens und Handlungsalternativen Generierens. Allerdings konnte im Gegensatz zur Kontrollgruppe durch Videoanalysen eine stärkere Integration der Basisdimensionen bewirkt werden (siehe auch Santagata & Guarino, 2011). Die integrierte Vermittlung der Basisdimensionen führte zu einer stärkeren Integration der Basisdimensionen beim Interpretieren, während die isolierte Vermittlung eine stärkere Integration beim Handlungsalternativen Generieren erwirkte. Mögliche Erklärungen und Limitationen werden diskutiert.