Zeit: Montag, 18.03.2024: 13:10 - 14:50 |
Ort: H01 Hörsaal, 100 TN |
Handlungsnahe Kompetenzmessung mit Simulationen in der Lehrkräftebildung: Potentiale und Herausforderungen
Die Lehrkräftebildung hat zum Ziel, insbesondere die professionellen Kompetenzen (angehender) Lehrkräfte zu fördern (Kultusministerkonferenz, 2022). Weinert (2001) definiert den Begriff Kompetenzen als die verfügbaren bzw. erlernbaren kognitiven Fähigkeiten und Fertigkeiten, sowie die damit verbundenen motivationalen, volitionalen und sozialen Fähigkeiten eines Individuums, um bestimmte Probleme in variablen Situationen erfolgreich zu lösen. Bereits seit längerer Zeit wird in diesem Zusammenhang kritisiert, dass klassische Verfahren wie Wissenstests für die Kompetenzmessung nicht geeignet sind, da keine authentische Anwendung des Wissens in konkreten beruflichen Anforderungssituationen stattfindet (Shavelson, 2010; Ufer & Neumann, 2018). Blömeke et al. (2015) verstehen unter Kompetenz ein Kontinuum zwischen kognitiven und affektiv-motivationalen Dispositionen, die bestimmten situationsspezifischen Fähigkeiten unterliegen, und der beobachtbaren Leistung in einer professionellen Anforderungssituation. Alternativ wird diskutiert, die Prozesse, die einer solchen Leistung vorangegangen sind, direkt zu messen um Rückschlüsse über die Zusammenhänge zwischen individuellen Voraussetzungen, erfolgversprechenden Problemlöseprozessen und der letztendlichen Leistung treffen zu können (Hammer & Ufer, 2023; Heitzmann et al., 2019; Herppich et al., 2018).
Um professionelle Kompetenzen umfassend zu messen und die angenommenen Zusammenhänge zwischen Dispositionen, Prozessen und Leistung zu prüfen, sind standardisierte Erhebungsformate notwendig, in denen professionelle Anforderungssituationen authentisch nachgebildet werden, Kompetenzen in vergleichbaren und wiederholbaren Situationen gezeigt werden müssen, und somit eine objektive, handlungsnahe Messung beobachtbaren Verhaltens möglich ist (Albu & Lindmeier, 2023; Blömeke et al., 2011; Fischer et al., 2022; McClelland, 1973; Messick, 1995; Shavelson, 2012; Ufer & Neumann, 2018; White, 1959). Dazu können Simulationen dienen, die beispielsweise rollenspiel- oder videobasiert konkrete berufliche Anforderungen möglichst authentisch abbilden und es durch die Kontrolle von Störfaktoren erlauben, die kognitive Belastung der Lernenden zu kontrollieren (Codreanu et al., 2020; Grossman et al., 2009).
Dieses Symposium geht anhand von drei Fächern (Biologie, Englisch, Mathematik) der Frage nach, wie Zusammenhänge zwischen Dispositionen, Prozessen und Leistungen für einzelne Kompetenzbereiche modelliert, in Simulationen erfassbar gemacht und empirisch geprüft werden können. Neben den konkreten Modellen und Ergebnissen sollen auch Herausforderungen bei der Kompetenzmessung in Simulationen diskutiert werden. Aufgrund der langen Tradition simulationsbasierten Lernens in der Medizinausbildung (z.B. Lane & Rollnick, 2007) wurde hierfür ein Diskutant aus der Medizindidaktik angefragt.
Der erste Beitrag stellt die Entwicklung und Validierung einer rollenspielbasierten Simulation vor, die zur Messung der Feedbackkompetenz angehender Englischlehrkräfte genutzt werden kann und in diesem Zusammenhang als alternatives Prüfungsformat diskutiert wird.
Der zweite Beitrag fokussiert die Diagnosekompetenz als Teil professioneller Handlungskompetenz (Baumert & Kunter, 2006). Mit der Klassenraumsimulation SKRBio wurde eine digitale Lernumgebung entwickelt, mit der die Diagnosekompetenz von Biologie-Lehramtsstudierenden gemessen und prospektiv gefördert werden soll.
Der dritte Beitrag bezieht sich ebenfalls auf die Messung von Diagnosekompetenz, allerdings in Bezug auf die Lehramtsausbildung Mathematik. Vorgestellt wird eine Operationalisierung diagnostischer Kompetenz anhand einzelner Indikatoren und deren handlungsnahe Messung in rollenspielbasierten Simulationen. Ziel ist es durch eine systematische Erfassung einzelner Indikatoren die Beziehungen dieser Indikatoren genauer zu verstehen.
Die Erkenntnisse aus dem Fach Englisch in Bezug auf Feedbackkompetenz in Gegenüberstellung zu den Erkenntnissen aus den Fächern Biologie und Mathematik in Bezug auf Diagnosekompetenz soll es ermöglichen, Vorgehensweisen und Ergebnisse über verschiedene Kompetenzbereiche hinweg zu diskutieren. Der Vergleich zwischen den Fächern Biologie und Mathematik in Bezug auf die Messung von Diagnosekompetenz soll die Diskussion von Ergebnissen zwischen verschiedenen Domänen ermöglichen.
Beiträge des Symposiums
Entwicklung und Validierung einer rollenspielbasierten Simulation als Prüfungsverfahren für das Lehramtsstudium im Fach Englisch
Hintergrund
Angehenden Lehrkräften gelingt es häufig nicht, ihr im Studium erworbenes Wissen in typischen beruflichen Anforderungssituationen adäquat anzuwenden (Zeichner, 2010). Daher wird wie bspw. im Core Practices Approach (Grossman, 2021) vorgeschlagen, auch in der ersten Phase der Lehramtsausbildung handlungsnähere Anteile professioneller Kompetenz (Blömeke et al., 2015) vermehrt in den Fokus zu rücken. Diese Anteile sind bisher aber typischerweise nicht Gegenstand von Prüfungen. Prüfungsverfahren der ersten Phase (z.B. Klausuren, mündliche Prüfungen) fokussieren meist die (deklarative und prozedurale) Ebene des Wissens (vgl. Miller, 1990). Handlungsnahe Kompetenzen werden häufig erst in der zweiten Phase in unterrichtspraktischen Prüfungen (vgl. Ebene Action, Miller, 1990) adressiert. Es zeichnet sich also eine Lücke zwischen weniger handlungsnahen Prüfungen im Lehramtsstudium und Prüfungen unter kaum standardisierbaren Bedingungen des realen Berufsfeldes im Vorbereitungsdienst ab.
In Anlehnung an andere professionsorientierte Studiengänge wie der Medizin könnte der Einsatz rollenspielbasierter Simulationen einen Beitrag dazu leisten, diese Lücke zu verkleinern (Dotger et al., 2010). Hierbei werden typische Standardanforderungen des Berufs unter möglichst authentischen, aber komplexitätsreduzierten Bedingungen standardisiert in rollenspielähnlichen Szenarien simuliert (Pierre & Breuer, 2013). Derartige Simulationsprüfungen haben zudem das Potenzial, schon den Kompetenzerwerb Studierender stärker an beruflichen Handlungsanforderungen zu orientieren (Sopka et al., 2013), finden z.B. in der Fremdsprachenlehrkräftebildung aber kaum Berücksichtigung (Abendroth-Timmer, 2011).
Ziele & Fragestellung
Ziele dieses Beitrags sind daher die Entwicklung und Validierung eines Prototyps für eine rollenspielbasierte Simulationsprüfung zur Erfassung der Feedbackkompetenz angehender Englischlehrkräfte im Kompetenzbereich Schreiben (Pang 2018; Hattie & Timperley 2007). So soll der Frage nachgegangen werden, inwiefern sich eine rollenspielbasierte Simulation als mögliches handlungsnäheres Prüfungsformat für das Lehramtsstudium am Beispiel des Unterrichtsfachs Englisch eignet.
Methode
In der entwickelten Simulation führen Studierende ein Gespräch, in welchem sie standardisierten Lernenden (Schauspieler:innen) adaptives Feedback zu einem schriftlichen Lernprodukt geben müssen (Nassaji, 2017). Als Grundlage dient ein literaturbasiert entwickeltes Rahmenmodell der Feedbackkompetenz im Bereich Schreiben, das als Raster zur Bewertung der videografierten Leistung der Studierenden operationalisiert wurde (vgl. Hyland, 2019; Lotz et al., 2015; Ferris, 2013). Die Schauspieler:innen wurden in einem achtwöchigen Trainingszeitraum unter anderem im Umgang mit so genannten verbal triggers zur gezielten Adressierung von Kompetenzfacetten geschult, um eine Standardisierung der Prüfungssituation zu gewährleisten (Dotger et al., 2010).
Um sicherzustellen, dass ein solches (für die Lehramtsausbildung) neues Prüfungsformat in der Hochschullehre zielgerecht eingesetzt werden kann, wurden in der Entwicklung dem argument-based approach of validation (Kane, 2013) folgend mehrere Validierungsschritte vorgenommen. In einer Pilotuntersuchung (N1=10 Studierende) nahmen die Teilnehmenden im Anschluss an die Simulation an stimulated-recall-Interviews zur Validierung der verbal triggers teil, die strukturierend-inhaltsanalytisch ausgewertet wurden (Kuckartz & Rädiker, 2022). In der Hauptuntersuchung (N2=51 Studierende) wurden u.a. fachdidaktisches Wissen (Kirchhoff, 2017), Sprachkompetenz (Lemhöfer & Broersma, 2012) und Feedbackwissen (Schütze et al., 2017) der Teilnehmenden erhoben sowie strukturierte Leitfadeninterviews zur Akzeptanz der Simulation geführt.
Ergebnisse & Diskussion
In den stimulated-recall-Interviews zeichnet sich ab, dass die verbal triggers angestrebte Handlungsweisen evozieren können und von den Teilnehmenden überwiegend im Rahmen der intendierten Kompetenzfacetten wahrgenommen werden. Sie empfinden die Simulationen als authentisch, akzeptieren das Simulationsgespräch grundsätzlich als mögliches Prüfungsformat und beschreiben es im Vergleich zu schriftlichen und mündlichen Prüfungen als praxisrelevanter. Der aktuelle Stand der quantitativen Auswertungen (n=10, je n=5 B.Ed./M.Ed.b) zeigt, dass Masterstudierende nach dem Praxissemester signifikant höhere Testscores in der Simulationsprüfung erreichen als Bachelorstudierende (t(8)=3.045, d= 1.926, p=.016), was als Indikator für die Validität der Simulation betrachtet werden kann. Es ergeben sich in den vorläufigen Ergebnissen aber keine signifikanten Korrelationen zwischen Testscore und fachdidaktischem Wissen (r=.181, p=.617), Sprachkompetenz (r=-.114, p=.754) und Feedbackwissen (r=.523, p=.112). Die Validierung des Bewertungsrasters durch Expertenbefragungen wird derzeit durchgeführt.
Insgesamt scheint die entwickelte Simulation grundsätzlich als Prüfungsformat geeignet zu sein. Der Ansatz lässt sich außerdem auf andere Kompetenzbereiche der Lehramtsausbildung übertragen (z.B. Beratungskompetenz, Gerich, 2016).
Messung der Diagnosekompetenz zum Experimentieren mit der Klassenraumsimulation SKRBio
Hintergrund
Diagnosekompetenz ist ein elementarer Bestandteil professioneller Handlungskompetenz von Lehrkräften und wesentlich für die Leistungsbeurteilung der Schülerinnen und Schüler (Baumert & Kunter, 2006; Leuders et al., 2022). Während der beruflichen Einstiegsphase stehen Lehrkräfte im Klassenraum zunächst einer Vielzahl neuer Herausforderungen gegenüber (z. B. praktische Umsetzung ihrer Unterrichtsplanung), wodurch diagnostisches Handeln im Unterricht oft vernachlässigt wird (Levin et al., 2009). Digitale Lernumgebungen wie Klassenraumsimulationen bieten die Möglichkeit, bereits im Studium realitätsnahe Lernsituationen zu schaffen, in denen handlungsbezogene Kompetenzen in einer sicheren Umgebung angewendet werden können (Bradley & Kendall, 2014). Die Komplexität realer Unterrichtssituationen kann hier gezielt reduziert und so können spezifische Kompetenzen fokussiert eingeübt werden (Grossmann et al., 2009; Hillmayr et al., 2020).
Mit der Klassenraumsimulation SKRBio (Fischer et al., 2022) zum Experimentieren (Facette: Planung eines Experiments) wurde eine Lernumgebung entwickelt, mit der die Diagnosekompetenz von Lehramtsstudierenden gemessen und gefördert werden soll. Die Diagnosekompetenz wird im SKRBio als Urteilsgenauigkeit in Hinblick auf die korrekte Niveauzuordnung von Schülerantworten basierend auf einem Kompetenzmodell nach Wellnitz & Mayer (2013) operationalisiert. Studierende führen im SKRBio eine simulierte Unterrichtssequenz nach einem Frage-Antwort-Schema durch, wobei die virtuellen Schülerinnen und Schüler in ihren Antworten die Planung eines Experiments beschreiben. Während der Unterrichtssequenz müssen die Studierenden jede dieser Antworten bewerten, indem zuerst Aspekte des Experimentierens (z. B. Messung der abhängigen Variable, Konstanthaltung von Störgrößen) in einer Antwort identifiziert und die Antwort darauf basierend einer Niveaustufe zugeordnet wird. Für die Zuordnung der Niveaustufe IV müssen beispielsweise die Aspekte „Variation der unabhängigen Variable“, „Messung der abhängigen Variable“ sowie „Konstanthaltung von Störgrößen“ in einer Antwort enthalten sein.
Am Ende soll die Gesamtleistung der einzelnen Lernenden bewertet werden. Um den Diagnoseprozess zu unterstützen, wurde ein Chatbot als Prototyp eines adaptiven Feedbackgebers in die Klassenraumsimulation integriert.
Fragestellung
1. Wie genau diagnostizieren Biologie-Lehramtsstudierende die Antworten und welche Schwierigkeiten lassen sich bei der Diagnose feststellen?
2. Welche Personenmerkmale der Studierenden zeigen einen Einfluss auf die Diagnosekompetenz?
3. Inwiefern wird der Chatbot als Unterstützungstool verwendet?
Methode
In einer explorativen online durchgeführten Interventionsstudie mit dem SKRBio einschließlich Pre- und Posttest-Befragung wurde die Diagnosekompetenz von 86 Biologie-Lehramtsstudierenden (77 % weiblich, 52 % im Masterstudium) gemessen. Zudem wurden Kontrollvariablen (z. B. Fachwissen, Motivation, Lernstrategien) in den Pre- und Posttest-Fragebögen erhoben.
Ergebnisse & Diskussion
Die Studierenden konnten 48 % der Antworten (N = 2519) der korrekten Niveaustufe zuordnen, allerdings identifizierten sie in nur 28 % der Antworten alle Aspekte des Experimentierens korrekt. Dabei zeigte sich eine signifikante Beziehung zwischen der Diagnose und der zugrundeliegenden Niveaustufe: X2 (4, n = 2519) = 195.91, p < .001. Bei der Identifikation der Aspekte des Experimentierens scheint besonders die korrekte Verwendung der abhängigen und unabhängigen Variable Schwierigkeiten zu bereiten. Hinsichtlich der Niveaustufen wurden die zweite und dritte Niveaustufe seltener korrekt diagnostiziert als die übrigen Niveaustufen. Korrelationsanalysen zeigten, dass das Fachwissen (rs = .328, p < .005), die persönlichen Lernstrategien (rs = .253, p < .019), sowie das Selbstkonzept (rs = .214, p < .048) leicht positiv mit der Diagnosekompetenz korrelierten. Der integrierte Chatbot wurde von 55 Teilnehmenden für mindestens eine Anfrage genutzt. Die meisten Fragen bezogen sich auf die abhängige (47 Anfragen) oder unabhängige (36 Anfragen) Variable sowie auf das Kompetenzmodell (57 Anfragen).
Die Nutzung des Chatbots stützt die Vermutung, dass die Identifikation der abhängigen und unabhängigen Variable in den Schülerantworten eine Herausforderung für Biologie-Lehramtsstudierende darstellt. Obgleich die Fokussierung auf die Diagnose einzelner Antworten eine Limitation gegenüber einem komplexen Unterrichtsgespräch darstellt, bietet der SKRBio dennoch die Möglichkeit, diagnostisches Handeln in einer simulierten Unterrichtssequenz anzuwenden und zu messen. Insbesondere die Zweiteilung der Diagnosen im SKRBio in Aspekte und Niveaustufen erweist sich dabei als gewinnbringend in Hinblick auf eine differenzierte Messung der Diagnosekompetenz von Studierenden.
Messung von und Beziehungen zwischen einzelnen Indikatoren der diagnostischen Kompetenz angehender Mathematiklehrkräfte
Hintergrund
Adaptive unterrichtliche Entscheidungen können nur dann erfolgen, wenn Lehrkräfte die Bedarfe ihrer Schüler:innen akkurat einschätzen können (van de Pol et al., 2010). Der Erwerb diagnostischer Kompetenz ist daher bereits Ziel der hochschulischen Lehrkräfteausbildung (Kultusministerkonferenz, 2022). Heitzmann et al. (2019) verstehen unter dem Begriff Diagnostizieren das zielgerichtete Sammeln und Integrieren von Informationen zum Treffen professioneller Entscheidungen. Modelle diagnostischer Kompetenz nehmen an, dass professionelles Wissen diagnostischer Kompetenz als wesentliche kognitive Ressource zugrunde liegt, dessen Wirkung durch motivationale Ressourcen moderiert werden kann (Herppich et al., 2018). In der bisherigen Forschung wurde die diagnostische Akkuratheit als handlungsnahes Leistungsmaß für Diagnosekompetenz verwendet (Behrmann & Souvignier, 2013; Südkamp et al., 2012). Herppich et al. (2018) schlagen vor, auch Indikatoren des diagnostischen Prozesses, der zu dieser Leistung geführt hat, zu berücksichtigen und Beziehungen zwischen individuellen Ressourcen, diagnostischen Prozessen und diagnostischer Akkuratheit zu untersuchen. Als Teil der Evidenzgenerierung im diagnostischen Prozess stellt sich die Frage, inwiefern angehende Lehrkräfte Aufgaben wählen, die das Potential haben, diagnostische Informationen zu liefern (van den Kieboom et al., 2014).
Fragestellung
1. Welche Zusammenhänge zeigt das professionelle Wissen angehender Mathematiklehrkräfte zu handlungsnahen Indikatoren des diagnostischen Prozesses und der diagnostischen Leistung?
2. Inwiefern moderiert individuelles Interesse die Zusammenhänge zwischen Wissen und den genannten handlungsnahen Indikatoren?
Methode
Um Indikatoren diagnostischer Kompetenz handlungsnah zu erfassen, wurde eine Rollenspielsimulation diagnostischer Einzelinterviews entwickelt, in der Mathematiklehramtsstudierende als Lehrkraft den Lernstand eine:r Schüler:in (gespielt von eine:r geschulten Mitarbeiter:in) in der Dezimalbruchrechnung diagnostizieren. Die Studierenden wählen dazu Aufgaben aus einem vorgegebenen Aufgabenset und beobachten die Aufgabenbearbeitung. Nach circa 30 Minuten Interview bewerten sie den Lernstand in neun Einzelfacetten der Dezimalbruchrechnung („sicher beherrscht“, „nicht sicher beherrscht“, „keine Diagnose möglich“). Als Indikatoren für den diagnostischen Prozess wurde der Anteil der Aufgaben berechnet, die hohes diagnostisches Potential haben bzw. neue Informationen über vorher beobachtete Antworten hinaus liefern. Aus der diagnostischen Leistung wurde die Akkuratheit der Diagnose als Indikator der diagnostischen Kompetenz untersucht.
Weiterhin wurde das fachliche und fachdidaktische Wissen mit Paper-Pencil-Tests gemessen. Als motivationale Ressourcen wurden das Interesse an Diagnostik und an Mathematikdidaktik mit etablierten Skalen (Rotgans & Schmidt, 2011) erhoben.
An der Studie nahmen N = 63 Mathematiklehramtsstudierende teil, die nacheinander zwei von vier randomisiert zugeteilten Schülerprofilen diagnostizierten. Die statistische Auswertung erfolgte aufgrund der genesteten Struktur der Daten mit linearen Mischmodellen.
Ergebnisse
Für die Auswahl der Aufgaben zeigte sich, dass im zweiten Interview signifikant mehr Aufgaben mit hohem diagnostischem Potential ausgewählt wurden (M=7.86) als im ersten Interview (M=6.35, F(1;59.25)=15.00; p<.001). Eine signifikante Anpassung der Aufgabenauswahl auf Basis vorheriger Antworten im Laufe eines Interviews konnte nicht beobachtet werden. Im Mittel erreichten die Teilnehmenden eine Akkuratheit von 0.67 (SD=0.15; min=0.22; max=1.00); signifikante Unterschiede zwischen den beiden Interviews wurden nicht beobachtet. Es zeigten sich signifikante Zusammenhänge zwischen dem Fachwissen und Aufgabenauswahl (B=0.030; F(1;59.46)=5.13; p=.027) und Akkuratheit (B=0.031; F(1;59.10)=5.30; p=.025), jedoch nicht für das fachdidaktische Wissen oder das Interesse. Signifikante Interaktionseffekte zwischen Fachwissen bzw. fachdidaktischem Wissen und Interesse zeigten sich sowohl für die Aufgabenauswahl als auch für die Akkuratheit.
Diskussion
Die positiven Zusammenhänge weisen darauf hin, dass sich diagnostische Kompetenz sowohl in Ressourcen, Prozessmaßen wie auch Leistungsmaßen zeigt. Sie erweitern Resultate von van den Kieboom et al. (2014) um die Betrachtung diagnostischer Prozesse. Die Rolle fachdidaktischen Wissens über Fachwissen hinaus sollte in zukünftigen Studien mit größerer statistischer Power ebenso weiter untersucht werden wie die Wirkkette von Ressourcen über Prozessmaße hin zu Leistungsmaßen. Die beobachteten Interaktionseffekte weisen darauf hin, dass Wissen vor allem dann für eine handlungsnahe Anwendung aktiviert wird, wenn günstige motivationale Voraussetzungen vorliegen (Herppich et al., 2018). Von Interesse wäre weiterhin eine breitere Erhebung von Prozess- und Leistungsmaßen, z.B. in Bezug auf die Nutzung professionellen Wissens während des Interviews in Notizen und schriftlichen Diagnoseberichten.