Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Tagung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
M16–1.19: Betrachtung von Messinstrumenten
Zeit:
Mittwoch, 25.03.2020:
16:45 - 18:30

Ort: 1.19

Präsentationen

Vergleich von unterschiedlichen Antwortformaten zur Erfassung von Lernstrategien

Ana Tupac-Yupanqui1, Jörg-Henrik Heine1, Anja Schiepe-Tiska1, Dave Zes2, Kristina Reiss1

1Zentrum für Internationale Bildungsvergleichsstudien, TUM School of Education, Technische Universität München, Deutschland; 2Long Beach, California, USA

Theorie

In internationalen Schulleistungsstudien werden neben Leistungstests auch non-kognitive Kontextvariablen der Schülerinnen und Schüler über Selbstberichte mit Ratingskalenformaten erfasst (Wetzel & Greiff, 2018). Insbesondere im internationalen Vergleich (van Herk, Poortinga & Verhallen, 2004) wird dieses Antwortformat aufgrund von unterschiedlichen Verzerrungen kritisiert (z. B. Häcker, 2014), welche die Validität negativ beeinflussen (Cronbach, 1946). Zur Umgehung dieser Problematik wird alternativ das Forced-Choice Antwortformat vorgeschlagen (Brown & Maydeu-Olivares, 2013). Bei diesem Antwortformat müssen sich die antwortenden Personen entscheiden, einer von verschiedenen Aussagen zuzustimmen, die jeweils Indikatoren für unterschiedliche Dimensionen darstellen. Die Intention dabei besteht darin allgemein die Datenqualität, Validität sowie Testfairness zu erhöhen und damit die Invarianz der Messung zu gewährleisten (Schultze & Eid, 2018). Ziel dieser Studie ist es die Zusammenhänge zwischen mathematikbezogenen Lernstrategien und kognitive sowie non-kognitive Kontextvariablen zu untersuchen. Die Lernstrategien werden dabei mit den beiden Antwortformaten erfasst.

Nach Boekaerts (1999) Drei-Schichten-Modell des selbstregulierten Lernens werden drei übergeordnete Lernstrategien beschrieben: Memorisationsstrategien (Auswendiglernen), Elaborationsstrategien (tieferes Verstehen durch Verknüpfungen mit Vorwissen und Alltagsbezug) und metakognitive Kontrollstrategien (Überprüfen des Lernprozesses). Als kognitive Kontextvariable zu den Lernstrategien wird die in der Programme for International Student Assessment (PISA) Studie erreichte Mathematikkompetenz betrachtet. Als non-kognitive Kontextvariablen werden Motivation, Interesse sowie Selbstwirksamkeit in Mathematik aus dem PISA Schülerfragebogen in die Untersuchung mit einbezogen (vgl. OECD, 2013).

Fragestellung

In der vorliegenden Studie soll der Frage nachgegangen werden, ob sich der Zusammenhang zwischen den Lernstrategien und den anderen Variablen in Abhängigkeit der beiden unterschiedlichen Antwortformate unterscheidet. Betrachtet wird dies getrennt für gymnasiale versus nicht gymnasiale Schularten.

Methode

Die Stichprobe umfasst n = 5739 deutsche Neuntklässlerinnen und Neuntklässlern, die an der PISA Hauptstudie in 2012 teilgenommen haben. Davon waren n = 2338 auf dem Gymnasium und n = 3401 in anderen Schularten. In PISA wurden mathematikbezogene Lernstrategien mit beiden Antwortformaten im Schülerfragebogen erhoben (Mang et al., 2018). Die Forced-Choice Items wurden mit dem R-Paket kcirt (Zes, Lewis & Landis, 2014) im Rahmen der Thurstonian Item Response Theory (IRT) skaliert. Die Ratingskalen Items wurden mit dem Partial Credit IRT Modell (Masters, 1982) skaliert. Die non-kognitiven Kontextvariablen (Motivation, Interesse und Selbstwirksamkeit in Mathematik) wurden als Skalen aus den öffentlich verfügbaren PISA Daten (Prenzel et al., 2015) übernommen. Für die Mathematikkompetenz wurden fünf Plausible Values berücksichtigt (vgl. Lüdtke & Robitzsch, 2017). Zur Darstellung des Zusammenhanges wurden jeweils Pearson Korrelationen zwischen den drei Dimensionen der Lernstrategien und den Kontextvariablen berechnet.

Ergebnisse

Erste Ergebnisse weisen darauf hin, dass die Stärke der Zusammenhänge zwischen den Lernstrategien und kognitiven sowie non-kognitiven Kontextvariablen unterschiedlich ausfallen. Neben diesen auch inhaltlich zu erklärenden Korrelationsmustern, zeigt sich, dass das jeweils gewählte Antwortformat zur Operationalisierung einen Einfluss auf die gefundenen Zusammenhänge nimmt. Ferner zeigt sich, dass die Zusammenhänge zwischen den Lernstrategien und den Kontextvariablen für die gymnasialen und nicht gymnasialen Schularten unterschiedlich ausfallen.

So zeigt sich ein signifikanter positiver Zusammenhang zwischen Lernstrategien im Ratingskalenformat und Motivation, Interesse und Selbstwirksamkeit in Mathematik für nicht gymnasiale Schularten, nicht aber für Lernstrategien im Forced-Choice Antwortformat, bei dem geringe negative bis keine Zusammenhänge vorliegen.

Für die Elaborationsstrategien zeigen sich beispielsweise folgende Unterschiede: Für das Gymnasium liegt ein positiver signifikanter Zusammenhang mit Mathematikkompetenz und allen non-kognitiven Kontextvariablen vor, was zwar auch für den Zusammenhang mit non-kognitiven Kontextvariablen nicht gymnasialer Schularten zutrifft, nicht aber für den Zusammenhang mit Mathematikkompetenz. Hier zeigt sich ein negativer geringer Zusammenhang zwischen Elaborationsstrategien und Mathematikkompetenz im Ratingskalenformat und ein geringer Zusammenhang im Forced-Choice Antwortformat.

Insgesamt weisen die Ergebnisse darauf hin, dass das Forced-Choice Antwortformat keine universelle Lösung zur verzerrungsfreien Erfassung von Lernstrategien darstellt. So weisen insbesondere die differentiellen Befunde für die beiden Schularten darauf hin, dass beim Forced-Choice wie auch beim Ratingskalen Antwortformat bedeutsame Unterschiede in der Interpretation beider Antwortformate bestehen.



Entwicklung und Validierung eines Messinstruments zur Erhebung epistemologischer Überzeugungen von Lehrkräften geisteswissenschaftlicher Fächer

Caroline Rau, Jana Costa

Otto-Friedrich-Universität Bamberg, Deutschland

Theoretischer Hintergrund:

Epistemologische Überzeugungen sind in der internationalen sowie nationalen Forschungslandschaft als Forschungsgegenstand zunehmend präsent (vgl. Bernholt et al. 2017; Barzilai und Zohar 2016; Brownlee et al. 2011). Hierbei liegt ein Schwerpunkt u.a. auf dem Überzeugungssystem von (angehenden) Lehrkräften, das die Bereiche Mathematik, Naturwissenschaften, Erziehungswissenschaften/Pädagogik betrifft (vgl. Blömeke et al. 2014; Gläser 2015; Dunekacke et al. 2016; Merk et al. 2017). Auch wenn die Forschungsaktivitäten in Bezug auf epistemologische Überzeugungen zahlreich sind, besteht darüber hinaus hinsichtlich folgender Fragen kein (weitgehender) Konsens: beispielsweise im Hinblick auf die Dimensionalisierung, Konzeptualisierung, Entwicklung und Ausbildung sowie Domänenabhängigkeit bzw. -unabhängigkeit sowie der Einschätzung sophistizierter und naiver epistemologischer Überzeugungen und deren Einfluss auf den Wissenserwerb (vgl. hierzu u.a. Uslu 2018). Vor diesem Hintergrund mangelt es bisher an reliablen und validen Testinstrumenten, die sowohl die epistemologischen Überzeugungen von Lehrkräften, die ein geisteswissenschaftliches Fach unterrichten, angemessen erheben, als auch die Vergleichbarkeit und Übertragbarkeit der Forschungsergebnisse erlauben würden (vgl. hierzu auch Priemer 2006). Auf diese Forschungsdesiderate wurde mit einem Mixed-Method-Verfahren – im Speziellen mit einem explorativen Design – reagiert: In einem ersten Schritt wurden mittels einer qualitativ-rekonstruktiven Studie die epistemologischen Überzeugungen von Lehrkräften, die ein geisteswissenschaftliches Fach unterrichten, erhoben (vgl. Rau im Druck). In einem zweiten Schritt wurden die Ergebnisse dieser qualitativ-rekonstruktiven Studie als Grundlage für die Entwicklung eines quantitativen Messinstruments genutzt: Auf Basis des qualitativ-rekonstruktiven Materials wurden für die Entwicklung des quantitativen Messinstruments Items entwickelt und deren Güte in einem Pretest näher untersucht.

Fragestellung

In dem Beitrag wird auf Basis der Ergebnisse der qualitativ-rekonstruktiven Forschungsarbeit (vgl. Rau im Druck) ein Messinstrument zur Erhebung epistemologischen Überzeugungen von Lehrkräften geisteswissenschaftlicher Fächer vorgestellt und diskutiert. Dabei stehen folgende Fragen im Fokus:

  • Wie lassen sich die qualitativ-rekonstruierten Typen in ein empirisch-quantitatives Messinstrument übersetzen?
  • Inwiefern bilden sich die qualitativ-rekonstruierten Typen in einem empirisch-quantitativen Pretest ab?

Methode

Die qualitative Studie ist im qualitativ-rekonstruktiven Paradigma verortet: Mittels Gruppendiskussionsverfahren (vgl. hierzu auch Loos und Schäffer 2001) wurden Lehrkräfte, die ein geisteswissenschaftliches Fach unterrichten, über Gesprächsimpulse aufgefordert, sich über folgende Aspekte auszutauschen: Wie wird ‚Nature of Knowledge‘ und ‚Nature of Knowing‘ (vgl. Hofer und Pintrich 1997) in der unterrichtlichen Handlungspraxis gestaltet? Also: Wie generieren Lehrkräfte mit ihren Schülerinnen und Schülern Wissen über kulturelle Objektivationen? Wie wird Wissen über kulturelle Objektivationen seitens der Lehrkräfte vermittelt? Auf Basis von ‚theoretical Sampling‘-Strategien (vgl. Glaser und Strauss 1978) wurden Daten aus 19 Gruppendiskussionen interpretiert. Insgesamt sind die Äußerungen von 78 Befragten in diese Untersuchung eingeflossen. Als Auswertungsmethode diente die Dokumentarische Methode: Die hiermit rekonstruierten impliziten sowie handlungsleitenden epistemologischen Überzeugungen wurden zu einer sinngenetischen Typenbildung verdichtet (vgl. hierzu auch Bohnsack 2014, 2017; Nentwig-Gesemann 2013). Die interpretierten Daten wurden fortwährend in zwei Forschungswerkstätten intersubjektiv und konsensuell-kommunikativ validiert. Auf Basis der sinngenetischen Typenbildung bzw. der diese konstituierenden, drei sinngenetisch-verdichteten Idealtypen wurde ein empirisch-quantitatives Messinstrument entwickelt und an einer ausgewählten Stichprobe von Lehramtsstudierenden (n=100) validiert. Die aus dem qualitativen Material generierten Items werden unter anderem in Bezug auf ihre Roherwertverteilung, Trennschärfe, Reliabilität und Homogenität analysiert. Mittels der konfirmatorischen Faktorenanalyse wird nach der Dimensionalität des Messinstruments gefragt und die theoretisch angenommenen Zusammenhänge überprüft.

Ergebnisse

In der qualitativ-rekonstruktiven Studie zeigte sich, dass die epistemologischen Überzeugungen der Lehrkräfte, die ein geisteswissenschaftliches Fach unterrichten, an Geltungsfragen der im geisteswissenschaftlichen Unterricht generierten und vermittelten Wissensbestände orientiert sind. Darüber hinaus wird deutlich, dass Lehrkräfte unterschiedliche epistemische bzw. erkenntnislogische Handlungsmodi inkorporiert haben, um Geltung von geisteswissenschaftlichen Wissensbeständen sicherzustellen. So zeigt sich z.B., dass Idealtyp 1 ‚Kontingenzstopp‘ darin orientiert ist, die kulturellen Objektivationen vor dem Hintergrund seines Entstehungskontextes zu interpretieren. Idealtyp 1 wurde dementsprechend in Einzelitems, wie bspw. „Gedichte müssen vor dem Hintergrund ihres jeweiligen Entstehungskontextes interpretiert werden“ oder „Bei der Interpretation von Gedichten ist die Intention des Autors von zentraler Bedeutung“, überführt.



Schätzung von Bathtub-Mediationsmodellen auf Basis von Expected a Posteriori Faktorwerten

Steffen Zitzmann1, Christoph Helm2

1Institut für pädagogisch-psychologische Lehr- und Lernforschung, Deutschland; 2Johannes Kepler Universität Linz

Theoretischer Hintergrund

In der empirischen Bildungsforschung sind auch Zusammenhänge zwischen Variablen, die auf der Klassenebene angesiedelt sind aber nicht notwendigerweise auch auf dieser Ebene erfasst (d.h. erfragt) werden, sowie Wirkmechanismen, die diese Zusammenhänge vermitteln, von Interesse. Ein denkbares Szenario ist, dass der Einfluss der unterrichtsmethodischen Grundeinstellung der Lehrkraft auf die Lehrerbelastung durch den Mediator Schülerorientierung vermittelt wird. So zeigen Studien, dass Lehrpersonen mit einer konstruktivistischen unterrichtsmethodischen Grundeinstellung ein höheres Ausmaß an Schülerorientierung, Lernunterstützung und kognitive Aktivierung im Unterricht anbieten (z.B. Braun & Hannover 2008; Dubberke et al., 2008; Pauli et al., 2007; Staub & Stern, 2002; Voss et al., 2013). Schülerorientierung, Lernunterstützung und kognitive Aktivierung wiederum stehen im Zusammenhang mit erhöhten, erlebten Belastungen bei Lehrpersonen (z.B. Klusmann et al., 2006).
Die Datensätze, die zur Untersuchung derartiger Fragestellungen herangezogen werden, haben nicht selten eine Mehrebenenstruktur, in der Schüler*innen in Schulklassen geschachtelt sind. Zum Beispiel entsteht die Mehrebenstruktur dadurch, dass zur Erfassung der oben genannten Unterrichtsmerkmale die Schüler*innen einer Schulklasse gebeten werden, ihren Lehrer oder ihre Lehrerin auf diesen Dimensionen einzuschätzen, um die Einschätzungen anschließend über die Schüler*innen der Schulklasse zu Skalenwerten zu aggregieren (vgl. Lüdtke, Robitzsch, Trautwein, & Kunter, 2009).
Zur Analyse der Datensätze werden in der empirischen Bildungsforschung schon seit längerem latente Mehrebenmodelle eingesetzt, die es erlauben, für den Bias, der durch die Aggregation entsteht, zu korrigieren (für eine tiefergehende Diskussion vgl. Lüdtke et al., 2008).

Fragestellung

Der Beitrag diskutiert wie ein alternatives auf der Idee der Faktorwerteregression basierendes konsistentes Verfahren zur Messfehlerkorrektur eingesetzt werden kann, um unverzerrte Koeffizienten zu erhalten. Das Verfahren nutzt den sogenannten Expected a Posteriori (EAP) Schätzer für Faktorwerte, dessen Berechnung im Beitrag anhand des sogenannten „Bathtub-Modells“ (Coleman, 1990; vgl. auch Croon, van Veldhoven, Peccei, & Wood, 2014) illustriert wird. Das Bathtub-Modell stellt ein Mehrebenenmediationsmodell dar, das davon ausgeht, dass ein Prädiktor, der auf Klassenebene erfasst wurde (z.B. unterrichtsmethodische Grundeinstellung), vermittelt über einen auf Individualebene erfassten und auf Klassenebene hochaggregierten Mediator (z.B. Schülerorientierung) einen Einfluss auf eine auf Klassenebene erfasste relevante Outcome-Variable (z.B. Lehrerbelastung) ausübt.
Die populärsten Ansätze zur Schätzung dieses Modells sind Maximum Likelihood (ML) und seit kurzem Bayes. Im Beitrag wird das neue EAP-basierte Verfahren deshalb hinsichtlich der üblichen Kriterien (Konvergenz, Bias, RMSE, Coverage) in einer Simulationsstudie mit ML und Bayes verglichen.

Methode

In der Studie wurden die Anzahl der Schulklassen, ihre durchschnittliche Größe und die Intraklassenkorrelation der Schülervariablen variiert. Für jede Zelle im Simulationsdesign wurden 1000 Datensätze generiert. Jeder Datensatz wurde mit den drei Schätzansätzen analysiert.

Ergebnisse

Mit Blick auf die Bias, RMSE und Coverage zeigt sich, dass das EAP-basierte Verfahren im Vergleich zu den anderen Verfahren ähnlich abschnitt. Zudem konnten Bedingungen identifiziert werden, unter denen die Schätzung mittels ML zu Konvergenzproblemen führte und die Bayes-Schätzung nur mit erheblichem Rechenaufwand konvergierte, während das EAP-basierte Verfahren nach vergleichsweise kurzer Rechendauer zuverlässige Lösungen lieferte.

Diskussion

Uns ist noch keine Anwendung des Bathtub-Modells in der empirischen Bildungsforschung bekannt. Das eingangs genannte Beispiel macht aber deutlich, dass mit diesem und ähnlichen Mehrebenenmediationsmodellen durchaus interessante bildungswissenschaftliche Fragestellungen adressiert werden können. Die Einführung des Modells in die empirische Bildungsforschung stellt deshalb an sich schon einen wichtigen Beitrag dar. Außerdem deuten die Befunde darauf hin, dass das EAP-basierten Verfahren eine vielversprechende Alternative für die Schätzung des Bathtub-Modells sein kann, falls die populären Verfahren (ML, Bayes) versagen oder Probleme bereiten.