Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Tagung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
 
Sitzungsübersicht
Sitzung
Poster-S15: Modellierung und Analyse von Kompetenzen
Zeit:
Donnerstag, 26.03.2020:
15:45 - 17:00

Ort: S15

Präsentationen

Heterogenität in der KITA - Empirische Analyse der Kompetenzen von frühpädagogischen Fachkräften im Umgang mit Heterogenität

Janine Birkel-Barmsen

Universität Siegen, Deutschland

In Folge von gesellschaftlichen Entwicklungen und politischen Maßnahmen, wie dem Ausbau der Kinderbetreuung für unter Dreijährige, den Anstieg an Flucht und Migration sowie die Umsetzung der UN-Behindertenrechtskonvention, sind die Kindergruppen in den KITAs heterogener geworden. Die Diskussion über Heterogenität hat in der Wissenschaft ebenso wie in der Politik Konjunktur und es wird ein konstruktiver, pädagogischer Umgang hiermit gefordert (Betz und Bischoff 2017).

Als erste außerfamiliäre Bildungsinstitution steht die KITA vor der Herausforderung, Heterogenität zu berücksichtigen und allen Kindern gleiche Chancen auf Teilhabe und Bildung zu ermöglichen. Überlegungen zur Gestaltung eines entsprechenden pädagogischen Alltags machen es zwangsläufig erforderlich, die dort tätigen Fachkräfte in den Blick zu nehmen und sich intensiv mit den professionellen Kompetenzen (Anlehnung an Weinert (2001)) der frühpädagogischen Fachkräfte im Umgang mit Heterogenität auseinanderzusetzen. Es ist fraglich, in welchem Maße entsprechende Kompetenzen vorliegen und wodurch sie bedingt werden.

Eine Lücke, die bisher vorliegende Forschungsbefunde aufweisen, ist durch die Konzentration auf eine Heterogenitätsdimension bedingt: Fast ausschließlich werden Kinder mit Be¬hinderungen oder Migrationshintergrund betrachtet. Die pädagogische Alltagspraxis ist jedoch durch eine Vielzahl an Heterogeni¬tätsdimensionen gekennzeichnet. Um den Begriff der Heterogenität – vor allem in Bezug auf Bildungsein¬richtungen – theoretisch und empirisch fruchtbar zu machen, muss er alle für die Ein- bzw. Aus¬schließung von Bildungschancen relevanten Heterogenitätsdimensionen wie Alter, Geschlecht, soziale Zu¬gehörigkeit, ökonomische Voraussetzungen, Ethnizität, Sprache, Religion, sexuelle Identität und Fä¬higkeiten umfassen. Zudem sind die bisherigen Beschreibungen von Kompetenzen im Umgang mit Heterogenität eher normativ, es fehlt ein theoretisch fundiertes und empirisch überprüftes Kompetenzmodell.

Ziel meines Promotionsvorhabens ist die Bereitstellung eines solchen Modells. Zu diesem Zweck wurden bisher teilnehmende Beobachtungen (n=5), explorative Interviews (n=5) als auch Leitfadeninterviews (n=10) durchgeführt. Die Auswertung erfolgte durch eine standardisierte Inhaltsanalyse. Die hieraus resultierenden Erkenntnisse bilden gemeinsam mit dem Kompetenzmodell für die Frühpädagogik (Fröhlich-Gildhoff et.al. 2011) und dem Rahmenkonzept zu Heterogenität im Unterricht (Gräsel et. al. 2017) die Basis für das entwickelte theoretische Modell zum Umgang mit Heterogenität in der KITA.

Um das entwickelte Modell empirisch zu überprüfen ist für Februar 2020 ist eine standardisierte Onlinebefragung in NRW geplant. Hierfür wird aus jedem der beiden Landesjugendamtsbezirke (LVR & LWL) eine Zufallsstichprobe von jeweils 25 Kreisjugendämtern gezogen, in jedem dieser insgesamt 50 Kreisjugendamtsbezirke wird aus der Adressliste aller Einrichtungen eine Klumpenstichprobe mit je 12 zufällig ausgewählten Einrichtungen gezogen. In den Einrichtungen der Stichprobe arbeiten durchschnittlich ca. 10 Fachkräfte; die Brutto-Stichprobe umfasst demnach ca. 6.000 Personen in 600 Einrichtungen. Bei einer geschätzten Teilnahmequote von 35 Prozent auf der Ebene der Einrichtungen und von 40 Prozent auf der Ebene der Fachkräfte wird die Netto-Stichprobe ca. 800 Personen in 200 Einrichtungen umfassen.

Die Auswertung der standardisierten Onlinebefragung soll anhand verschiedener deskriptiver Verfahren und statistischer Analysen erfolgen. Zur Überprüfung des Modelles sind Strukturgleichungsmodelle geplant. Um Kontexteffekte von Einrichtungen überprüfen zu können, sollen u. a. Mehrebenenanalysen durchgeführt werden.



Fortbildung von Lehrkräften zur Förderung von Schreibkompetenz durch Feedback

Nora Müller, Lea Maria Siekmann, Vera Busse

WWU Münster, Deutschland

Für Bildungsteilhabe und gesellschaftliche Partizipation von Schüler_innen stellt Schreibkompetenz eine zentrale Voraussetzung dar. Zwar wird gemäß der Bildungsstandards erwartet, dass Lernende gegen Ende der Sekundarstufe I die Phasen des Schreibprozesses (Entwerfen, Schreiben, Überarbeiten) selbständig durchführen sowie sprachliche Mittel zur Herstellung von Textkohärenz kennen und anwenden können (KMK 2004a; KMK 2004b), dennoch fällt es vielen Jugendliche sehr schwer, eigene Texte zu verfassen. Dies gilt insbesondere für sozial benachteiligte Schüler_innen sowie Zweitsprachlernende (zu internationalen Befunden siehe die Metaanalyse von Graham & Perin, 2007a; für Befunde aus dem deutschsprachigen Raum siehe DESI-Konsortium, 2008).

Meta-Analysen zeigen, dass Feedback ein besonders wirksames Mittel ist, durch dessen Einsatz Lehrkräfte das Lernen ihrer Schüler_innen gezielt fördern können (Hattie & Timperley, 2007), wobei insbesondere schwächere und Zweitsprachlernende von Feedback zum Schreiben profitieren (Biber, 2011). Allerdings bedarf das Verfassen von lernförderlichen Rückmeldungen entsprechender Schulung. Viele Lehrkräfte richten gerade bei schwächeren Schüler_innen oder Zweitsprachlernenden den Fokus des Feedbacks eher auf formale Aspekte des Schreibproduktes und weniger auf die Entwicklung inhaltlicher Kohärenz und Kohäsion, was dazu führen kann, dass sich die Schreibkompetenz der betroffenen Lernenden nicht angemessen entwickelt (Lee, 2017; Parr & Timperley, 2010). Hinzu kommt, dass das Verfassen von individuellem formativem Feedback zeitintensiv ist, was die Implementierung schriftlicher Rückmeldungen im schulischen Alltag erschwert. Abhilfe schaffen könnten bestimmte zeitökonomische formative Feedbackformen, z.B. das Bereitstellen von Textmodellen guten Schreibens und Peer-Feedback. Ob diese Methoden die Schreibkompetenz von Schüler_innen in vergleichbarem Maße fördern können wie individuelles Feedback, ist allerdings noch nicht eindeutig belegt (Graham & Perin, 2007b).

Ein zwei Einzelstudien umfassendes Interventionsprojekt soll daher der Forschungsfrage nachgehen, inwieweit entsprechend geschulte Lehrkräfte durch die Implementierung von schriftlichem diversitätssensiblem Feedback, das im Rahmen von individuellen oder zeitökonomischen Rückmeldungen erfolgt, maßgeblich und nachhaltig zur Förderung der Schreibkompetenz ihrer Schüler_innen beitragen können.

In Studie 1 werden Oberschullehrkräfte der Fächer Deutsch und Englisch fortgebildet. Es werden insgesamt N = 30 Lehrkräfte rekrutiert, die randomisiert in zwei Experimentalgruppen und eine Wartekontrollgruppe eingeteilt werden (jeweils n = 10). Die Lehrkräfte der Experimentalgruppen erhalten anschließend eine zweitägige Schulung zur Förderung von Schreibkompetenz durch die Implementierung von lernförderlichem, diversitätssensiblem Feedback. Experimentalgruppe 2 erhält zusätzlich eine Schulung zur Implementierung zeitökonomischer Feedbackmethoden. Diese Gruppe wird verstärkt mit Modellen guten Schreibens, Peer-Feedback und standardisierten Feedbackbögen arbeiten, die auch in größeren Lerngruppen gut umsetzbar sind. Von allen Lehrkräften werden an zwei Messzeitpunkten Wissen, Einstellungen und Handlungskompetenzen im Bereich Schreiben und Feedback ermittelt.

In Studie 2 setzen die zuvor geschulten Lehrkräfte die gelernten Feedbackmaßnahmen für die Dauer eines Schulhalbjahres im Unterricht ihrer 9. Klassen ein. Dabei werden an drei Messzeitpunkten (Prä – Post – Follow-up) schriftsprachliche Kompetenzen sowie affektive und motivationale Faktoren (z.B. Schreibangst und Selbstwirksamkeit) der Schüler_innen erhoben. Außerdem wird der Einsatz der Feedbackmaßnahmen im Unterricht von den Lehrkräften in einem Logbuch dokumentiert, das als Fidelity Measure (1) eingesetzt wird. Als weitere Fidelity Measure (2) dienen Unterrichtsbesuche des Projektteams.

In der Auswertung werden Auswirkungen der Intervention auf die Entwicklung der Schreibkompetenz sowie auf affektive und motivationale Faktoren der Schüler_innen untersucht, wobei auch die Effekte der individuellen und der zeitökonomischen Intervention miteinander verglichen werden. Außerdem wird fokussiert, ob sozial benachteiligte Lernende bzw. Lernende mit Migrationshintergrund besonders von den Maßnahmen profitieren. Es wird erwartet, dass die unterrichtliche Umsetzung der in der Fortbildung vermittelten Feedbackmaßnahmen durch die Lehrkräfte zu einer signifikanten Leistungssteigerung der Schreibkompetenz der Lernenden führt. Ebenso werden positive Effekte in Bezug auf die Motivation und Selbstwirksamkeitskonzepte bei den Lernenden vermutet. Noch offen ist dabei, inwiefern die Nutzung von zeitökonomischen gegenüber individuellen Feedbackmaßnahmen Vor- oder Nachteile bietet.



Musikbezogene Argumentationskompetenz. Testentwicklung und Kompetenzmodellierung

Julia Ehninger1, Jens Knigge2, Christian Rolle1

1Universität zu Köln, Deutschland; 2Nord University, Norwegen

Theoretischer Hintergrund

Seit Jahren sind musikbezogene Kompetenzen in Schulcurricula fest verankert (Knigge, 2014). Bisher ist jedoch weitgehend unklar, wie diese Kompetenzen gemessen werden können und wie sie strukturiert sind (Hasselhorn & Knigge, 2018). Dies gilt insbesondere für die Kompetenz, Urteile über Musik zu begründen (zur Verankerung in deutschen Musik-Curricula s. u. a. Niessen, Lehmann-Wermser, Knigge & Lehmann, 2008). Christian Rolle definiert musikbezogene Argumentationskompetenz als Kompetenz „verständlich, plausibel und differenziert ästhetische Werturteile über Musikstücke begründen zu können“ (Knörzer, Rolle, Stark & Park, 2015, S. 148). Er schlägt ein Modell vor, das die Kompetenzentwicklung in sieben Niveaus beschreibt (Rolle, 2017).

Methode

Im Rahmen des Forschungsprojektes wird ausgehend von Rolles Kompetenzmodell ein Messinstrument (Kompetenztest) für musikbezogenes Argumentieren entwickelt, um die Kompetenz auf Basis der empirischen Daten zu modellieren. Die Datenerhebung für die Hauptstudie läuft noch bis Oktober 2019. Der 90-minütige Test wurde für Schüler_innen der neunten bis zwölften gymnasialen Jahrgangsstufe konzipiert und über Plattform SoSciSurvey distribuiert (N = 460). Mindestens zwei Rater_innen kodieren die ausschließlich offenen Testitems. Im Anschluss wird die Qualität der Aufgaben mittels klassischer und probabilistischer Methoden der Item- und Testanalyse überprüft (z. B. Bühner, 2011). Relevant sind hierfür insbesondere die Reliabilitäten der Testhefte sowie die Itemschwierigkeiten, -trennschärfen und -fitindizes. Die Modellierung der Kompetenz erfolgt auf Basis des ordinalen Raschmodells (z. B. Rost, 2004).

Ergebnisse

Die Interrater-Reliabilitäten der Items liegen in einem sehr guten Bereich (ICC(2,3) > .88; ICC(2,1) > .85). Erste Ergebnisse zeigen, dass (1) die Items Rasch-skalierbar sind und (2) die entsprechenden Items eine große Varianz des latenten Konstruktes abbilden. (3) Modelltests weisen darauf hin, dass sich die theoretisch angenommene Kompetenzstruktur empirisch abbilden lässt.



TRUST: Entwicklung und Validierung eines Situational Judgement Tests zur Erfassung sozial-emotionaler Kompetenz von (angehenden) Lehrkräften

Karen Aldrup1, Bastian Carstensen1, Michaela Köller2, Uta Klusmann1

1Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN), Kiel; 2Institut für Pädagogisch-Psychologische Lehr- und Lernforschung, Kiel

Hintergrund

Soziale Interaktionen zwischen Lehrkräften und den Lernenden spielen im Schulkontext eine zentrale Rolle. Sie sind die Basis gelingenden Unterrichts und sowohl mit dem affektiv-motivationalen Erleben und dem Lernerfolg der Schülerinnen und Schüler (Roorda, Koomen, Spilt & Oort, 2011) als auch mit dem Wohlbefinden von Lehrkräften assoziiert (Klassen, Perry & Frenzel, 2012; Spilt, Koomen & Thijs, 2011). Die Frage, welches Wissen und welche Fähigkeiten für eine gelingende Interaktion und den Aufbau positiver Lehrer-Schüler-Beziehungen relevant sind, lässt sich in Anlehnung an Modelle sozial-emotionaler Kompetenz ableiten (Jennings & Greenberg, 2009). Dabei werden konsistent die Fähigkeiten zum Erkennen und Regulieren von Emotionen bei sich und anderen genannt. Ein verbreitetes Testverfahren, um diese Fähigkeiten zu messen, ist der Mayer-Salovey-Caruso Emotional Intelligence Test (MSCEIT; Mayer, Salovey, & Caruso, 2002). Spezifisch für den Schulkontext existiert allerdings bislang kein Instrument zur objektiven Messung sozial-emotionaler Kompetenz von Lehrkräften. Gerade vor dem Hintergrund der besonderen Natur der Lehrer-Schüler-Interaktion scheint ein situationsspezifischer Ansatz von Vorteil zu sein.

Forschungsanliegen

Der vorliegende Beitrag behandelt die Entwicklung und Validierung des Test of Regulation in and Understanding of Social Situations in Teaching (TRUST). Dieser Situational Judgement Test beruht auf einem theoriebasierten Ansatz und erfasst die Fähigkeit der Lehrkraft zur adaptiven Emotionsregulation und zum Aufbau positiver Beziehungen im Kontext der sozialen Interaktion mit Schülerinnen und Schülern. TRUST umfasst Situationsbeschreibungen mit jeweils vier zugehörigen Handlungsalternativen, die theorie- und forschungsbasiert konstruiert und mithilfe einer Expertenstichprobe von N = 14 Schulpsychologinnen und Schulpsychologen überprüft wurden.

Der Test setzt sich aus zwei Subtests zusammen –Emotionsregulation (8 Situationen) und Beziehungsmanagement (9 Situationen). Die Handlungsalternativen für jede Situation werden jeweils hinsichtlich ihrer Wirksamkeit von (1) sehr unwirksam bis (5) sehr wirksam beurteilt. Für den Subtest Emotionsregulation beinhalten die Handlungsalternativen die Anwendung spezifischer Emotionsregulationsstrategien (z. B. kognitive Umbewertung, Vermeidung). Die Wirksamkeit jeder Handlungsalternative wurde in Abhängigkeit der Situation und aus Theorie und Forschung abgeleiteten Kriterien festgelegt (Gross, 2015; Gross & John, 2003). Die Wirksamkeit der Handlungsalternativen für den Subtest Beziehungsmanagement wurde u. a. auf Basis des CLASS-Frameworks ermittelt (Hamre & Pianta, 2007; Pianta et al., 2012).

Vorgehen und Ergebnisse

Die Validität des Tests wurde bisher in zwei Studien mit Lehramtsstudierenden (Studie I, N = 107) und Lehrkräften im Beruf (Studie II, N = 166) untersucht. In beiden Studien konnte eine zufriedenstellende interne Konsistenz des Verfahrens gezeigt werden, sowohl für den Subtest Emotionsregulation (αER = .69-.83) als auch für Beziehungsmanagement (αLSI = .75-.80). Trotz der substanziellen Korrelation der Subtests untereinander (r = .75) unterstützten die Ergebnisse konfirmatorischer Faktorenanalysen die theoretische Annahme zweier getrennter Merkmalsbereiche; ein zweifaktorielles Modell zeigte eine signifikant bessere Anpassung gegenüber einer Ein-Faktor-Lösung (Δχ² = 84.19, Δdf = 1, p < .001).

Hinsichtlich konvergenter und diskriminanter Validität zeigten die Ergebnisse aus Studie I positive Zusammenhänge mit den Testergebnissen des MSCEIT (Mayer et al., 2002), rER = .27-.35, rLSI = .27-.37. Zu den Big Five Persönlichkeitsdimensionen zeigte sich ein schwacher bis moderater Zusammenhang, der am stärksten für Gewissenhaftigkeit ausfiel (rER = .20, rLSI = .27). In Studie II wurden Zusammenhänge mit externen Kriterien untersucht. Lehrkräfte mit höheren Testscores berichteten auch eine bessere Beziehung zu ihren Schülerinnen und Schülern (rER = .21, rLSI = .29). Ferner waren Burnout-Symptome bei Lehrkräften mit höheren Testscores geringer ausgeprägt (insbesondere Depersonalisation; rER = –.46, rLSI = –.37).

Zusammenfassung

TRUST ist ein neu entwickeltes Testverfahren zur objektiven Erfassung sozial-emotionaler Kompetenz bei (angehenden) Lehrkräften. Die Ergebnisse der Validierungsstudien sprechen für die Nützlichkeit von TRUST in forschungs- und praxisbezogenen Anwendungsgebieten, z. B. zur Evaluation von Interventionen, zum Einsatz in der Lehrerbildung oder zum Abbilden professioneller Entwicklungsverläufe. Zur weiteren Validierung sollen die Testergebnisse mit objektiven Maßen wie Unterrichtsbeobachtungen und Einbezug weiterer Perspektiven wie Schülerbefragungen in Zusammenhang gesetzt werden.



Kompetentes Einkaufen von Primarschulkindern im virtuellen Supermarkt: Eine Analyse der aus computergenerierten Log-Files gewonnen Prozess- und Ergebnisdaten

Philine Drake1, Manuel Froitzheim2, Johannes Hartig1, Gunnar Mau3, Theresia Mennekes2, Hanna Schramm-Klein2, Michael Schuhen2

1DIPF | Deutsches Institut für Internationale Pädagogische Forschung, Deutschland; 2Universität Siegen; 3Hochschule Macromedia

In Deutschland verfügen Kinder durch Taschengeld und Geldgeschenke über knapp 3 Milliarden Euro an Kaufkraft (Kinder-Medien-Studie 2019) und beginnen mit etwa sieben Jahren, Geld durch erste eigene aktive Kaufentscheidungen auszugeben (McNeal, 2007). Dies macht Kinder zu einer bedeutsamen Zielgruppe für Hersteller und Händler (Effertz, 2008) und Adressaten einer Vielzahl vom Marketingbotschaften (Kunkel et al., 2004). Die Marketingmaßnahmen treffen jedoch im Falle von Kindern auf potentielle Konsumenten, deren kognitiven Fähigkeiten und Fertigkeiten noch nicht voll entwickelt sind und denen es an Markterfahrung und -wissen mangelt. Im Primarschulalter gelten Kinder als „cued processors“ (John, 2008), da ihre Informationsverarbeitung zwar komplex, aber dennoch an Hinweise und Vorgaben gebunden ist. Strategien zur Nutzung von Informationen in Kaufentscheidungssituationen sind ihnen oft bekannt, können jedoch nicht immer situationsgerecht abgerufen werden (Mau, Schuhen, Steinmann & Schramm-Klein, 2016; Schuhen, Mau, Schramm-Klein & Hartig, 2017).

Für eine kompetente Teilhabe am Marktgeschehen und somit wichtigen gesellschaftlichen Prozessen bedarf es derjenigen kognitiven und motivational-affektiven Fertigkeiten, die Konsumenten in die Lage versetzen, den gesamten Kaufprozess so zu bewältigen, dass die eigenen Ziele und Bedürfnisse erreicht und die Herausforderungen sowie das eigene Handeln verstanden und reflektiert werden können. Hierfür könnten nach unseren Annahmen neben dem Wissen um verschiedene Konzepte (z. B. Besitz), bestimmten mathematischen Fertigkeiten (z. B. Preis-Mengen-Vergleiche) und Lerngelegenheiten, auch affektive, behaviorale und kognitive Komponenten von Einstellungen relevant sein. Inwieweit sich diese einzelnen Aspekte gemeinsam im Sinne der Kaufkompetenz auf Kaufentscheidungen auswirken, wurde bisher jedoch noch nicht untersucht. In unserer von der Deutschen Forschungsgemeinschaft geförderten Studie werden deshalb erstmalig systematisch die Kaufkompetenz, das Kaufverhalten und die Kaufentscheidungsprozesse von Primarschulkindern analysiert und Hypothesen zur Struktur der Kaufkompetenz getestet.

Während die Messung und Modellierung von Kompetenzen in der Regel auf Ergebnisindikatoren fokussiert, ist es in dieser Studie möglich, neben interindividuellen Unterschieden in den Aufgabenergebnissen auch Verhaltensunterschiede in der Erreichung eines bestimmten Ergebnisses in die Kompetenzmodellierung einzubeziehen. Das Poster wird daher der Fragestellung gewidmet, wie effektiv und effizient die untersuchten Kinder die gesetzten Ziele beim Einkauf umsetzten und welche Verhaltensmerkmale hierfür entscheidend waren. Es wird durch theoriegeleitete als auch explorative Analysen gezeigt, welche Prozessvariablen aus computergenerierten Log-Files als Prädiktoren des Aufgabenerfolges extrahiert werden können.

Für die systematische Analyse der Kaufkompetenz von Primarschulkindern wurde ein computerbasiertes Messinstrument entwickelt, das neben einem Wissenstest und Einstellungsfragen auch eine computergestützte Einkaufssimulation umfasst, mit der kompetentes Einkaufsverhalten in einem virtuellen Supermarkt getestet werden kann. Anhand einer Einkaufsliste und einem maximalen Budget sollen die Kinder im Alter von 8-10 Jahren möglichst günstig für ihre Eltern einkaufen. Während der Bearbeitungszeit werden alle Interaktionen der Kinder mit der Simulationsoberfläche erfasst. Als erfolgreich gelöst gilt die Aufgabe dann, wenn innerhalb des Zeitfensters alle Produkte auf dem Einkaufszettel möglichst günstig gekauft, die Budgetgrenze eingehalten und keine ungeplanten Einkäufe getätigt wurden. Neben diesen Kennwerten des Erfolges werden auch die Prozessdaten analysiert, die das Bearbeitungsverhalten wiederspiegeln und Rückschlüsse auf kognitive Bearbeitungsprozesse erlauben. Hieraus werden Anhaltspunkte gewonnen, warum ein Kind die Aufgabe erfolgreich lösen konnte oder warum es scheiterte. Auf dem Poster werden erste Ergebnisse aus den Prozessdatenanalysen der Pilotstudie des Projekts vorgestellt. Diese beinhalten identifizierte Verhaltensmuster, deren Häufigkeit und deren Zusammenhänge mit dem Erfolg in der Simulation und anderen Schülervariablen.

Unser Poster präsentiert, wie Prozessdaten diagnostischen Mehrwert beim computerbasierten Testen generieren. Methodisch ist dies nicht nur für die Messung und Modellierung von Kompetenzen im Allgemeinen bedeutsam, sondern auch für die Forschungsbereiche des „Educational Process Mining“ und des digitalen Assessments in Schulen von hoher Relevanz.



Chemiebezogene Kompetenzen am Übergang vom Sachunterricht zum Chemieunterricht

Alina Behrendt, Vanessa Fischer, Maik Walpuski

Universität Duisburg-Essen, Deutschland

Während chemische Inhalte in der Grundschule in den Sachunterricht integriert werden, sind sie in der Sekundarstufe I im Chemieunterricht oder im integrierten naturwissenschaftlichen Unterricht zu finden (Möller, 2014). Der Fachunterricht Chemie setzt in Nordrhein-Westfalen meist in der Jahrgangsstufe 7 ein. Der Sachunterricht endet bereits zum Ende der Grundschulzeit in der Jahrgangsstufe 4. Folglich umfasst der Übergang vom Sachunterricht zum Chemieunterricht einen Zeitraum von zwei Jahren, in dem chemische Inhalte entweder gar nicht oder nur eingeschränkt in einem integrierten naturwissenschaftlichen Unterricht thematisiert werden (MSW NRW, 2013).

Nicht nur innerhalb eines Faches, sondern auch über die Fächergrenzen hinweg sollte kumulatives Lernen angestrebt werden. Dabei sollten neue Inhalte effizient in das bestehende Wissensnetz der Lernenden integriert werden (Fischer et al., 2007). Durch aneinander anknüpfende Kompetenzformulierungen in den Lehrplänen der Fächer Sachunterricht und Chemie in Nordrhein-Westfalen (MSW NRW, 2013; 2008) werden solche kumulativen Lernprozesse angeregt. Verschiedene Schulleistungsstudien zeigen jedoch, dass eine kontinuierliche Weiterentwicklung naturwissenschaftlicher und damit auch chemiebezogener Kompetenzen nicht immer zu gelingen scheint. Während in TIMSS 2011 78 % der deutschen Viertklässlerinnen und Viertklässler ein mittleres bis hohes Kompetenzniveau in den Naturwissenschaften erreichten (Bos et al., 2012), befanden sich in PISA 2015 nur 60,3 % der deutschen 15-Jährigen auf einem vergleichbar hohen Kompetenzniveau (OECD, 2016).

Bezogen auf das Fach Chemie ist bisher wenig darüber bekannt, welche Kompetenzen die Schülerinnen und Schüler in der Grundschule bereits erwerben und wie sich diese während der Übergangsphase verändern. Um dies zu untersuchen, wurde ein Testinstrument entwickelt und validiert. In der dafür durchgeführten Pilotstudie wurde der folgenden Forschungsfrage nachgegangen:

Lassen sich die chemiebezogenen Kompetenzen der Schülerinnen und Schüler mit dem entwickelten Testinstrument objektiv, reliabel und valide erfassen?

Im Rahmen der Pilotstudie wurde das Testinstrument im Mai 2019 in Grundschulen und Gesamtschulen in Nordrhein-Westfalen eingesetzt. Die Stichprobe umfasste 760 Schülerinnen und Schüler der Jahrgangsstufen 4 bis 8. Die Testungen wurden durch geschulte Testleiterinnen und Testleiter durchgeführt.

Bei dem Testinstrument handelt es sich um einen Paper-Pencil-Test mit Multiple-Choice-Aufgaben. Für jede Aufgabe liegen sechs Antwortmöglichkeiten vor. Für jede Antwortmöglichkeit müssen die Schülerinnen und Schüler entscheiden, ob es sich um eine richtige oder falsche Antwort handelt oder ob sie sich diesbezüglich unsicher sind. Der Test enthält Aufgaben zu den vier Kompetenzbereichen der Kernlehrpläne Chemie für die Sekundarstufe I in Nordrhein-Westfalen. Dabei handelt es sich um die Kompetenzbereiche Fachwissen, Erkenntnisgewinnung, Kommunikation und Bewertung (MSW NRW, 2013). Der Kompetenzbereich Fachwissen lässt sich durch drei Basiskonzepte strukturieren. Die drei anderen Kompetenzbereiche lassen sich unter dem Begriff prozessbezogene Kompetenzen zusammenfassen. Für jeden dieser drei Kompetenzbereiche und für jedes der drei Basiskonzepte wurden acht Aufgaben entwickelt. Aus den insgesamt 48 Aufgaben wurden drei Testhefte erstellt, die durch ein Incomplete-Block-Design miteinander verknüpft sind. Zur Erhöhung der Validität des Testinstruments wurden alle Aufgaben durch sieben Rater den verschiedenen Kompetenzbereichen zugeordnet. Es ergab sich eine Interraterreliabilität von κ = .78.

Die Auswertung der Pilotstudie erfolgte mithilfe von IRT-Analysen. Es wurde ein Partial-Credit-Modell verwendet, bei dem pro Aufgabe 0 bis 6 Punkte vergeben wurden. Dabei wurden Personenfähigkeiten und Itemkennwerte für ein eindimensionales und für ein zweidimensionales Modell mit den Dimensionen Fachwissen (FW) und prozessbezogene Kompetenzen (PK) geschätzt. In einer Dimensionsanalyse wurden beide Modelle miteinander verglichen.

Dabei zeigte sich, dass das zweidimensionale Modell zu bevorzugen ist. Für beide Dimensionen liegen zufriedenstellende EAP-Reliabilitäten (EAP-ReliabilitätFW = .761; EAP-ReliabilitätPK = .824) und Infit-Werte (0.754 < InfitFW < 1.266; 0.604 < InfitPK < 1.308) vor. Die Varianz (VarianzFW = 0.170; VarianzPK = 0.204) und die Itemtrennschärfen (0.591 < TrennschärfeFW < 0.455; 0.562 < TrennschärfePK < 0.535) fallen hingegen gering aus. Auf Grundlage dieser Ergebnisse wurde das Testinstrument überarbeitet. Im Rahmen der Tagung können erste Aussagen zur Verbesserung der Kennwerte und zum Vergleich der Jahrgangsstufen getätigt werden.



Keine Aufgabe ist perfekt – Wovon hängt es ab, ob Schülerinnen und Schüler beim Bearbeiten von Kompetenztestaufgaben ihr Leistungspotenzial ausschöpfen?

Eva Cauet, Alexander Kauertz

Universität Koblenz-Landau, Deutschland

Es gibt immer wieder eigentlich kompetente Schülerinnen und Schüler (SuS), die für sie passende Kompetenztestaufgaben nicht lösen. Bei den meisten Kompetenzdiagnosen (z.B. ESNaS, Walpuski et al., 2010) wird die Aufgabenschwierigkeit über ausgewählte kognitive Prozesse (reproduzieren, selegieren, integrieren, elaborieren) und deren Komplexität beschrieben. Das Lösen von Kompetenztestaufgaben erfordert aber eine komplexe Abfolge aus Informationsaktivierung und -generierung und damit eine Vielzahl an bewussten und unbewussten Entscheidungen. Ob und wie diese getroffen werden, hängt daher vom Zusammenspiel zwischen allen für die Aufgabenlösung notwendigen kognitiven Prozessen und damit verbundenen Leistungsemotionen ab.

Um Kompetenztestaufgaben im Kompetenzbereich Fachwissen zu lösen, müssen im Physikunterricht entwickelte Wissensstrukturen aktiviert und auf bekannte und unbekannte Situationen übertragen werden (vgl. KMK, 2005). Jede Aufgabenbearbeitung stellt also einen Transferprozess dar. Das Detect-Elect-Connect-Modell (dec-Modell, Perkins & Salomon, 2012) beschreibt drei „Hürden“, die für einen erfolgreichen Transferprozess überwunden werden müssen: SuS müssen zunächst eine mögliche Verbindung zwischen Problemsituation und dem zur Lösung des Problems notwendigen Fachwissen erkennen (Detect) und anschließend auf Basis ihrer Dispositionen und Motivationen die Entscheidung fällen, dieser Verbindung nachzugehen (Elect); schlussendlich müssen sie Wissen und Problemsituationen korrekt miteinander verbinden (Connect). Das dec-Modell lässt allerdings offen, wie SuS diesen Bearbeitungsprozess initiieren und wovon es abhängt, ob sie sich kognitiv aktiv mit der Aufgabe auseinandersetzen.

Um Aufgaben so gestalten zu können, dass Bearbeitende in Kompetenztestaufgaben im Fach Physik ihr Leistungspotenzial ausschöpfen können, ist ein besseres Verständnis des komplexen Wechselspiels zwischen Aufgabenmerkmalen, Wissen, Wissensaktivierung, Transferprozessen, motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten notwendig.

Das Poster diskutiert daher die Frage: Welche Personen- und Aufgabenmerkmale begünstigen eine kognitiv aktive Auseinandersetzung mit Physikkompetenztestaufgaben?

In der initialen Phase des Aufgabenbearbeitungsprozesses werden Aufgabeninformationen wahrgenommen und bewertet, um zu entscheiden, ob und wie die Aufgabe weiterbearbeitet wird. Diese Phase bestimmt daher den individuellen Startwert für die Höhe der Detect-Hürde. Ziel der initialen Phase ist die vertiefte kognitive Auseinandersetzung mit der Aufgabe (System-II-Aktivierung, z.B. Evans, 2008) zu erreichen. Nach dem Erwartungs-mal-Wert-Modell (Eccles, 1983) bzw. der Kontroll-Wert-Theorie (Pekrun, 2006) muss die bearbeitende Person dafür auf Grundlage ihrer individuell konstruierten Wahrnehmung der Aufgabe eine hinreichend hohe Wahrscheinlichkeit sehen, diese erfolgreich zu lösen (Erwartungs- bzw. Kontrollkomponente). Hierbei spielen ihr Selbstbild (Selbstkonzept und Selbstwirksamkeitserwartung) und ihre Überzeugungen eine wesentliche Rolle (vgl. z.B. Mews & Pöge, 2019; Shin & Song, 2006). Außerdem muss der subjektive Wert, den die Person der Aufgabenlösung beimisst und der durch ihre motivationalen Orientierungen bedingt ist (vgl. Mews & Pöge, 2019), groß genug sein, um leistungsbezogenes Verhalten zu zeigen. Zu berücksichtigen ist allerdings, dass bei sehr hoher Wahrscheinlichkeitseinschätzung die Aufgabe als so trivial wahrgenommen werden kann, dass sie ohne Aktivierung von System-II-Prozessen gelöst wird, was bei weniger gewissenhaften Personen zum Übersehen einzelner Hürden oder Nachlässigkeit bei der Bearbeitung führen kann.

In einer Stichprobe von N=900 SuS (Jahrgangsstufe 10) sollen zunächst die folgenden Hypothesen regressionsanalytisch untersucht werden (für H2-H4 im Rahmen von Mehrebenenanalysen um Fehlinterpretationen durch Störvariablen auf Klassenebene vorzubeugen, vgl. Langer, 2009):

1. Die Wahrscheinlichkeitseinschätzung zur Lösung einer Aufgabe durch SuS hängt unter Kontrolle der Gewissenhaftigkeit nicht linear mit der Wahrscheinlichkeit zur kognitiven Aktiviertheit bei der Aufgabenbearbeitung zusammen.

2. Die Wahrscheinlichkeit, dass SuS für sie passende Kompetenztestaufgaben lösen, steigt mit der Wahrscheinlichkeit zur kognitiven Aktiviertheit an.

3. Das Selbstbild von SuS beeinflusst unter Kontrolle des Fachwissens die Wahrscheinlichkeitseinschätzung zur Lösung einer Aufgabe sowie die Wahrscheinlichkeit zur kognitiven Aktiviertheit beim Bearbeiten der Aufgabe.

4. Letzterer Zusammenhang wird über die Überzeugungen zum Lernen im Fach Physik moderiert.

In einem nächsten Schritt soll untersucht werden, ob und inwieweit niedrigschwellige Variationen der die Testsituation einleitenden Kommunikation durch Ausnutzung von Framing- und Primingeffekten dazu geeignet sind, die Wahrscheinlichkeit zur kognitiven Aktiviertheit und damit die Wahrscheinlichkeit zu erhöhen, dass Lernende beim Bearbeiten von Physikkompetenztestaufgaben ihr Leistungspotenzial voll ausschöpfen.



Welchen Einfluss haben individuelle Merkmale der Schülerinnen und Schüler auf die Entwicklung der Rechtschreibkompetenz?

Jessica Jaeuthe, Katja Bogda, Stefanie Bosse, Jennifer Lambrecht, Nadine Spörer

Universität Potsdam, Deutschland

Theorie:

Die Entwicklung von Rechtschreibkompetenz wird theoretisch als ein Modell mit verschiedenen Kompetenzleveln beschrieben (z. B. Frith 1985, Scheerer-Neumann 2015). Die Level werden zwar in verschiedenen Modellen unterschiedlich differenziert dargestellt, jedoch sind die folgenden drei Level in allen Modellen Bestandteil:

Kinder beginnen zunächst damit, für sie bedeutsame Wörter aus dem Gedächtnis zu schreiben.

Auf dem nächsten Level verstehen die Kinder, dass ein Zusammenhang zwischen der Lautung eines Wortes und dessen Schreibung besteht. Entspricht die Schreibung dem Wortklang eines Wortes, so wird dies als lautgetreue Schreibung bezeichnet.

Mit zunehmender Erfahrung im Lesen und Schreiben erlernen die Kinder orthographische Regelmäßigkeiten, die sich nicht über die Artikulation erklären lassen. Auf dem dritten Level erfolgt die Verschriftlichung eines Wortes unter Rückgriff auf orthographische Regeln.

Doch es stellt sich die Frage, welche Merkmale auf diese Entwicklung einen Einfluss haben können. Lauth, Hammes-Schmitz und Lebens (2014) skizzierten verschiedene Bedingungen für die Schulleistung von Kindern. Sie benennen hierbei sowohl metakognitive Fähigkeiten, Basisfertigkeiten, Vorkenntnisse, nichtkognitive Persönlichkeitsmerkmale sowie familiäre und schulische Kontextbedingungen als beeinflussende Merkmale.

In bisherigen Studien konnten Unterschiede zwischen rechtschreibstarken und rechtschreibschwachen Schulkindern z.B. hinsichtlich des Geschlechts, des Migrationshintergrundes ermittelt werden (z.B. Schneider et. al. 1997, Schründer-Lenzen & Merkens 2006).

Bei den vorhandenen Studien werden die Schulkinder nicht einem Level zugeordnet, sodass unklar ist, inwiefern die Merkmale einen Einfluss auf die Entwicklung hinsichtlich der Kompetenzlevel zeigen.

In der vorliegenden Studie soll dieses Desiderat berücksichtigt werden. Hierfür werden die Merkmale Geschlecht, Ausdauer, als ein Merkmal des Arbeits- und Sozialverhaltens, und der sozio-ökonomische Hintergrund als mögliche Einflussfaktoren für die Entwicklung entlang der Rechtschreibkompetenzlevel berücksichtigt. Es werden jeweils Vorteile zu Gunsten der Mädchen, Schulkindern mit hohem sozio-ökonomischem Hintergrund und hoher Ausdauer erwartet, sodass diese höhere Wahrscheinlichkeiten zeigen, von niedrigeren zu höheren Kompetenzleveln zu wechseln.

Methode:

Hierfür liegen Daten von N= 697 Schulkindern zu drei Messzeitpunkten vor (Anfang 2. Klasse (t1), Ende 2. Klasse (t2) und Ende 3. Klasse (t3)). Zur Erfassung der Rechtschreibkompetenz haben die Schulinder elf (t1) bzw. 17 (t2, t3) Wörter mit orthographischen Schwierigkeiten aus einem standardisierten Rechtschreibtest (May, 2012) geschrieben (Cronbachs αt1 = .72, αt2 =.83, αt3 = .83).

Für jedes Wort schätzten zwei unabhängige Rater ein, ob es korrekt, lautgetreu oder nicht lautgetreu verschriftet wurde (Cohens Kappa Kt1=0.83, Kt2=0.82, Kt3=0.85).

Die Ausdauer wurde zu t1 von der Klassenlehrerin auf einer 4-stufigen Skala (0 =Verhalten tritt nie auf bis 3=Verhalten tritt häufig auf) mit 5 Items (Auszüge aus Petermann & Petermann 2006) eingeschätzt (α = .91).

Zur Erhebung des sozio-ökonomischen Hintergrundes wurden Daten durch einen Elternfragebogen erfasst und der HISEI bestimmt.

Zur Bestimmung der Kompetenzlevel wurden mit Hilfe der gewonnenen Rechtschreibdaten latente Transitionen berechnet. Anschließend soll geprüft werden, inwiefern die Merkmale Geschlecht, sozio-ökonomischer Hintergrund und Ausdauer die Übergangswahrscheinlichkeiten zwischen den Leveln beeinflussen.

Ergebnisse:

Zur Überprüfung der Kompetenzlevel wurde getestet, inwiefern sich in den Daten drei, den Kompetenzleveln entsprechenden, Gruppen finden lassen. Die Daten zeigten eine gute Passung (hinsichtlich AIC, BIC, SSA-BIC, Entropy) bei der 3-Profillösung, die inhaltlich den vermuteten Kompetenzleveln entspricht. Zu t1 konnten 12% der Probanden Profil 1 (Buchstabenentdeckende), 80% Profil 2 (Phonemprofi) und 8% dem Profil 3 (Rechtschreibspezi) zugeordnet werden. Die Zuordnung verändert sich zwischen den Messzeitpunkten, sodass zu t3 7% Profil 1, 18% Profil 2 und 75% Profil 3 zugeordnet wurden.

Hinsichtlich der Übergangswahrscheinlichkeiten wird deutlich, dass Kinder, die zu t1 dem Profil 3) zugeordnet wurden, in diesem Profil verbleiben. Wechsel zum nächst höheren Profil erreichen Wahrscheinlichkeiten zwischen 29% und 67%. Die Wahrscheinlichkeit von höheren zu niedrigeren Profilen zu wechseln, liegt stets unter 2%. Dies entspricht den theoretisch vermuteten Wechseln zwischen den Kompetenzleveln.

Inwiefern sich diese Übergangswahrscheinlichkeiten durch den Einbezug der Kovariaten verändern, wird derzeit analysiert. Diese Analysen werden zur Tagung präsentiert und diskutiert.



Wirtschaftsbürgerliche Kompetenz Deutschschweizer Gymnasiast*innen (WBKgym): Kompetenzmodellierung, Testentwicklung und evidenzbasierte Validierung

Nicole Ackermann

Pädagogische Hochschule Zürich, Schweiz

In einer modernen Gesellschaft sind die Menschen mit ökonomisch geprägten Lebenssituationen konfrontiert und in Prozesse des Informierens, Beurteilens und Entscheidens involviert. Um diese Verantwortung gegenüber sich selbst und der Gesellschaft wahrzunehmen, braucht es wirtschaftsbürgerliche Kompetenz (WBK) (Dubs, 2013; Eberle, 2015). An gymnasialen Maturitätsschulen der Schweiz wird WBK vorrangig im Fach Wirtschaft & Recht (WuR) gefördert (EDK, 1994). Allerdings fehlt es bislang an einem Rahmenmodell und an einem Testinstrument, um die WBK valide zu erfassen und zu interpretieren. Das Ziel des Forschungsprojektes WBKgym ist die theoretische Modellierung, die modellbasierte Testentwicklung/-revision und die evidenzbasierte Validierung der WBK.

Wirtschaftsbürgerliche Kompetenz (WBK) bezieht sich auf ökonomisch geprägte Anforderungssituationen in verschiedenen Lebensbereichen, für deren Bewältigung kognitive Prozesse erforderlich sind (Ackermann, in print). Für die Modellierung der WBK wurde an bestehende fachdidaktische Konzeptionen für ökonomische Bildung (vgl. z.B. Albers, 1988, 1995; Kaminski, Brettschneider, & Schnell, 2017; Kaminski, Eggert, & Burkard, 2008; Kutscha, 2014; Seeber, Retzmann, Remmele, & Jongebloed, 2012; Weber, 2005, 2014) angeknüpft sowie eine systematische Domänenanalyse vorgenommen (Ackermann, in print). Das WBK-Modell umfasst den persönlich-finanziellen, beruflich-unternehmerischen und gesamtgesellschaftlichen/gesamtwirtschaftlichen Lebensbereich (Strukturebene) sowie Denk- und Problemlöseprozesse (Prozessebene) (Ackermann, in print). Im gesamtgesellschaftlichen/gesamtwirtschaftlichen Lebensbereich – die sozioökonomische Facette der WBK (WBK-soek) – ergeben sich komplexe sozioökonomische Problemsituationen mit kontroversen Lösungsansätzen aus verschiedenen realen Politikfeldern (z.B. Energie & Umwelt, Soziale Sicherheit & Vorsorge, Finanzen & Steuern).

Der revidierte Test zur wirtschaftsbürgerlichen Kompetenz (WBK-T2) ist ein psychologischer Leistungstest, der die Facette WBK-soek operationalisiert (Ackermann, 2018a, 2018b, in print; Eberle, Schumann, Kaufmann, Jüttler, & Ackermann, 2016). Er ist für Schüler*innen am Ende der Sekundarstufe II konzipiert. Die Testwerte sollen kriteriumsorientiert interpretiert werden und diagnostischen Zwecken dienen. Der WBK-T2 beinhaltet vier sozioökonomische Problemsituationen (z.B. Altersvorsorge, Energieversorgung) und insgesamt 32 Items, die im Kognitionsprozess und im Antwortformat variieren (Ackermann, in print).

Die qualitative Validierung des Testinhalts (AERA, APA, & NCME, 2014) erfolgte basierend auf der Domänenanalyse sowie durch Leitfaden-Interviews mit Experten (Ackermann, in print).

Für die Validierung der Testergebnisse wurde der WBK-T2 bei 375 Gymnasialschüler*innen (42 % WuR, 58 % Nicht-WuR) in einem Deutschschweizer Kanton eingesetzt (Ackermann, in print). Für die Validierung der internen Struktur (vgl. AERA et al., 2014) wurden probabilistische Analysen mit dem Partial Credit Rasch-Modell gerechnet (vgl. Adams, Wu, & Wilson, 2015; Rost, 2004). Die Prüfung der faktoriellen Struktur des Messmodells spricht für Eindimensionalität. Die Skalierbarkeit der Personen- und Itemparameter ist gegeben. Die Prüfung des Testmodells bestätigt tolerierbare Item-Infits für alle Items (0.92 ≤ wMNSQ ≤ 1.17), ansteigende Schwellenparameter für fast alle polytomen Items sowie mehrheitlich akzeptables Differential Item Functioning bezüglich des curricularen Vorwissens (WuR/Nicht-WuR) und des biologischen Geschlechts. Die Reliabilität der Personenparameter und der Personen-Testwerte ist als gut zu beurteilen (WLE = .74, EAP/PV = .76, α = .74). Die Qualität der Items ist aufgrund klassischer Item-Schwierigkeiten und Item-Trennschärfen bei fast allen Items ebenfalls gut.

Für die Validierung der Beziehung zu externen Merkmalen (vgl. AERA et al., 2014) wurden Mittelwert- und Korrelationsanalysen gerechnet (Ackermann, in print). Schüler*innen im Schwerpunktfach WuR verfügen über eine höhere WBK als jene mit einem anderen Schwerpunktfach (p < .001, |d| = 0.80). Jungen haben eine höhere WBK als Mädchen, allerdings zeigt sich dieser Effekt nur in der Teilstichprobe Nicht-WuR (p < .001, |d| = 0.65). Die WBK korreliert schwach positiv mit den Schulfachnoten WuR und Deutsch (r = .21 bzw. r = .14, p < .001) sowie schwach positiv mit dem Interesse für sozioökonomische Problemstellungen (r = .27, p < .001).

Die untersuchten Validierungsaspekte deuten darauf hin, dass die Testergebnisse der Gymnasialschüler*innen valide hinsichtlich des Konstrukts WBK-soek interpretiert werden können. Somit kann der WBK-T2 vielfältig eingesetzt werden, z.B. zur Kompetenzerfassung in anderen Schulformen auf der Sekundarstufe II, zur Wirkungsuntersuchung verschiedener Lehr-Lernarrangements auf die Kompetenzentwicklung.