Es besteht Konsens über die wichtige Rolle der Validität sowie über einige Schlüsselaspekte der Validitätstheorie, z.B. darüber, dass Validität für Schlussfolgerungen und nicht für Instrumente gilt. Dennoch zeigen Studien eine Kluft zwischen Validierungstheorie und Validierungspraxis.

Unsere Studie untersucht anhand aktueller Daten, ob der Konsens der Validitätstheorie in der Validierungspraxis umgesetzt wird und analysiert (1) Referenzen zur Validitätstheorie, (2) die Nutzung eines holistischen Validitätskonzeptes und (3) die Beschreibung von Validität als Eigenschaft von Schlussfolgerungen. Dafür wurden 1459 peer-reviewte Validierungsartikel von 2010 bis 2020 aus der Datenbank PsycInfo untersucht. Die Literaturangaben wurden klassifiziert und drei Substichproben wurden gezogen. Die Analyse stützte sich auf die Codierungsstrukturen früherer Validierungsreviews. Die Ergebnisse zeigen, dass der Konsens der Validitätstheorie in der Validierungspraxis noch nicht umgesetzt wird.

In der pädagogischen und psychologischen Community besteht Einigkeit über die wichtige Rolle der Validität. Zudem besteht theoriebasierter Konsens über einige Schlüsselaspekte der Validitätstheorie (Cizek, 2016), zum Beispiel darüber, dass Validität für Schlussfolgerungen und nicht für Instrumente gilt sowie dass es keine verschiedenen Arten von Validität gibt (z.B. konvergente oder prognostische Validität), sondern dass Validität ein einheitliches bzw. holistisches Konzept (Messick, 1980, 1989) ist. Beides ist in den Standards for Educational and Psychological Testing aufgenommen (AERA, APA, & NCME, 2014). Trotz dieses theoriebasierten Konsenses, haben Reviews zur Validierungspraxis eine Kluft zwischen der Validitätstheorie und der Validierungspraxis festgestellt (Anderson 2021; Cizek, Rosenberg, & Koons, 2008; Hogan & Agnello, 2004; Shear & Zumbo, 2014). Jedoch wurden die meisten dieser Reviews vor 2010 durchgeführt.

Es stellt sich daher die Frage, inwieweit aktuell der angenommene Konsens über die Validitätstheorie in der Validierungspraxis umgesetzt wird: (1) Beinhalten Validierungsstudien Referenzen zur aktuellen Validitätstheorie?; (2) Nutzen Validierungsstudien ein holistisches Validitätskonzept?; (3) Wird Validität in den Validierungsstudien als Eigenschaft von Schlussfolgerungen bzw. Interpretationen beschrieben?

Für einen umfassenden Überblick wurden alle Validierungsartikel (peer-reviewed) der Datenbank PsycInfo aus den Jahren 2010 bis 2020 in den Kategorien „Educational Measurement“ und „Educational Psychology“ in die Analyse einbezogen. Anhand der Leitlinien für systematische Reviews (Alexander, 2020) wurden 1459 relevante Studien identifiziert. In einem zweiten Schritt wurden die Literaturangaben dieser Artikel klassifiziert (kein Grundlagenwerk zu Validitätstheorie/ Grundlagenwerk mit holistischem Validitätskonzept/ Grundlagenwerk mit nicht-holisitschem Validitätskonzept). Für die Analyse der zweiten Forschungsfrage wurden drei Substichproben gezogen: 100 Artikel ohne Validitätstheorie-Referenzen, 40 mit holistischer Validitätstheorie-Referenz und 40 mit nicht-holisitischer Validitätstheorie-Referenz. Anschließend wurde analysiert, ob die ausgewählten Studien selbst ein holistisches Validitätskonzept anwenden (Forschungsfrage 2) und ob die Artikel Validität als Eigenschaft von Tests beschreiben (Forschungsfrage 3). Die Analyse stützte sich auf die Codierungsstrukturen früherer Validierungsreviews (z. B. Cizek, 2008; Shear & Zumbo, 2014) und wurde von zwei Beurteiler:innen vorgenommen; die Beurteiler:innenübereinstimmungen waren zufriedenstellend.

Von den 1459 Studien führen 71% keine Validitätstheorie-Referenzen an. Weitere 22% der Studien zitieren holistische und 6% ausschließlich nicht holistische Validitätstheorien. Nur 12% der Substichprobe beschreiben Validität als holistisches Konstrukt. Dabei wird Validität in fast allen Artikeln durchgängig als Eigenschaft des Tests definiert (82%). Insgesamt zeigt sich, dass die wenigen Validierungsartikel, die eine holistische Validitätstheorie zitieren auch eher ein modernes Validitätskonzept nutzen.

Wir konnten zeigen, dass sich der Konsens der Validierungstheorie nicht in der Validierungspraxis durchgesetzt hat. Mögliche Gründe und Implikationen sollen im Rahmen des Beitrages diskutiert werden.

The aim of this paper is to analyse measurement invariance of the intelligence scales of Intelligence and Development Scales 2 (IDS-2) in both migrant and non-migrant groups and to explore the relationship of the performance differences between the two groups with the cultural and cognitive complexity of the IDS-2 subtests.

The results demonstrated equivalent factor structures of the IDS-2 intelligence scales subtests in both groups. Furthermore, performance differences between the groups are better predicted by cultural rather than by cognitive complexity.

In conclusion, IDS-2 measures the same cognitive abilities in different groups of children and adolescents with and without migration background. However, results need to be interpreted with caution in light of the verbal and cultural complexity of some subtests.

— Introduction

The current paper presents analysis of the intelligence scales of Intelligence and Development Scales 2 (IDS-2) test for children and adolescents with and without migration backgrounds. The aim is to review the IDS-2 intelligence scales in both migrant and non-migrant groups for measurement invariance. In addition to the review of lack of test bias, we explored the relationship of the performance differences between the two groups with the cultural and cognitive complexity of the IDS-2 subtests.

— Methods

IDS-2 standardisation and validation data for Switzerland, Germany, and Austria comprising 2,030 participants have been analysed with factor analyses separately for both groups. Cognitive complexity is represented by the g-loadings of the subtests. Cultural complexity measures of the IDS-2 subtests have been operationalised with the ratings by psychology master’s students, whereas verbal complexity has been ascertained by the number of words in a subtest.

— Results

The results demonstrated equivalent factor structures of the IDS-2 intelligence scales subtests in the groups with and without migration backgrounds. Performance differences are larger on the highly culture-dependent IDS-2 subtests and not on the more cognitively complex subtests. Thus, performance differences between the migrant and non-migrant groups are better predicted by cultural rather than by cognitive complexity.

— Discussion

In conclusion, IDS-2 measures the same cognitive abilities in different groups of children and adolescents with and without migration background. However, results need to be interpreted with caution in light of the verbal and cultural complexity of some IDS-2 subtests.

— Implications for Theory and Praxis

Up to now, the measurement invariance of IDS-2 has not been investigated for different groups. This paper contributes to the research on fairness of intelligence testing of children and adolescents with migration background.

Im vorliegenden Beitrag wird der sogenannte MAIHDA-Ansatz (Multilevel Analysis of Individual Heterogeneity and Discriminatory Accuracy) vorgestellt, ein neuer intersektionaler Ansatz aus der Epidemiologie zur Untersuchung von Bildungsungleichheiten. MAIHDA verwendet ein Mehrebenenmodell, um intersektionale Strata zu bilden, die die Zugehörigkeit von Individuen zu mehreren sozialen Kategorien repräsentieren. Durch die Aufteilung der Varianz innerhalb und zwischen intersektionaler Strata ermöglicht der Ansatz, (a) die allgemeine Relevanz von Intersektionalität zu bewerten, (b) mehr/weniger ausgeprägte Bildungsungleichheiten in bestimmten Strata zu identifizieren, (c) die Nützlichkeit intersektionaler Strata für die Vorhersage von Bildungsergebnissen zu bewerten und (d) Bildungsungleichheiten in intersektionalen Strata detailliert abzubilden. Wir illustrieren den Ansatz anhand der Analyse von Ungleichheiten in der Leseleistung mit Daten von 15-jährigen Schüler*innen in Deutschland (N = 5.451, PISA 2018).

Theoretischer Hintergrund: Intersektionalität ist ein theoretisches Rahmenmodell, das den mehrdimensionalen, multiplikativen Charakter von Benachteiligung betont. Intersektionale Ansätze gehen davon aus, dass (Bildungs-)Ungleichheiten durch verschiedene, miteinander verwobene Macht-, Privilegien- und Unterdrückungssysteme wie Rassismus, Klassismus und Sexismus entstehen (Collins, 1990; Crenshaw, 1989). In der Intersektionalitätsforschung wurden bisher überwiegend qualitative Methoden eingesetzt. Die wenigen quantitativen Studien, die bisher Bildungsergebnisse intersektional untersucht haben, verwendeten vor allem multiple Regressionsmodelle (z.B. Strand, 2014). Diese konventionellen Ansätze weisen jedoch mehrere methodische Einschränkungen auf (z.B. Skalierbarkeit, Modellsparsamkeit, Stichprobengröße; Evans et al., 2018). In diesem Beitrag stellen wir den MAIHDA-Ansatz (Multilevel Analysis of Individual Heterogeneity and Discriminatory Accuracy; Evans et al., 2018; Merlo, 2018) vor, der Lösungen für einige der wichtigsten methodischen Probleme in der quantitativen intersektionalen Forschung bietet, und erläutern, wie der MAIHDA-Ansatz zur Untersuchung intersektionaler Ungleichheiten in der pädagogisch-psychologischen Forschung eingesetzt werden kann.

Fragestellungen:

1. Wie nützlich sind intersektionale Strata für die Vorhersage der Leseleistung von Schüler*innen?

2. Inwieweit tragen komplexe Interaktionen zwischen Geschlecht, Migrationshintergrund, elterlicher Bildung und beruflichem Status der Eltern zur Erklärung von Ungleichheiten in der Leseleistung bei?

3. Sind Ungleichheiten in der Leseleistung in bestimmten intersektionalen Strata stärker oder schwächer ausgeprägt?

Methode: MAIHDA verwendet ein Mehrebenenmodell, um intersektionale Strata zu bilden, die die Zugehörigkeit von Individuen zu mehreren sozialen Kategorien repräsentieren. Dazu wird die Varianz innerhalb und zwischen den Strata in einem Null- und einem Haupteffektmodell modelliert. Wir illustrieren den MAIHDA-Ansatz am Beispiel der sozialen Ungleichheit in der Leseleistung von 15-Jährigen. Anhand der Daten aus PISA 2018 (Deutschland, N = 5.451) wird die Intersektion der sozialen Kategorien Geschlecht, Migrationshintergrund, elterlicher Bildungshintergrund und beruflicher Status bezüglich der Leistungen im PISA-Lesetest untersucht. Es wurden das Statistikprogramm R sowie das R-Paket „brms“ verwendet.

Ergebnisse: Es wurden insgesamt 40 Strata (2*2*2*5) gebildet, wobei etwa 16% der individuellen Unterschiede in der Leseleistung auf Strataebene lagen. Etwa 9% der Varianz in der Leseleistung wurden durch komplexe Interaktionen zwischen den sozialen Kategorien erklärt. Es wurde ein signifikanter Interaktionseffekt gefunden, der darauf hinweist, dass Mädchen ohne Migrationshintergrund und mit Eltern, die mindestens einen (Fach-)Hochschulabschluss und einen hohen beruflichen Status haben, bessere Leistungen zeigen, als durch additive Haupteffekte zu erwarten wäre.

Diskussion und Implikationen für Theorie und Praxis: Für die Pädagogische Psychologie ist der intersektionale MAIHDA-Ansatz sehr vielversprechend, da er im Vergleich zum traditionellen Regressionsansatz eine differenziertere Einschätzung von Intersektionalität in Bildungskontexten und ein tieferes Verständnis von Bildungsungleichheiten ermöglicht. Diese Informationen können genutzt werden, um Interventionen zur Verringerung dieser Ungleichheiten zu entwickeln.

Despite the growing popularity of the random intercept cross-lagged panel model (RI-CLPM), a methodological-substantive integration of the model regarding the three major comparison processes in self-concept development is still missing, and it has not been used to evaluate dimensional and temporal comparison effects. We provide such an integration and applied the RI-CLPM to investigate social, dimensional and temporal comparison effects. Investigating a sample of 701 German students from the middle of Grade 9 to the middle of Grade 10, we confirmed previous results by finding trait-like stability in STEM self-concept and in the achievement variables. We also found evidence for all three comparison effects, but evidence for dimensional comparison effects was only found at the between-person level of the RI-CLPM.

Most empirical findings from longitudinal studies regarding the major comparison processes in self-concept development (social, dimensional, and temporal comparisons) are based on the traditional cross-lagged panel model (CLPM). However, the CLPM implicitly assumes no trait-like components in the involved variables; an assumption contradicting self-concept research from a theoretical (Albert, 1977) and empirical perspective (Jansen et al., 2020). The increasingly used random intercept cross-lagged panel model (RI-CLPM) tackles this problem by explicitly modeling the trait-like component. Next to better parameter estimates in case such trait-like components are present, the model offers new possibilities to test hypotheses from self-concept theory. First, the presence of trait-like components, as for example implied by temporal comparison theory (Albert, 1977), can be directly tested. Second, the within-person relations in the RI-CLPM are based on deviations from trait-like components of the involved variables and may accordingly be interpreted as a (temporal) comparison of the recent level with a temporal within-person mean, a process arguably more in line with theory than previous modeling.

Hypotheses

H1: There are trait-like components in STEM self-concept as well as in the achievement variables

H2: There are positive reciprocal effects between STEM achievement and STEM self-concept (within-person, in the RI-CLPM considered to represent temporal and social comparisons)

H3: There are negative longitudinal effects from language achievement to STEM self-concept (within-person, in the RI-CLPM considered to represent dimensional and temporal comparisons).

H4: There are social and dimensional comparison effects at the between-person level.

Method & Results

The sample consists of 701 German students from grade 9 to 10 (52.7% girls, M = 15.25 years). STEM self-concept, STEM achievement and language achievement were assessed at three time points over one year.

H1: Trait-like components were confirmed for all three variables and the model showed very good model fit.

H2: Positive reciprocal effects between .15 and .20 were confirmed.

H3: No negative effects representing dimensional comparisons were confirmed at the within-person level.

H4: Strong social (.89) and dimensional comparison effects (-.51) were confirmed at the between-person level

Discussion & Implications

We conclude the RI-CLPM is well suited to model all three main comparison processes from an empirical and a theoretical perspective. Our findings imply that dimensional comparisons are not substantially influenced by temporary fluctuations in achievement. The findings on enduring stability imply that research should focus more on how such stability emerges and how it might be disrupted by interventions in cases of low self-concept.

Literatur

Albert, S. (1977). Temporal comparison theory. Psychological Review, 84(6), 485–503. https://doi.org/10.1037/0033-295X.84.6.485

Jansen, M., Lüdtke, O., & Robitzsch, A. (2020). Disentangling different sources of stability and change in students’ academic self-concepts: An integrative data analysis using the STARTS model. Journal of Educational Psychology, 112(8), 1614–1631. https://doi.org/10.1037/edu0000448