Authentische technologiebasierte Messung ökonomischer Kompetenzen von Schülerinnen und Schülern der Sekundarstufe I – Das Beispiel ECON 2022 in Nordrhein-Westfalen
Fortunati, Fabio; Winther, Esther
Universität Duisburg-Essen, Deutschland
In der beruflichen Bildungsforschung zeigt sich insbesondere bei den kaufmännisch-verwaltenden Berufen ein prädiktiver Einfluss domänenverbundener wirtschaftliche Kompetenzen auf die Entwicklung berufsspezifischer Kompetenzen (Winther 2010).
Vereinzelt existieren Testinstrumente für den Bereich der Sekundarstufe I, die jedoch zumeist nicht in Form eines authentischen TBAs (Seeber et al. 2022) oder nur einzelne Facetten von ökonomischer Bildung adressieren (OECD 2020).
Das Projekt ECON 2022 greift dieses Desiderat auf und thematisiert insbesondere die Entwicklung eines authentischen TBAs der Jahrgangsstufe 8 in Nordrhein-Westfalen. Ziel dieses Beitrages ist es, anhand der repräsentativen Stichprobe der Hauptstudie
(1) die wirtschaftliche Kompetenz der SuS für Jahrgangsstufe 8 darzustellen
(2) und den Einfluss personenbezogener und institutioneller Merkmale auf die Testleistung aufzuzeigen
(3) sowie die Testfairness anhand personenbezogener Merkmale zu untersuchen.
Die Entwicklung des Assessments erfolgt auf Grundlage des Logic Assessment Models (Klotz 2015). Dabei sind die Items in eine narrative Struktur eingebettet, die wirtschaftliche Lebenssituationen in einem möglichst authentischen Setting nachbilden. Die Datenerhebung für die Hauptstudie von wurde 2022 computergestützt durchgeführt (N=2940). Die Datenanalyse erfolgt über die IRT mit einem MCML-Modell über ACER ConQuest (Adams et al. 2018).
Zum jetzigen Zeitpunkt liegen die Ergebnisse der Datenanalyse der Hauptstudie noch nicht in Gänze vor. Die Feldteststudie mit N=816 Teilnehmer*innen zeigte jedoch bereits vielversprechende Ergebnisse bzgl. der psychometrischen Eigenschaften des Testinstruments (siehe Fortunati & Winther, 2023, submitted). Darüber hinaus zeigten sich keine signifikanten DIF-Effekte zum Merkmal Geschlecht und nur geringe Effekte zu weiteren personenbezogenen und institutionllen Merkmalen. Bei allen Merkmalen zeigt sich zudem ein Einfluss auf die Testleistung, wobei die Effektstärken gering ausfielen.
Für die Befunde der Hauptstudie erwarten wir ähnliche Ergebnisse, da eine Revision des Testinstruments aufgrund der zufriedenstellenden Feldtestdaten nur im geringen Maße erforderlich war. Insbesondere ein fehlender Gender-DIF bei einer repräsentativen Stichprobe, der sich in der ökonomischen Bildung persistent in vielen Testinstrumente zeigt (Ackermann und Siegfried 2019), wäre Anlass aufzuzeigen, wie Assessmentdesigns Einfluss auf die Verringerung von gruppenbezogenen Effekten haben können.
Validierung kaufmännischer digitaler Aufgaben zu Messung von Problemlösekompetenz – Ergebnisse einer Laut-Denken-Studie
Meiners, Hanna1; Seeber, Susan1; Wuttke, Eveline2
1Georg-August-Universität Göttingen, Deutschland; 2Geothe-Universität Frankfurt am Main, Deutschland
Kaufmännische Kompetenzanforderungen unterliegen u. a. digitalisierungsbezogenen Veränderungen. Eine Substitution von Routinetätigkeiten durch digitale Technologien geht einher mit der Zunahme von komplexen Anforderungen, für deren Bewältigung Problemlösekompetenz erforderlich ist (Bach et al., 2020). Die Förderung von Problemlösekompetenz ist schon länger ein zentrales Ausbildungsziel kaufmännischer Berufe, das jedoch durch die Digitalisierung verstärkt wird (s. überarbeitete Ausbildungsordnungen).
Dieses Ziel kann jedoch nur dann erreicht werden, wenn Lernangebote beider Lernorte auf die Förderung von Problemlösekompetenz ausgerichtet sind und zentrale Prüfungen diese auch messen (zur Curriculum-Instruktion-Triade vgl. Pellegrino, 2010). An die Diagnostik und Messung beruflicher Problemlösekompetenz durch den Einsatz digitaler Medien knüpft das Forschungsprojekt TeKoP[1] an. Dazu wurde in einem ersten Schritt ein Training für kaufmännisches Prüfungs-, Lehr- und Ausbildungspersonal durchgeführt, das die Förderung von Kompetenzen zur Erstellung von Problemlöseaufgaben zum Ziel hatte. Die im Rahmen dieses Trainings konzipierten technologiebasierten und problemhaltigen Prüfungsaufgaben wurden in einer Laut-Denken-Studie zur kognitiven Validierung eingesetzt. Anhand festgelegter Kriterien wurde die Problemhaltigkeit der Aufgaben von Auszubildenden der Berufe Industriekaufmann-/frau (18) und Kaufmann-/frau für Büromanagement (8) eingeschätzt.
Die Ergebnisse zeigen, dass Auszubildende bei der Aufgabenbearbeitung zumeist die geforderten Problemlöseschritte durchlaufen. Dies kann als Indiz interpretiert werden, dass die Aufgaben bezogen auf dieses Kriterium zur Messung von Problemlösekompetenz geeignet sind. Die Studie erlaubt zudem, Faktoren zu ermitteln, die den Problemlöseprozess negativ beeinflussen bzw. stören.
Literatur:
Bach, von dem N., Baum, M., Blank, M., Ehmann, K., Güntürk-Kuhl, B., Pfeiffer, S., Samary, D., Seegers, M., Sevendik, U., Tiemann, M. & Wagner, P. (2020). Umgang mit technischem Wandel in Büroberufen. Bonn: BIBB.
Pellegrino, J. W. (2010). The Design of an Assessment System for the Race to the Top: A Learning Sciences Perspective on Issues of Growth and Measurement. Educational Testing Service. Zugriff am 23.02.2023. Verfügbar unter https://pdfs.semanticscholar.org/53b7/6668fec653df7db1261304bd43a4ce64e42d.pdf
[1] Technologiebasiertes Kompetenzorientiertes Prüfen: Drittmittelgefördertes Forschungsprojekt der ASCOT+-Initiative (FK: 21AP001A & 21AP001B)
Quantitative Evaluation eines kompetenzorientierten Leistungstests auf unternehmerisches Wissen und Denken
Spitzner, Steffen; Retzmann, Thomas
Universität Duisburg-Essen, Deutschland
Hintergrund: Entrepreneurship hat neben dem ökonomischen Nutzen das Potenzial, zur Entwicklung der Gesellschaft beizutragen (Fritsch 2019). Die Herausforderungen infolge von Digitalisierung, Klimawandel und wirtschaftlichen Krisen erfordern neuartige Problemlösungen durch innovative Akteure jedweder Couleur (Faltin 2018), wozu auch Intrapreneure als Entrepreneure „within a firm“ (Weber et al. 2014) zählen. Jedoch gilt die Entrepreneurship Education (EE) seit Jahren als schlechteste entrepreneuriale Rahmenbedingung (Sternberg et al. 2022).
Desiderat: Um Maßnahmen der EE effektiv zu gestalten, bedarf es empirisch belastbarer Rahmenmodelle und validierter Messinstrumente, die den Learning Outcome erheben können, der zu dem o. g. Impact führen soll. Für die non-kognitive Kompetenzfacette finden sich erste Ansätze; für die kognitive Dimension kann bisher nicht auf solche Instrumente zurückgegriffen werden. Allerdings spielen fachbezogene Fähigkeiten eine zentrale Rolle, wenn die Entwicklung übergreifender Kompetenzen das Vorhandensein gut ausgeprägter Fachkompetenzen voraussetzt (Klieme et al. 2007).
Forschungsfrage & Methodik: Auf Basis des eigens konzipierten Rahmenmodells und qualitativer Überprüfungsschritte mit Expert*innengruppen wurde der Frage nachgegangen, ob sich unternehmerisches Wissen und Denken als eigenständiger Gegenstandsbereich konstruieren und inhaltsvalide als eindimensionales Konstrukt objektiv, differenziert, trennscharf, zuverlässig und fair messen lässt. Dazu wurde die klassische mit der probabilistischen Testtheorie kombiniert und die 1-PL-Rasch-Skalierung inkludiert.
Ergebnisse: Im Mittelpunkt des Vortrags stehen die Befunde der quantitativen Evaluation des neu entwickelten Leistungstests auf unternehmerisches Wissen und Denken. Diese erfolgte mit 739 Schüler*innen berufsbildender Schulen in NRW. Die Itemselektion rekurriert auf die Parameter (Person-Wright-Map), Trennschärfe und die Zuverlässigkeit des Tests (EAP/PV-Reliabilität). Die Eindimensionalität wurde anhand relevanter Fit-Werte (Infit & Outfit) überprüft, ehe DIF-Analysen (Geschlecht & Migrationshintergrund) erfolgten, um die Testfairness zu gewährleisten.
Implikationen: Nach Testnormierung kann durch Interventionsstudien empirische Evidenz für die effektive Gestaltung von Maßnahmen der EE in der beruflichen Bildung generiert werden. Die für eine substanzielle pädagogische Diagnose entwickelten Kompetenzstufen können der kriteriumsorientierten Interpretation der Testwerte dienen.
|
