Vor dem Hintergrund der digitalen Transformation sowie der Datafizierung unserer Gesellschaft wird die Fähigkeit eines Menschen, mit digitalen Daten und Informationen sachgerecht umzugehen („Data Literacy“), immer wichtiger. Gleichzeitig liegt kein standardisierter Test zur Erfassung dieser Fähigkeit vor, der für die allgemeine Bevölkerung geeignet ist. Die Entwicklung eines solchen Tests ist ein Teilziel unseres BMBF-geförderten Projekts. Im vorliegenden Beitrag sollen die Rahmenkonzeption sowie erste Daten zu psychometrischen Eigenschaften des entwickelten Itempools vorgestellt werden.

Data Literacy wird in der Literatur unterschiedlich konzeptualisiert (Schüller & Busch, 2019). Auch die Abgrenzung zu anderen Konstrukten wie beispielsweise Information Literacy (z.B. Eickelmann et al., 2019), Statistical Literacy (z.B. Ridgway et al., 2018) oder Digital Literacy (z.B. Carretero et al., 2017) ist oft nicht eindeutig. Im DigComp Framework (z.B. Carretero et al., 2017) beispielsweise wird Data Literacy als Teilkompetenz digitaler Kompetenzen verstanden und mit Information Literacy kombiniert. Dementsprechend geht es hierbei u.a. um das Auffinden, Evaluieren und Managen von Informationen, Daten und digitalem Inhalt. Schüller et al. (2019) identifizierten sechs Kompetenzfelder, die aus dem Prozess der Datenwertschöpfung abgeleitet sind: Datenkultur etablieren, Daten bereitstellen, Daten auswerten, Ergebnisse interpretieren, Daten interpretieren, Handeln ableiten. Das Framework von Schüller et al. (2019) ist für die Hochschulbildung gedacht; dementsprechend fokussiert es auf Kompetenzen, die Studierende im Rahmen ihres Studiums erwerben sollten, und damit auf Kompetenzen, die teilweise als Spezialwissen und nicht notwendig für die gesamte Bevölkerung zu bezeichnen sind (z.B. konkrete Analysemethoden).

Ziel unserer Rahmenkonzeption ist es, digitale und datenbezogene Kompetenzen zu erfassen, die für den Alltag und die Teilhabe an der Gesellschaft nötig sind. Spezial- oder Expert:innenwissen ist daher nicht Teil der Rahmenkonzeption. Analog zu Schüller et al. (2019) orientieren wir uns am Lebenszyklus von Daten. Nach unserem Verständnis umfasst Data Literacy a) Datenentstehung (mit den Teilbereichen Anwendbarkeit von Daten und Hypothesengenerierung, [wissenschaftliche] Datengenerierung, Datenschutz und -sicherheit, Algorithmen als Informationsfilter), b) Datenverarbeitung und -auswertung (Datenaufbereitung, Datenauswertung), c) Datenvisualisierung und -verbalisierung (Visualisierung von Daten, Verbalisierung von Daten) und d) Dateninterpretation und -kommunikation (Interpretation von Daten und Datenanalysen, Kommunikation von Daten und Datenanalysen).

Basierend auf dieser Konzeption wurden 157 Items mit geschlossenem Antwortformat (Single-Choice, Verifikationsaufgaben, Drag & Drop) entwickelt und im Rahmen einer Pilotstudie einer Ad-hoc-Stichprobe von 208 Personen im Alter von 16-69 Jahren vorgelegt. Die Teilnehmenden (40,4% männlich, 55,8% weiblich, 1,9% divers) waren im Mittel 33,2 Jahre alt (SD=14,89). Es handelte sich um eine vergleichsweise gut ausgebildete Stichprobe: Der überwiegende Teil dieser Stichprobe besaß die Allgemeine Hochschulreife (74,0%). Knapp die Hälfte der Teilnehmenden befand sich im Studium (49,5%), 30,3% waren erwerbstätig oder nebenerwerbstätig.

Die Teilnehmenden bearbeiteten in einem Balanced Incomplete Block Design vier von acht Itemblöcken à etwa 20 Items. Zusätzlich wurde die Reihenfolge der Items innerhalb eines Blocks (vorwärts/rückwärts) ausbalanciert. Die Items wurden computerbasiert vorgegeben; für die Bearbeitung jedes Itemblocks hatten die Teilnehmenden 20 Minuten Zeit. Neben soziodemografischen Variablen wurden weitere Begleitskalen erfasst, die für die vorliegende Analyse nicht relevant sind (z.B. Einstellungen). Insgesamt dauerte die Erhebung für die Teilnehmenden etwa 2 Stunden.

Die entwickelten Items waren für die Stichprobe vergleichsweise leicht. Im Mittel erreichten die Teilnehmenden 82% der möglichen Punktzahl (Range: 25%-100%). Die Items wurden zunächst einer Rasch-Skalierung unterzogen. (Teil-)Items mit 100% Lösungswahrscheinlichkeit, Items mit einer punktbiserialen Korrelation (mit dem Gesamtscore) von < .15, Items mit Distraktorkorrelationen von > .05 sowie Items, deren Infit- oder Outfit-Werte gängige Schwellenwerte über- bzw. unterschritten, wurden ausgeschlossen. Die resultierenden 136 Items wurden einer Partial-Credit-Skalierung unterzogen. Diese Itemauswahl hat eine WLE-Reliabilität von .91 und deckt weiterhin die zugrundeliegende Rahmenkonzeption ab. Erste Dimensionsanalysen mit allen Items (vor Ausschluss von Items) deuten auf Mehrdimensionalität entsprechend der Bereiche der Rahmenkonzeption hin. Im Beitrag werden zudem Dimensionsanalysen des ausgewählten Itempools sowie Analysen zum Differential Item Functioning (Geschlecht, Studierende/Nicht-Studierende) vorgestellt.

Mit der Digitalisierung der modernen Gesellschaft hat die Kompetenz im Umgang mit Informations- und Kommunikationstechnologien (ICT) zunehmend an Bedeutung gewonnen. Jüngere Generationen, die von klein auf in einer immer stärker digitalisierten Welt aufwachsen und sich fast zwangsläufig mit den Technologien und Geräten dieser neuen Umgebung vertraut machen, werden als "Digital Natives" (Prensky, 2001), "Generation Internet" oder "whiz-kids" (Lee & Chae, 2007) bezeichnet. Oft werden diese Begriffe verwendet, um ein gewisses Maß an Kompetenz im Umgang mit dem Internet und den Online-Medien zu implizieren, von dem man annimmt, dass es durch häufige Nutzung automatisch erworben wird. Andererseits weisen viele anekdotische und wissenschaftliche Belege darauf hin, dass die vielfältigen Informationen der modernen Medien und des Internets für heranwachsende Kinder und Jugendliche durchaus eine Herausforderung darstellen können. "They are not only called ‘whiz-kids’ […] but also ‘risk-kids’", konstatieren Valcke et al. (2010) und betonen, wie wichtig es ist, Kindern einen kritischen und reflektierten Umgang zu vermitteln.

Um den Aspekt der kritischen Reflexion und sozialen Kommunikation im Internet zu erfassen, wurde für die Startkohorte 8 des Nationalen Bildungspanels (NEPS) ein neuer Test zur Messung der "digitalen Kompetenz" entwickelt. Der Test zielt darauf ab, das Wissen und die Fähigkeiten abzubilden, die notwendig sind, um mit den Möglichkeiten, aber auch den Risiken und Folgen der allgegenwärtigen Zugänglichkeit des Internets verantwortungsvoll umzugehen und nicht nur die Inhalte digitaler Medien zu reflektieren, sondern auch deren Wirkungsweisen zu erkennen. Damit ergänzt der neu entwickelte Test den im NEPS bereits etablierten Aspekt des Umgangs mit Technologien und Programmen, der durch die Kompetenzdomäne "ICT" repräsentiert wird.

Bislang konzentrieren sich die meisten Konzepte, die Aspekte der digitalen Kompetenz beinhalten, auf das späte Jugend- und Erwachsenenalter (z. B. Digital Competence Assessment, 2009; Digital Competency Wheel, 2016; DigiComp 2.1, 2017). Wenn Schülerinnen und Schüler untersucht werden, beginnt dies in der Regel in Klasse 8 (ICILS, 2018). Während einige Aspekte dieser Rahmenkonzepte angewendet werden können, wurden andere Anforderungen als ungeeignet für die Zielgruppe der Sechstklässler erachtet.

In einer Synthese und Erweiterung früherer Forschungen wurden vier Hauptfacetten mit mehreren Subfacetten für den digitalen Kompetenztest des NEPS definiert: (1) Bewertung von Informationen, die sich aus Quellenbewertung und Informationsfiltern zusammensetzt; (2) Erkennung von Absichten und Strategien mit den Teilbereichen Identifikation kommerzieller Absichten sowie Meinungsbildung in sozialen Medien; (3) Kommunikation und Interaktion, die durch das Bewusstsein für die sozialen Folgen der Interaktion und Kommunikation im Internet beschrieben wird; und schließlich (4) Datensouveränität, die sich in den Umgang mit eigenen Daten und den Umgang mit fremden Daten und geistigem Eigentum unterteilt.

Die auf Basis dieser Rahmenkonzeption entwickelten Items zur Messung der digitalen Kompetenz wurden zunächst in einer Pilotstudie eingesetzt (Feldzeit November 2022 bis Februar 2023), um sie für die Erhebungen im Rahmen der Startkohorte 8 des NEPS zu erproben. Die Daten wurden in 20 Regelschulen und zwei Schulen für Kinder mit Lernschwierigkeiten in den Klassen 6 (N = 705) bzw. 8 (N = 468) erhoben. In der Pilotstudie wurde ein Pool von 60 Items mit vier verschiedenen Aufgabenformaten und realistischen Szenarien für die Altersgruppen getestet. Diese 60 Items wurden in drei Blöcke mit jeweils 20 Items unterteilt und in einem Rotationsdesign eingesetzt, sodass sowohl die Blöcke als auch die einzelnen Items innerhalb eines Blockes rotiert wurden. Ziel dieser Präsentation ist es, die Rahmenkonzeption für diesen neuen Testbereich vorzustellen und einen Einblick in die Qualität und Dimensionalität des Tests zu geben. Die Datenauswertung erfolgte mithilfe der Item-Response-Theorie. Erste Ergebnisse der Pilotstudie zeigen, dass die Items für die Schülerinnen und Schüler insgesamt eher einfach waren (mittlere Schwierigkeit = -0,49). Weiterhin stellte sich heraus, dass NEPS-Digitale Kompetenz reliabel erfasst werden kann (EAP-Reliabilität = 0,88) und sich als ein eindimensionales Konstrukt modellieren lässt.

Neue KI-Tools wie ChatGPT zeigen die disruptive Kraft von Künstlicher Intelligenz (KI) in vielen Bereichen unseres Lebens, unter anderem auch im Bildungssystem (Kasneci et al., 2023). Um mit den mit KI verbundenen Chancen und Herausforderungen umzugehen, benötigen Studierende ein grundlegendes Verständnis von KI und die Fähigkeit, KI-Tools zu nutzen und kritisch zu bewerten (Ng et al., 2021; Southworth et al., 2023). Diese Fähigkeiten werden häufig als AI Literacy bezeichnet (Long & Magerko, 2020; Ng et al., 2021). Um effektive Studienprogramme zu entwickeln, die AI Literacy bei Studierenden fördern, ist es notwendig, den aktuellen Stand der AI Literacy von Studierenden zu ermitteln. Zwar gibt es bereits einige AI Literacy Tests (z.B. Laupichler et al., 2023; Kong et al., 2022; Wang et al., 2022), aber viele Instrumente konzentrieren sich auf spezifische KI-Kurse, beruhen hauptsächlich auf Selbsteinschätzung oder liefern keine detaillierten psychometrischen Informationen. Das Ziel dieser Studie war es, einen AI Literacy Test zu entwickeln und zu validieren und erste Erkenntnisse über das Vorwissen von Studierenden unterschiedlicher Fächer in Deutschland zu gewinnen.

In einem mehrstufigen Prozess wurden Multiple-Choice-Items zu den Kompetenzen von Long und Magerko (2020) generiert (z.B. „Distinguish between technological artefacts that use and do not use AI.”). Nach einer fachlichen Prüfung durch drei Expert:innen und einer Überprüfung der Verständlichkeit durch qualitative Interviews mit fünf Studierenden wurde eine Pilotstudie mit 24 Teilnehmer:innen durchgeführt. Die Items wurden nach jedem Schritt neu überarbeitet. Die finale Testversion wurde mithilfe einer deskripivstatistischen Itemanalyse (Itemschwierigkeit und -trennschärfe) aus der Pilotstudie zusammengestellt. Das finale Testinstrument für die Haupterhebung umfasste 30 Multiple-Choice-Aufgaben und eine Sortieraufgabe.

Für die Haupterhebung wurde eine Stichprobe von N = 1286 Studierenden (58.32% männlich, 38.65% weiblich, Alter: M = 23.62, SD = 4.47) an sechs Hochschulen in Süddeutschland rekrutiert, um die Reliabilität und Validität des Tests zu überprüfen und Aussagen über den Stand der AI Literacy treffen zu können. Die Daten wurden nach der Item-Response-Theorie ausgewertet. Nach einem Vergleich von drei IRT-Modellen wurde ein 3PL-Modell als das beste Modell identifiziert. Nach Ausschluss eines Items mit geringer Trennschärfe wurden auf dieser Grundlage Personenfähigkeiten geschätzt. Die EAP-Reliabilität beträgt r = .85 (vgl. Interne Konsistenz: α = .82). Zur Überprüfung der Validität wurde gezeigt, dass AI Literacy mit theoretisch verwandten Konstrukten wie z.B. Selbstwirksamkeit, Interesse an KI und Einstellung zu KI korreliert. Außerdem wurde gezeigt, dass der Test in der Lage ist, zwischen Studierenden mit wenig und viel Erfahrung im Bereich KI (z.B. im Studium) zu differenzieren.

Die Ergebnisse zeigen, dass die AI Literacy von Studierenden stark variiert, wobei die meisten Studierenden ein basales Verständnis von KI aufweisen. Die AI Literacy ist bei Studierenden mit einem technischen Studienhintergrund oder Vorerfahrungen mit KI höher. Die Ergebnisse deuten darauf hin, dass ein Bedarf an effektiven KI-Kursen für ein breiteres Publikum von Studierenden besteht. Der Test eignet sich für die Nutzung im Hochschulkontext, z.B. für Screening-Surveys, zur Überprüfung von Zugangsvoraussetzungen, oder zur Evaluation von Lehrveranstaltungen.

Einleitung

Digitale Technologien sind aus der Lebenswirklichkeit vieler Menschen nicht mehr wegzudenken (KMK, 2021b). Die Förderung digitaler Kompetenzen ist daher ein wichtiger Schlüssel, um den Anforderungen einer digitalisierten und vernetzten Arbeits- und Lebenswelt gerecht zu werden (vgl. Helmrich et al., 2016) und gesellschaftliche sowie berufliche Teilhabe zu ermöglichen. Insbesondere in der Berufsschule gewinnt die Förderung digitaler Kompetenzen an Bedeutung. Die Berufsschule ist neben dem Ausbildungsbetrieb in der dualen Berufsausbildung der zentrale Ort für die Förderung digitaler Kompetenzen (KMK, 2021a).

Eine Voraussetzung für den Erwerb von digitalen Kompetenzen ist die Motivation von Schülerinnen und Schülern, sich mit digitalen Technologien (z.B. Learning Management Systemen, Lernanwendungen, etc.) zu beschäftigen. In diesem Beitrag untersuchen wir daher unterschiedliche Motivationsformen von Schülerinnen und Schülern im Zusammenhang mit der Nutzung von digitalen Technologien am Lernort Berufsschule.

Theorie

Als theoretischen Rahmen verwenden wir die Selbstbestimmungstheorie (Self-Determination-Theory, SDT; Deci & Ryan, 2008). Bei der SDT handelt es sich um eine Theorie menschlichen Verhaltens und persönlicher Entwicklung (Ryan & Deci, 2017). In der SDT werden verschiedene Formen der Motivation unterschieden. Dabei werden autonom regulierte Motivationsformen („autonomous motivation“) wie die intrinsische Motivation von extrinsisch regulierten Motivationsformen („controlled motivation“) abgegrenzt und entlang eines Autonomiekontinuums („relative autonomy continuum“) angeordnet (Deci & Ryan, 2008; Ryan, 2023).

Ein großer Teil der empirischen Forschung, die auf der SDT basiert, konzentriert sich auf die Untersuchung von Faktoren, die das Erleben von Freiwilligkeit und Eigeninitiative unterstützen oder erschweren (Ryan & Deci, 2017). Die SDT wurde in Studien in verschiedenen Lebensbereichen eingesetzt, z. B. in der Schule (vgl. Metaanalyse von Bureau et al., 2022), in der Erwerbsarbeit (Güntert, 2015) und bei der Gestaltung digitaler Technologien (Chiu, 2021). SDT-basierte Studien legen nahe, dass Schülerinnen und Schüler, die autonom-reguliert handeln bzw. selbstbestimmt motiviert sind, über ein höheres Wohlbefinden berichten, über mehr Ausdauer verfügen und schulisch erfolgreicher sind (Bureau et al., 2022).

Fragestellung

Unter Rückgriff auf die SDT stellen wir für diesen Beitrag folgende Forschungsfrage: Was motiviert Schülerinnen und Schüler beim Einsatz von digitalen Technologien in der Berufsschule?

Methode

Zur Erhebung von qualitativen und quantitativen Befragungsdaten führen wir sowohl (1) Gruppendiskussionen mit Berufsschullehrkräften als auch (2) eine Befragung von Berufsschülerinnen und -schülern in dualen Berufsausbildungen mit einem Online-Fragebogen durch.

Gruppendiskussionen. Die Gruppendiskussionen (Przyborski & Wohlrab-Sahr, 2021) wurden im zweiten Quartal 2023 mit Hamburger Berufsschullehrkräften in Präsenz durchgeführt und per Tonaufnahme dokumentiert. Die Auswertung der Transkripte folgt der inhaltlich-strukturierenden qualitativen Inhaltsanalyse in Anlehnung an Kuckartz und Rädiker (2022).

Online-Befragung. Mit dem Online-Fragebogen befragen wir etwa 6.000 Schülerinnen und
Schüler an Berufsschulen in Hamburg, die eine duale Berufsausbildung absolvieren. Die Feldphase ist für den Winter 2023/2024 geplant. Der Online-Fragebogen umfasst standardisierte Skalen zur Erfassung der selbsteingeschätzten digitalen Kompetenzen der Befragten und ihrer Motivationen. Zur Erfassung der selbsteingeschätzten digitalen Kompetenzen werden Items der ICT Self-Concept Scale (ICT-SC25; Schauffel et al., 2021) verwendet. Die Motivationen für die Nutzung digitaler Technologien in der Berufsschule werden mit dem Autonomy and Competence in Technology Adoption Questionnaire (ACTA) (Peters et al., 2018) erhoben.

Ergebnisse

Die Gruppendiskussionen mit den Berufsschullehrkräften lassen erwarten, dass die in der SDT adressierten psychologischen Grundbedürfnisse nach Autonomie- und Kompetenzerleben sowie sozialer Eingebundenheit (Ryan & Deci, 2020) auch im Berufsschulunterricht zur Entwicklung digitaler Kompetenzen gefördert werden. Inwieweit die Einschätzungen der ausgewählten Berufsschullehrkräfte mit den Erfahrungen der Berufsschülerinnen und -schüler übereinstimmt, werden erste Auswertungen der Online-Befragung voraussichtlich im ersten Quartal 2024 zeigen.

Diese Untersuchung ist Teil des Projektes „Kompetenzen für die digitale Arbeitswelt (KoDiA) – Ertüchtigung zur Digitalisierung“ (Laufzeit 2021-2024) (Kodia, 2023). Das Vorhaben wird durch dtec.bw – Zentrum für Digitalisierungs- und Technologieforschung der Bundeswehr gefördert. dtec.bw wird von der Europäischen Union – NextGenerationEU finanziert.