Theoretical background

In adolescents’ media practices, social media plays a central role as a source of information (Süss et al., 2024). Fake news has become a persistent problem in online media (Aïmeur et al., 2023) and constitutes part of the content adolescents encounter on these platforms (Broda & Strömbäck, 2024). Due to the rapid development of generative machine learning systems, the production, dissemination and perceived quality of fake news are likely to increase in the coming years (eg. Schönbächler et al., 2023). Recognizing fake news and drawing appropriate conclusions is crucial for forming opinions and making informed decisions (Hohlfeld, 2020) in a world shaped by digital media content.

Research gap

Qualitative research on individuals’ engagement with fake news has been identified as a significant research gap (Broda & Strömbäck, 2024). The aim of this study is to gain in-depth insights into adolescents’ behaviour and thought processes when evaluating the credibility of news items. Such insights are essential for developing effective pedagogical interventions. The study addresses the following research questions: RQ1: What experiences with potentially fake news do participants report? RQ2: What strategies can be observed when adolescents actively assess the credibility of news for potential fakeness? RQ3: What relevance do participants assert regarding the credibility of news and its assessment?

Method

We conducted interviews and recorded think-aloud protocols with twelve adolescents aged 15-16 while they engaged with two real-world examples of potentially fake news. Participants first provided quick and spontaneous judgments of credibility and justified their reasoning (spontaneous assessment). Subsequently, they were given a laptop with internet access to verify their initial assessments while verbalizing their thoughts according to the think-aloud method, allowing insights into their more elaborate strategies. The audio and screen recordings were analyzed via content analysis.

Results

The analysis of the interviews revealed that all participants expected to encounter fake news in their everyday media use - both on social media and in established news outlets. During their spontaneous assessments, nine strategies were identified: logical reasoning, assessing the quality of images and videos, matching with prior knowledge about the topic, matching with prior knowledge about the source, opinion, assessing the general visual impression, assessing diction and text design, referencing advertising, and referencing comments. From the analysis of the think-aloud protocols recorded during the more elaborate assessment, seven elaborate main strategies could be extracted: Checking content using search engines, examining surface features (design/style/videos), source, reactions of others, checking content without search engines, using fact checker services, and strategies not shown on the computer.

Notably, with the exception of the “opinion” strategy, all spontaneous strategies also appeared in the elaborated assessments. This indicates that engaging in a more elaborate check does not necessarily involve using completely different strategies, but also a more extensive application of those already used spontaneously. Furthermore, applying an elaborate strategy does not automatically ensure an accurate credibility judgment. Even participants who initially judged an item correctly sometimes reversed their evaluation after conducting an online research and arrived at a false conclusion. There was no single strategy or combination of strategies that consistently led to success.

In our presentation we will illustrate several of these strategies with concrete examples and propose several recommendations for designing lessons on information literacy.

Introduction

The research-practice gap in education has been recognised for decades (Bauer & Kollar, 2023; van Schaik et al., 2018). Although high-quality educational research is intended to inform practitioners’ decision-making (Ming & Goldenberg, 2021), studies consistently show that teachers often rely on non‑scientific sources and frequently prefer information from peer teachers (Bråten & Ferguson, 2015; Csanadi et al., 2021; Kiemer & Kollar, 2021; Zhao & Fan, 2022). Building on arguments that teachers’ attitudes toward and beliefs about research contribute to this gap (van Schaik et al., 2018), the present experiment tests how changing the source framing (research report vs. practice report) of identical findings (negative effects of students’ ChatGPT use on their performance) influences teachers’ evaluations of educational research and their behavioural intentions.

The present study

This study addressed two research questions: (I) How does source framing influence inservice teachers’ attitudes toward and beliefs about educational research? and (II) How does source framing influence inservice teachers’ intention to use AI in education?.

Research design & methods

A mixed between- and within-subjects pre-post experiment (t₁, treatment, t₂) was conducted with 74 German inservice teachers recruited via YouGov and randomized to a research-report condition (n=41) or a practice-report condition (n=33). All participants self-reported the following constructs at pre- and posttest:

- Attitudes toward knowledge sources was assessed via four subscales, rating items on 6-point Likert scales (adapted from Kiemer & Kollar, 2021): Educational theories, empirical research, personal teaching experience, and others’ experiences. All subscales showed good reliabilities at both pre- and posttest (Cronbach’s α t₁=.808-.933, t₂=.884-.970).

- Beliefs towards educational theory and research findings were assessed via two subscales, rating items on 7-point Likert scales (adapted from Stahl & Bromme, 2007): Robustness and Coherence (Cronbach’s α t₁=.865-.888, t₂=.889-.869).

- Technology acceptance of generative AI in education was assessed via three subscales, rating items on 7-point Likert scales (adapted from Shen et al., 2019; Venkatesh et al., 2003): Performance expectancy, effort expectancy, and behavioural intention (Cronbach’s α t₁=.939-.979, t₂=.957-.981).

To investigate the effects of the intervention on these constructs, we conducted repeated measures ANOVAs (source × constructs at t₁ and t₂).

Results

In line with prior research, inservice teachers rated personal teaching experiences and those of other teachers as more important for their practice than evidence from educational research or theory. When providing inservice teachers with different source formats on the negative effects of ChatGPT on student performance, these attitudes did not change (RQ1). Repeated-measures ANOVAs showed no significant main effects of source and no source × time interactions on evaluations of the four knowledge sources. Beliefs about robustness and coherence of educational research were also not influenced by the different source formats in this study. Coherence, however, decreased over time, (F(1, 72)=4.63, p=.035, 𝜂²_p=.06).

Similarly, inservice teachers’ intention to use AI in education decreased in both treatment conditions while there was no difference between the groups regarding the extend of the decrease (RQ2). Performance expectancy decreased over time, (F(1, 72)=8.60, p=.005, 𝜂²_p=.11), as did behavioural intention, (F(1, 72)=7.76, p=.007, 𝜂²_p=.10). Nevertheless, repeated-measures ANOVAs showed no significant source or source × time effects for performance expectancy, effort expectancy, or behavioural intention.

Discussion

Source framing did not affect teachers’ evaluations of educational research, suggesting that the source formats were similarly effective in conveying the information. Despite this, the observed time-related declines indicate that even a single exposure to findings about AI in education (regardless of source framing) can influence teachers’ critical appraisal and their intention to use AI in practice.

Einleitung

Die zunehmende Verfügbarkeit generativer KI-Systeme verändert Lern-, Arbeits- und Kommunikationsprozesse in der Schule wie in der Berufsbildung grundlegend. Während viele Lernende KI bereits aktiv nutzen, fehlen systematische, curriculare Zugänge, die den kompetenten und verantwortungsvollen Umgang mit KI fördern und überprüfbar machen. Der vorliegende Beitrag stellt die Konzeption eines „KI-Führerscheins“ für die Sekundarstufen I und II vor, der auf Mastery Learning basiert und AI Literacy als entwickelbare Kompetenz versteht. Ziel des Projekts ist es, Lernende zu befähigen, KI-Technologien kritisch, reflektiert und produktiv in fachlichen und überfachlichen Kontexten zu nutzen.

Theoretischer Rahmen und Forschungsfragen

Zur Operationalisierung von AI Literacy dient das AILit-Framework (OECD, 2025), welches in fünf Wissensbereiche, von Funktionsweise und Grenzen von KI bis zu ihren gesellschaftlichen Auswirkungen, und vier Kompetenzdimensionen (Engaging, Managing, Creating, Designing AI) unterscheidet. Diese markieren eine systematische Progression von basaler Nutzung zu reflektierter und kreativer Gestaltung. Design-Based Research (McKenney & Reeves, 2018) bietet einen geeigneten Rahmen, um aus diesem Kompetenzmodell konkrete Lernarrangements abzuleiten, sie prototypisch umzusetzen und in iterativen Zyklen weiterzuentwickeln. Als konzeptioneller Ausgangspunkt diente ein Conjecture Mapping nach Sandoval (2014), das die Verbindung zwischen theoretischen Annahmen, Designprinzipien, Gestaltungsformen («embodiments») und erwarteten Lernmechanismen systematisiert. Ausgehend vom DBR-Rahmen ergeben sich somit folgende Forschungsfragen:

RQ1: Welche Wissens- und Kompetenzdimensionen von AI Literacy sind für Lernende der Sekundarstufen I und II relevant und begründbar?

RQ2: Wie kann ein Mastery-Learning-Ansatz gestaltet werden, um den systematischen Aufbau von AI Literacy sowie einen reflektierten und verantwortungsvollen Umgang mit KI zu unterstützen?

RQ3: Welche designleitenden Prinzipien und Gestaltungsformen lassen sich für die Entwicklung, Sequenzierung und formative Bewertung eines KI-Führerscheins ableiten?

Ergebnisse

Die konzeptionelle Entwicklung führte zu einer ersten Version des KI-Führerscheins, die auf einem Conjecture Mapping basiert. Dabei wurden zehn designleitende Prinzipien identifiziert, die sich in drei Gruppen einteilen lassen: (1) stark KI-spezifische Prinzipien wie kritische Prüfung, kognitive Transparenz, produktive Irritation, geteilte Verantwortung und Reflexionsspur; (2) transformierte allgemeine Prinzipien wie epistemische Selbstregulation und dialogische Verankerung, (3) didaktische Rahmenprinzipien wie situierte Authentizität und progressive Kompetenzentwicklung des Mastery Learning Ansatzes. Diese Prinzipien bilden die Grundlage für ein Lernarrangement, das Lernende dazu befähigt, KI-Interaktionen kritisch, reflektiert und produktiv zu gestalten.

Aus ihnen wurden zentrale Gestaltungsformen («embodiments») abgeleitet, darunter Aufgaben zur Nutzung von KI als Lerntutor, metakognitive Checkpoints sowie beispielsweise Peer-Diskussionen über KI-Interaktionen. Eine sequenzierte Modularchitektur, umgesetzt in Moodle, verbindet diese Elemente mit Mastery Learning, sodass Lernende Kompetenzen schrittweise aufbauen und prüfen können. Die daraus resultierenden «embodied conjectures» (Sandoval, 2014) umfassen erwartete Lernmechanismen wie die metakognitive Steuerung der KI-Nutzung, die kritische Evaluation und Korrektur von KI-Ausgaben sowie die Fähigkeit, KI-gestützte Vorschläge funktional in fachliche Aufgaben einzubinden. Darüber hinaus sollen Lernende lernen, KI gezielt zur Erweiterung eigener Lösungsansätze zu nutzen und zwischen angemessener Delegation und eigener Bearbeitungsleistung zu unterscheiden. Damit liegt ein konsistentes Initialdesign vor, das im nächsten DBR-Zyklus empirisch erprobt und weiterentwickelt werden soll.

Fazit und Diskussion

Der konzeptionelle Entwurf zeigt, dass AI Literacy nur dann wirksam gefördert werden kann, wenn Lernende KI nicht nur nutzen, sondern deren Unsicherheiten, Fehler und Grenzen aktiv prüfen und reflektieren. Dies erfordert eine Verschiebung der Lernrolle. Lernende werden zu epistemischen Akteuren, die Verantwortung für die Bewertung und Einordnung von KI-Ausgaben übernehmen. Mastery Learning bietet hierfür eine geeignete Struktur, da es die schrittweise Entwicklung zentraler Kompetenzen ermöglichen kann. Da der Beitrag ein theoretisches Initialdesign präsentiert, sind empirische Wirksamkeitsnachweise noch ausstehend. Zentrale Fragen betreffen die Umsetzbarkeit im schulischen Alltag, die notwendigen Unterstützungsstrukturen für Lehrpersonen und die Passung zu curricularen Vorgaben. Dennoch stellt die Konzeption einen wichtigen Ausgangspunkt dar, um KI-gestütztes Lernen systematisch zu gestalten und AI Literacy als grundlegende Kompetenz für die Sekundarstufen I und II zu verankern.