Veranstaltungsprogramm

Einleitung

Seit der Einführung von ChatGPT ist Künstliche Intelligenz (KI) ein wesentlicher Bestandteil der Bildungslandschaft. Schülerinnen und Schüler nutzen diesen Chatbot für eine Vielzahl von Aufgaben wie das Verfassen von Texten, zur Erklärung von Inhalten oder Unterstützung bei Essays und Recherchen. Dies ermöglicht es den Lernenden, Wissenslücken eigenständig zu schliessen und Aufgaben effizient zu bearbeiten. Gleichzeitig besteht jedoch das Risiko, dass essenzielle Kompetenzen wie kritisches Denken und das Vertiefen von Fachwissen vernachlässigt werden (Lo, 2023).

Die Lernplattform «Brian» verfolgt den Ansatz, Lehrpersonen und Lernende in einer integrierten Lernumgebung zusammenzubringen und dort Lerninhalte mithilfe von KI zu vermitteln. Um die kritische Auseinandersetzung und Reflexion mit Lerninhalten zu fördern, wurde ein KI-basierter Chatbot mit zwei Nutzungsmodi integriert: Im «Teacher-Led» Modus entwickeln Lehrkräfte anhand vorgegebener Templates («Promptings») Aufgaben in Form von KI-Dialogen für Lernende. Im «Student-Led» Modus erhalten Lernende Zugang zum Sprachmodell (ChatGPT), wobei die Interaktion mit dem Chatbot in Richtung sokratischer Dialog entwickelt ist.

Forschungsfragen

In der Studie werden spezifische Merkmale des KI-Chatbots in «Brian» evaluiert, mit dem Ziel, Lernprozesse und Lernergebnisse der Lernenden zu verbessern. In der formativen Evaluation im Frühjahr 2025 fokussieren wir uns auf das kognitive, emotionale und behaviorale Student Engagement (Gunuc & Kuzu, 2015; Tang & Hew, 2023) und die Qualität der KI-Dialoge. Folgende Forschungsfragen werden dabei untersucht:

1. Wie wird der KI-Chatbot genutzt (z.B. «Teacher-Led», «Student-Led», Aufgabenstellungen nach Fachbereichen, kategorisiert nach Lernzieltaxonomiestufe (Krathwohl, 2002), etc.)?

2. In welchem Masse funktionieren die KI-Dialoge?

3. Wie nehmen die Lernenden den KI-Chatbot wahr?

4. Welche Faktoren beeinflussen die Akzeptanz des KI-Chatbots?

Methode

Das Forschungsprojekt wird als Design-Based Research Ansatz (DBR) umgesetzt, um zum einen Design-Prinzipien und relevante Adoptionsfaktoren für KI-basierte Dialoge zu ermitteln (theoretischer Beitrag) sowie auch Rückschlüsse für ein Re-Design von «Brian» (praktischer Beitrag) ziehen zu können. Das methodische Verfahren des DBR-Projektes für die Evaluation eines ersten Entwicklungszyklus umfasst ein Mixed-Method-Ansatz:

1. Qualitative Interviews mit Lernenden der Sekundarstufe II Stufe (ca. 10 beteiligte Schulen: Berufsfachschulen und Gymnasien). Die Lernenden werden zu ihren Erfahrungen mit dem KI-Chatbot, sowie Einstellungen und Wahrnehmungen befragt, mit dem Ziel, die quantitative, breite Umfrage zu spezifizieren.

2. Erhebung von quantitativen Daten mittels Online-Umfrage über alle Kurse des Samples.

3. Analyse des Nutzungsverhaltens von Lernenden anhand ausgewählter KI-Dialoge (z.B. Dauer der Promptings).

Ergebnisse und Diskussion

Der Beginn für die Datenerhebung ist für Februar 2025 geplant. Konkrete Ergebnisse und detaillierte Analysen werden erst nach Abschluss der Datensammlung und deren Auswertung vorliegen. Dies ermöglicht eine gründliche Untersuchung der Nutzungsmuster und Effektivität des KI-Chatbots in verschiedenen Lernkontexten auf der Sekundarstufe II. Die Ergebnisse dieser Analyse werden im Sommer 2025 verfügbar sein und einen tieferen Einblick in die Auswirkungen und Potenziale des Einsatzes von KI-Chatbots in Schulen auf der Sekundarstufe II bieten.

This study investigates students’ perceptions of teacher feedback and AI (ChatGPT) feedback in their applications to project-based learning (PBL), with particular emphasis on lab report writing in higher education (Guo et al., 2020). PBL is a pedagogical approach focusing on engaging students in meaningful projects to enhance skills, such as critical thinking, collaboration, and motivation (Reis et al., 2017). Despite its proven effectiveness, PBL and the crucial role of feedback therein have received scant research interest. Until recently, teachers have been the primary source of feedback, offering customized corrections and guidance that establish rapport between teachers and students (Hyland & Hyland, 2001). However, automated tools like Automated Writing Evaluation (AWE) have started making inroads to provide feedback on student writing. These tools are designed to identify errors and offer corrections, yet they suffer from being overly mechanical and lacking the human touch that can foster student motivation and build significant interpersonal rapport compared to teacher feedback (Lipnevich & Smith, 2022). Studies on technology-mediated feedback have thus shown mixed results, highlighting both the advantages of efficiency and the drawbacks of lacking emotional engagement.

To investigate students’ perceived engagement with both types of feedback, this research employed a sequential explanatory mixed-methods design, and it sought to address the following inquiry: How do EFL students’ perceptions of AI feedback differ from their perceptions of teacher feedback in a PBL setting? In more concrete terms, and based on Ellis’ (2010) feedback framework, this inquiry aimed to explore how the participants perceived their behavioral, cognitive, and affective engagement with human vs. AI feedback, and how they perceived ethical engagement with these two feedback types. The sample consisted of 34 male and female students enrolled in an English for specific purposes writing credit course. Data collection instruments included a questionnaire and reflections, furnishing rich qualitative data that supported the quantitative data from the questionnaire.

The results demonstrated that students preferred engagement with teacher feedback as it was more individualized, softer in tone, and had greater detail. Cognitively, students exhibited more engagement with teacher feedback pertaining to critical thinking and scientific reasoning, having to address the teacher’s questions in the feedback. This was less observed with AI feedback as it only facilitated their understanding of the problems and errors without identifying the causes thereof, nor prescribing the necessary reparatory actions. From an affective perspective, the students preferred human teacher feedback for its ability to reinforce their motivation and confidence by its human touch. The study suggests further comprehensive research into the effectiveness of AI-based feedback and its implications in PBL context.

Einleitung

Die Integration generativer künstlicher Intelligenz (KI) im Hochschulbereich, insbesondere durch Tools wie ChatGPT, stellt eine zentrale Herausforderung für die Bewertung des kritischen Denkens von Studierenden im Umgang mit diesen Technologien dar. Traditionelle Assessment-Methoden des kritischen Denkens konzentrieren sich überwiegend auf psychologisch-kognitive Aspekte und vernachlässigen die spezifische Auseinandersetzung mit KI-Tools und deren Outputs (z. B. Facione, 1990; Stein & Haynes, 2011). KI-Literacy-Tests wiederum beschränken sich hauptsächlich auf Wissensabfragen zu KI, ohne den praktischen Umgang mit KI-generierten Inhalten oder hochschulnahe Szenarien zu berücksichtigen (z. B. Chiu et al., 2024). Diese Lücke verdeutlicht die Notwendigkeit eines Instruments, das den kritischen Umgang mit generativer KI ausgerichtet auf den Hochschulbereich erfasst. Ziel der Studie ist es, einen konzeptionellen Rahmen und darauf aufbauend ein Online-Assessment-Tool zu entwickeln, das die Fähigkeit von Studierenden im kritischen Umgang mit generativen KI-Tools, wie ChatGPT, bewertet und die Grundlage für die Förderung dieser Fähigkeiten legt.

Theoretischer Hintergrund

Kritisches Denken gilt in der Hochschulbildung als Schlüsselkompetenz. Laut dem Critical Thinking Assessment Test (CAT) von Stein und Haynes (2011) umfasst es die Dimensionen Informationsbewertung, kreatives Denken, Lernen und Problemlösen sowie Kommunikation. Im Kontext generativer KI erweitert sich das Verständnis: Studierende müssen KI-Inhalte analysieren, bewerten und einordnen, kritisch argumentieren und reflektierte Entscheidungen treffen. Gleichzeitig birgt die Nutzung von KI-Tools das Risiko, kritische Fähigkeiten zu untergraben, aber auch das Potenzial, jene zu fördern (Crawford et al., 2023). Ein wirksames Assessment-Tool sollte daher über Wissensabfragen hinausgehen und den aktiven Umgang mit der KI erfassen.

Ausgehend davon stellt sich folgende Forschungsfrage: Wie muss ein Online-Assessment-Instrument gestaltet sein, um kritisches Denken im Umgang mit ChatGPT effektiv zu erfassen?

Methodik

Die Studie kombiniert qualitative und quantitative Ansätze. Basierend auf (1) einer Literaturrecherche zu kritischen Denktests und (2) Anforderungen der KI-Nutzung wurden Aufgaben erstellt, die über traditionelle MC-Formate hinausgehen und den kritischen Umgang mit KI und ihren Inhalten erfassen.

Ein Prototyp wurde in einer zweistufigen Pilotphase getestet, um dessen Praxistauglichkeit und Wirksamkeit zu überprüfen. In der ersten Runde wurde ein Pretest mit Bachelorstudierenden (n=5) zwischen 18 und 29 Jahren durchgeführt. In der zweiten Runde (n=39) wurden 20 Bachelorstudierende untersucht, welche die Aufgaben unter ChatGPT-Nutzung im Rahmen eines 2,5-stündigen Online-Experiments bearbeitet haben. Eine Kontrollgruppe von 19 Studierenden hat die Aufgaben ohne KI-Nutzung bearbeitet, unter Google-Zugang.

Ergebnisse

Erste Ergebnisse aus dem ersten Entwicklungszyklus zeigen, dass eine Kombination aus offenen Antwortformaten und spezifischen, auf KI bezogenen Szenarien notwendig ist, um kritisches Denken im Umgang mit KI umfassend zu erfassen. Das entwickelte Rahmenkonzept umfasst 11 Aufgaben, die sowohl praxisnahe hochschulbezogene als auch allgemeine Szenarien mit KI-Bezug abdecken. Es zielt auf folgende vier zentrale Fähigkeiten mit folgenden Aufgabeninhalten ab:

1) Analyse: Outputs von ChatGPT interpretieren und verstehen, Biases erkennen sowie zugrunde liegende Annahmen identifizieren und erklären.

2) Bewertung: Glaubwürdigkeit, Relevanz und Zuverlässigkeit von KI-generierten Informationen beurteilen, Pro- und Contra-Argumente in (textbasierten) KI-Outputs bewerten, sowie (grafische) KI-Outputs interpretieren und vergleichen.

3) (Ethische) Argumentation: Logische und ethische Schlussfolgerungen ziehen und fundierte ethische Entscheidungen unter KI-Einsatz treffen. Dies umfasst deduktives und induktives Denken, das Erkennen von Strukturen, die Angabe wissenschaftlicher Quellen, das Formulieren und Begründen von Hypothesen sowie die Rechtfertigung von Entscheidungen in ethischen Dilemmasituationen.

4) Metakognition: Selbstwahrnehmung und Steuerung eigener kognitiven Prozesse bei KI-Nutzung einschliesslich Reflexion über eigene Biases und die Verwendung von ChatGPT.

Diskussion

Die Studie unterstreicht die Bedeutung eines spezialisierten Assessment-Instruments für den Hochschulbereich, um kritisches Denken von Studierenden im Umgang mit generativer KI, wie ChatGPT, zu erfassen. Die Ergebnisse zeigen, dass die Gestaltung von Aufgaben, die Verständnis und kritische Analyse von KI-Outputs kombinieren, entscheidend ist. Das Rahmenkonzept, das Fähigkeiten in den Bereichen Analyse, Bewertung, ethische Argumentation und Metakognition adressiert, bildet eine fundierte Grundlage für die Entwicklung von Bewertungsmethoden und zur Förderung kritischen Denkens.