Veranstaltungsprogramm

Theoretischer Hintergrund

Das Internet ist für Studierende eine essentielle Informationsquelle zu studienrelevanten Themen (Maurer et al., 2020; Autoren, 2021). Dabei stehen Studierende vor besonderen Herausforderungen, wenn sie das Internet als Wissensressource nutzen. Studierende benötigen nicht nur die Fähigkeit, das Internet strategisch nach hochqualitativen Quellen und Informationen zu durchsuchen, sondern auch in der Lage sein, Suchergebnisse kritisch zu evaluieren und verlässliche Quellen zu identifizieren. Die Informationen, die in der Regel aus verschiedenen Quellen stammen, müssen inhaltlich-argumentativ reflektiert, verknüpft und schließlich zur Beantwortung spezifischer Fragen, wie der Lösung von Studienaufgaben, effektiv angewendet werden können. Die Evaluierung der Relevanz, Glaubwürdigkeit und Vollständigkeit der gefundenen Informationen ist dabei von zentraler Bedeutung. Die allgemeine Fähigkeit hierzu, einschließlich der Informationsbeschaffung in Online-Umgebungen, der kritischen Informationsbewertung sowie der Argumentation und Synthese, wird als Generic Critical Online Reasoning (GEN-COR, Molerov et al., 2020) bezeichnet. In Abgrenzung zu Domain-Specific Critical Online Reasoning (DOM-COR), das sich auf den Umgang mit Informationen innerhalb spezifischer Studienfächer bezieht, erfordert GEN-COR kein fachspezifisches Wissen.

Fragestellung

Um GEN-COR mit den drei Facetten „Informationsbeschaffung“, „Bewertung“ und „Synthese“ valide erfassen zu können, ist ein hohes Maß an Interaktivität in einer authentischen Aufgabenumgebung erforderlich (Molerov et al., 2020; Nagel et al., 2020). Im Teilprojekt einer DFG-Forschungsgruppe [anonymisiert] haben wir daher komplexe szenarienbasierte Aufgaben zur Messung von GEN-COR entwickelt, um das Verhalten von Hochschulstudierenden bei der Informationsnutzung in realen Internet-Umgebungen zu erfassen. Des Weiteren werden in der Studie zusätzliche Tests zum Leseverständnis und Intelligenz eingesetzt, um auch die Beziehung zwischen GEN-COR und den zugrundeliegenden kognitiven Fähigkeiten vertieft zu untersuchen.

Methode

Die Studie begleitet Hochschulstudierende aus vier Fachdomänen (Medizin, Ökonomie, Soziologie und Physik) während ihrer ersten drei Jahre an der Universität, um die langfristige Entwicklung von COR-Fähigkeiten während des Studiums zu untersuchen und wichtige individuellen und kontextuellen Prädiktoren zu identifizieren. Zudem ermöglichen weitere entwickelte DOM-COR-Aufgaben, die domänenspezifisches Wissen in den o.g. Fächern erfordern, die Zusammenhänge zwischen den Leistungen in den generischen und domänenspezifischen COR-Aufgaben zu untersuchen.

Die entwickelten GEN-COR-Aufgaben greifen allgemeine bzw. alltägliche Informationsprobleme auf, die kein spezifisches Fachwissen erfordern. Beispielsweise werden die Studierenden mit Fragen zum Recycling bestimmter Abfallprodukte oder zu möglichen Gesundheitsrisiken von Wohnortbedingungen konfrontiert, zu denen sie im freien Internet recherchieren und anschließend ein kritisches Statement mit Pro und Contra Argumenten aus den gefundenen Evidenzen zu den Fragen verfassen sollen. Zudem sollen auch recherchierte Quellen durch die Studierenden in ihrer Qualität (z.B. Zuverlässigkeit) beurteilt werden. Neben schriftlichen Antworten werden auch Verhaltensdaten in vivo erfasst, wie verwendete Suchbegriffe, aufgesuchte Internetseiten und Scrollbewegungen, um relevante Aspekte des COR-Aufgabenbearbeitungsprozesses zu analysieren. Hierzu zählen beispielsweise die Effizienz der Suchstrategien und die Einbeziehung zusätzlicher Informationen zur Verifizierung bei der Beurteilung von Quellen.

Ergebnisse

In einer ersten Pilotierung der vier neu entwickelten Aufgaben mit Hochschulstudierenden (N=16) wurde im Rahmen einer qualitativen Auswertung eine beachtliche Heterogenität in den Aufgabenleistungen der Studierenden festgestellt. Sowohl anhand der Analyse der Logdaten zum Vorgehen bei der Aufgabenbearbeitung und den Suchstrategien als auch in der inhaltlichen Qualität der schriftlichen Antworten zu den Aufgaben ließen sich deutliche Unterschiede bei High- versus Low-Performern erkennen. Die Aufgaben sind somit geeignet, um theoretisch erwartete unterschiedliche Kompetenzniveaus im Bereich GEN-COR abbilden zu können. In der aktuell laufenden Hauptstudie werden die Aufgaben einer größeren Stichprobe von Studierenden (N=1200) aus den vier Fachdomänen vorgelegt. Auf Basis dieser Stichprobe werden im Symposium neben den qualitativen Pilotierungsergebnissen erste quantitative Ergebnisse zur Interrater-Reliabilität bei der Leistungsbeurteilung, der dimensionalen Struktur der erfassten Leistungen sowie der Skalen- und Itemeigenschaften vorgestellt. Die Ergebnisse werden im Hinblick auf ihre Implikationen für das längsschnittliche COR-Assessment und die Erfassung der Entwicklung von COR-Kompetenzen im Studiumsverlauf diskutiert.

Theoretischer Hintergrund/Fragestellung: Studierende unterschiedlicher Studienrichtungen nutzen zum Lernen Informationen im Internet, die in narrative Framings und latente Sinngehalte eingebettet sind. Im Teilprojekt einer DFG-Forschungsgruppe [anonymisiert] untersuchen wir, wie Studierende der Medizin, der Ökonomie und des Lehramts mit solchen Frames bei der Auswahl und Nutzung der Informationen für die Lösung von Internet-basierten Aufgaben umgehen. Dabei nehmen wir an, dass der „Sinn digital[en] sozialen Handelns […] in der Relationierung von Ding und Mensch in je spezifischen Situationen“ liegt, die sich wiederum „als Repräsentanten einer allgemeinen Situiertheit jeden sozialen Handelns deuten“ lassen (Wolf & Thiersch, 2023, S.68). Sowohl die Quellen-Recherche der Studierenden als auch die Textproduktion (Aufgabenantworten) werden als soziale Praxis betrachtet (Macgilchrist et al. 2023), die sich situativ vollziehend entlang der genannten Daten hermeneutisch rekonstruiert und interpretiert wird.

Methode: Hierzu setzen wir ein neuartiges methodengemischtes Studiendesign ein und kombinieren die methodischen Zugänge der sequentiell vorgehenden rekonstruktiven Hermeneutik (Oevermann), die die Regelhaftigkeit von Handeln fokussiert (Dickel/Neumann 2021) und die narrative Analyse (Autoren, 2020), mit besonderer Sensibilität für sprachliche Merkmale (z.B. Methapern). Die Studierenden der unterschiedlichen Studiengänge werden gebeten, sogenannte GEN-COR-Aufgaben zu alltäglichen Themen (z.B. zur Gesundheitsförderung von E-Bikes) sowie domänenspezifische DOM-COR-Aufgaben (z.B. zur Start-Up-Gründung, in der Domäne Wirtschaft) zu lösen und dazu zuverlässige Internetquellen zu recherchieren (s. Beitrag 1). Anschließend untersuchen wir rekonstruktiv hermeneutisch und narrativ die Situation und, bezogen auf den gesamten Prozess der Aufgabenlösung, inwieweit die Studierenden Framings sowie latente bzw. normative Deutungen erkennen, die in den von ihnen verwendeten Quellen enthalten sind. Um die Entstehung studentischer Aufgabenlösungen als soziale Praxis zu untersuchen, ziehen wir die Aufgabenstellungen und alle digital erfassten Dokumente aus den individuellen Lösungsprozessen heran: verlinkte Webseiten, die besuchten bzw. genutzten Internetquellen, erstellte Antworten sowie Log-Daten (inkl. Suchbegriffe etc.), die die Denkprozesse der Studierenden in der situativen Internetumgebung dokumentieren. Anhand des multimodalen Datenkorpus arbeiten wir heraus, wie die Aufgabenlösungen situativ und interaktiv zwischen Studierenden und Internetumgebung hervorgebracht werden. Die rekonstruktive Analyse der in situ erzeugten sichtbaren Spuren, die die Studierenden beim Lösen der Aufgaben in digitalen Räumen erzeugen (wie Log-Daten, genutzte Quellen, formulierte Texte), machen ihre Informationsverarbeitungs- und Entscheidungsprozesse zur Nutzung bestimmter Quellen sichtbar, die ansonsten nicht manifest sind.

Ergebnisse: Die kontrastierende Analyse von vier Fällen (Studierende des Lehramts und der Medizin) mit den je besten und schlechtesten Leistungen zu einer GEN-COR-Aufgabe rekonstruiert schrittweise die Situation und den Prozess der Auseinandersetzung von Studierenden mit Informationen in Internetumgebungen. Die Analysen der Antworten der Studierenden zeigen, dass Studierende den (latenten) Frames aus den genutzten Internet-Quellen mehr oder weniger unreflektiert folgen: So folgt z.B. der Proband ID3 den Framings, die die gesundheitliche Gefahr von E-Bikes auf bestimmte gesellschaftliche Gruppen (Ältere, Übergewichtige) hin engführen sowie weiteren normativen Setzungen und Deutungen (z.B. „Sportmuffel“). Dieses Framing aus den Quellen wird in der Antwort übernommen und nicht kritisch hinterfragt. Dies gilt auch für Bezugnahmen auf die in Quellen zitierten Experten. In den Antworten werden häufig „Experten“ wie „anerkannte Autoritäten“ zitiert und kaum hinterfragt, deren „Autorität“ bzw. „Expertise“ jedoch narrativ konstruiert ist (z.B. durch wörtliche Rede, die Nennung akademischer Titel, den Vorsitz in einer Fachorganisation). Neben solchen und anderen in den Antworten enthaltenen Ausdrucksgestalten (wie Metaphern, Sinndeutungen) zeigen die präsentierten Analysen: Inwiefern ein Selbstbezug, eine Positionierung des Subjekts und/oder ein souveräner, kritischer Standpunkt eingenommen wird; Inwiefern generische und/oder domänenspezifische (z.B. sportmedizinische) Aspekte berücksichtigt und kontextualisiert werden; Inwiefern von Studierenden als zuverlässig eingestufte Quellen (z.B. auch Werbe- bzw. Verkaufsseiten eines Fahrradherstellers) sich auf die Qualität im Antwortverhalten auswirken.

Indem wir hermeneutische Rekonstruktion und Narratologie verschränken, beschreiten wir neue methodische Wege und zeigen, wie der neuartige Ansatz auch für Interaktionsanalysen in digitalen universitären Lehr-Lernräumen hilfreich sein könnte.

Theoretischer Hintergrund/Fragestellung: Die Popularität des Konstrukts „kritisches Denken“ (critical thinking) als identifizierte Kernkompetenz an der Schnittstelle Hochschule-Beruf steht in deutlichem Kontrast zum Mangel an Klarheit in der definitorischen Abgrenzung von verwandten Konstrukten wie Problemlösen und logischem Denken. Eine Folge davon ist, dass ein grauer Markt für methodisch fragwürdige Messinstrumente entstanden ist, die angeblich das individuelle Niveau von kritischem Denken für die Personalauswahl indizieren. Das Kernproblem aller, in der Regel auf Fragebögen basierenden Tests ist ihre mangelnde Validität, wenn man zeitgemäße Definitionen zugrunde legt, die u.a. die Reflektion der Zuverlässigkeit und Relevanz von Informationsressourcen mit einschließt (Shavelson, 2007). Die Validitätsprobleme herkömmlicher Erhebungsinstrumente lassen auch sehr fraglich erscheinen, ob der von Pascarella und Terenzini (2005) sekundäranalytisch geschätzte Zuwachs von .5 SD über 4 Studienjahre, über die in die Datensynopse einbezogenen Tests hinaus verallgemeinerbar ist, zumal die Autoren selbst anerkennen, dass sie 15 Jahre zuvor den Zuwachs mit 1.0 SD angegeben hatten (Pascarella & Terenzini, 1991).

Ein neuer, zukunftsweisender Ansatz zur ökologisch validen Messung kritischen Denkens bei jungen Erwachsenen stellt das „Performance Assessment“ da (Braun et al., 2020; Shavelson et al., 2019). Unser Ansatz ist hierbei, die Studierenden mit einer sozial relevanten Entscheidungsdilemma zu konfrontieren, das auf echten komplexen Problemen in der zeitgenössischen Lebenswelt basiert. Hierfür stehen ihnen sieben bis acht vorausgewählte kuratierte Dokumente zur Verfügung, die mehr oder weniger relevante und vertrauenswürdige Information enthalten. Keine andere Quelle darf herangezogen werden (geschlossener Informationspool). Das Niveau kritischen Denkens in dem ein- bis zweiseitigen Essay, den die Studierenden schreiben, leitet sich nicht aus der Entscheidung selbst ab, sondern aus der Anzahl und Bewertung der für die Entscheidung herangezogenen Argumente. Bislang wurden drei solcher Performance Assessment Aufgaben (Bryn Bower Series, BBS) entwickelt, die auch im Kontext einer Lehrveranstaltung leicht eingesetzt werden können, da die Erhebungszeit auf 50 Minuten begrenzt ist.

In einer ersten Studie im Jahr 2021 mit Psychologiestudierenden im 2. bis 4. Studienjahr konnten wir mit dem BBS-Instrument im Querschnitt keinen Effekt der Studiendauer auf das Niveau kritischen Denkens nachweisen. Für die längsschnittlich über ein Semester angelegte Hauptstudie gingen wir der Frage nach, welche Interventionen kritisches Denken nachhaltig verbessern. Die Kernhypothese lautete, dass der Zuwachs um so deutlicher ausfällt, je intensiver die Intervention.

Methode:

Stichprobe: 144 Studierende der Psychologie in der Lehrveranstaltung Pädagogische Psychologie an einer US-amerikanischen Universität. Messung am Anfang und Ende des Semesters (Herbst 2022) mit je zwei unterschiedlichen BBS-Aufgaben.

Abhängige Variablen: 4 Indikatoren kritischen Denkens (Zahl der Argumente, Ausgewogenheit der Argumente („myside-bias“), Häufigkeit von Glaubwürdigkeitsaussagen in Bezug auf Dokumente, Textqualität)

Unabhängige Variable: kumulative Interventionsintensität mit vier Stufen: 1 = keine Intervention (Kontrollgruppe), 2 = eine Vorlesung zu kritischem Denken, 3 = Vorlesung plus eine Kleingruppenübung zur zweiseitigen Argumentation, 4 = Vorlesung, Gruppenübung, plus Training in der Kodierung von BBS-Aufgaben).

Ergebnisse:

1. Wie aufgrund der Vorstudie erwartet, zeigte die Kontrollgruppe keinen signifikanten Lernzuwachs.

2. Der Haupteffekt Intervention (Kontrollgruppe vs. Interventions-Gruppen) ist signifikant positiv.

3. Die Interventionsgruppen unterscheiden sich signifikant monoton kumulativ voneinander, d.h. Gruppe 4 > 3 > 2 > 1.

Diskussion

Die Studie zeigt, dass die Qualität kritischen Denkens nicht von selbst über die Studienjahre zunimmt. Nur dann, wenn kritisches Denken explizit (d.h., curricular eingebunden) unterrichtet wird, lassen sich substanzielle Zuwächse nachweisen. Allerdings zeigt sich auch, dass die von uns entwickelten Instrumente und Auswertungsverfahren zwar gute Beurteiler-Übereinstimmung erzielen und für Aggregatdiagnostik reliabel sind (z.B. für Kohorten- oder Institutionenvergleiche), aber für die Individualdiagnostik keine angemessene Messwiederholungreliabilität erzielen.