Übergeordnete Fragestellung

Wissenschaftliches Wissen ist für die breite Öffentlichkeit zentral, etwa um fundierte gesundheitsbezogene Entscheidungen zu treffen (Bromme & Kienhues, 2014). Aber auch spezifische Berufsgruppen wie Lehrpersonen (z.B. Bauer & Prenzel, 2012) werden dazu angehalten, Forschungsergebnisse bei ihrem professionellen Handeln zu berücksichtigen. Allerdings gelten diese Personengruppen als wissenschaftliche Laien, da sie kaum oder keine wissenschaftlich-methodische Ausbildung durchlaufen (Bromme & Goldman, 2014; van Schaik et al., 2018).

Eine Möglichkeit, um wissenschaftlichen Laien die Rezeption von Evidenz zu erleichtern, ist eine gelungene Wissenschaftskommunikation. Gelungene Wissenschaftskommunikation ist ein komplexes Phänomen, bei dem sowohl top-down- als auch bottom-up-Verstehensprozesse (vgl. z. B. Kriz & Hegarty, 2007) relevant sind. Erstere erzielen ein Verständnis neu rezipierter Evidenz durch bereits vorhandene generische Fähigkeiten (z.B. Research Literacy) und Überzeugungen, während zweitere durch eine didaktische Repräsentation der Evidenz ausgelöst werden.

Das Symposium geht daher der Frage nach, welche Aspekte bezüglich top-down- und bottom-up Verstehensprozessen vielversprechend für Wissenschaftskommunikation sind und bündelt Ergebnisse experimenteller Studien aus unterschiedlichen Kontexten.

Kurzzusammenfassung der Beiträge

Beitrag 1 widmet sich der Forschungsfrage, inwieweit sich individuelles Wissenschaftsvertrauen auf die Bewertung der methodischen Qualität wissenschaftlicher Evidenz und die Änderung themenspezifischer Überzeugungen (sog. belief updating) auswirkt. Hypothesenkonform zeigte sich, dass Personen der deutschsprachigen Allgemeinbevölkerung mit steigendem Wissenschaftsvertrauen weniger belief updating betreiben, wenn sie qualitativ schwache (im Vergleich zu starker) Evidenz rezipieren.

In Beitrag 2 wird ebenfalls Wissenschaftsvertrauen in der deutschsprachigen Allgemeinbevölkerung analysiert, wobei der Schwerpunkt auf dem easiness sowie dem scientificness effect liegt. Konkret wird überprüft, inwiefern sich diese Effekte replizieren lassen, das Vertrauen den Zusammenhang zwischen Einfachheit und Wissenschaftlichkeit moderiert und subjektive Wahrnehmung von Wissenschaftlichkeit den scientificness effect mediiert. Entgegen den Erwartungen konnte lediglich der scientificness effect repliziert werden.

Beitrag 3 fokussiert die Frage, wie Lehrpersonen verschiedene statistische Formulierungen interpretieren und welche Effektstärken-Visualisierungen sich für eine verständliche Wissenschaftskommunikation eignen. Die Ergebnisse zeigen, dass sowohl gängige statistische Formulierungen als auch vermeintlich intuitive Visualisierungen (teilweise) fehlinterpretiert werden, was die Aufbereitung für eine akkurate Interpretation erschwert.

In Beitrag 4 wird der Einfluss einer Intervention zum Nutzen von Forschungskompetenzen für Lehrpersonen mit einer Intervention zur Vermittlung neurowissenschaftlicher Grundlagen zu Lehr-Lern-Themen auf motivationale Überzeugungen bezüglich Forschungskompetenzen bei Lehrpersonen verglichen. Im Vergleich zur Intervention zu neurowissenschaftlichen Grundlagen und zur Kontrollgruppe führte die Intervention zur Forschungskompetenz zu höheren motivationalen Überzeugungen hinsichtlich Forschungskompetenzen wie Nutzen, Wichtigkeit oder Erfolgserwartung.

Ausblick auf Diskussion / Fazit

In der Diskussion werden Implikationen für die Gestaltung von Wissenschaftskommunikation, anschließende Forschungsfragen und das Zusammenspiel zwischen top-down und bottom-up Verstehensprozesse diskutiert.

Theoretischer Hintergrund

Wissenschaftsvertrauen hat einen maßgeblichen Einfluss darauf, inwiefern Personen mit wissenschaftlicher Evidenz erreicht werden können: Personen mit höherem Wissenschaftsvertrauen verändern ihre Überzeugungen zu einem Thema häufig auf der Grundlage neu erhaltener wissenschaftlicher Evidenz, während es bei wissenschaftsskeptischeren Personen zu weniger Überzeugungsänderungen (sog. belief updating) kommt (O'Brien et al., 2021; Pilditch et al., 2020). Wenig bekannt ist hingegen darüber, ob Personen mit hohem Wissenschaftsvertrauen wissenschaftlicher Evidenz „blind“ vertrauen, also ob ihr Vertrauen in die Quelle einer Behauptung sie möglicherweise daran hindert, die Behauptung selbst – im Sinne einer sog. Bewertung erster Hand (Bromme et al., 2010) – angemessen zu bewerten.

Fragestellung

Der Beitrag untersucht, inwiefern sich das individuelle Wissenschaftsvertrauen auf die Bewertung der methodischen Qualität wissenschaftlicher Evidenz sowie auf das belief updating auswirkt. Es wird angenommen, dass es mit steigendem Wissenschaftsvertrauen zu mehr belief updating kommt, und zwar insbesondere dann, wenn Personen mit qualitativ hochwertiger wissenschaftlicher Evidenz konfrontiert werden. Fünf entsprechende Hypothesen wurden präregistriert.

Methode

1100 Versuchspersonen aus der deutschsprachigen Allgemeinbevölkerung (Alter: M=41.39; SD=13.89; 47.1% Frauen) nahmen an einer 2x2 Prä-Post-Experimentalstudie teil. Dabei lasen sie acht Kurzbeschreibungen fiktiver Studien zum Thema „Akupunktur bei Rückenschmerzen“. Die Materialien legten entweder eine Überlegenheit von Akupunktur (gegenüber Massagen) oder eine gemischte Befundlage nahe (Faktor A: Evidenzrichtung). Zusätzlich wurde die methodische Qualität der fiktiven Studien experimentell manipuliert, indem z.B. deren Stichprobengröße deutlich reduziert wurde (Faktor B: Evidenzqualität). Wissenschaftsvertrauen wurde zu Beginn; akupunkturbezogene Überzeugungen prä-post gemessen, beides mit etablierten Skalen. Nach der Leseaufgabe wurden zudem Forschungsliteralität (scientific literacy) sowie die wahrgenommene Evidenzqualität und -richtung gemessen. Die Daten wurden mithilfe multipler Regressionsanalysen unter Nutzung des PROCESS-Makros (Hayes, 2018) ausgewertet.

Ergebnisse

Vier von fünf präregistrierten Hypothesen wurden bestätigt. Insbesondere zeigte sich die erwartete Dreifachinteraktion zwischen Wissenschaftsvertrauen, Evidenzrichtung und Evidenzqualität auf die Veränderung akupunkturbezogener Überzeugungen (B=0.226, t[1092]=2.889, p<.01; ΔR2=.007): Mit steigendem Wissenschaftsvertrauen kam es zu weniger evidenzkongruentem belief updating, wenn qualitativ schwache Evidenz präsentiert wurde. Zudem deutet ein exploratorisches moderiertes Mediationsmodell darauf hin, dass eine geringere Qualitätswahrnehmung ursächlich für diese reduzierten Effekte auf das belief updating ist.

Diskussion und Implikation für Theorie und Praxis

Insgesamt lassen die Ergebnisse vermuten, dass Personen mit hohem Wissenschaftsvertrauen der Wissenschaft nicht blind vertrauen, sondern sie im Gegenteil eher in der Lage sind, die Qualität wissenschaftlicher Studien zu beurteilen, was sie wiederum davor schützt, durch qualitativ schwache Evidenz beeinflusst zu werden. Im Hinblick auf die Wissenschaftskommunikation unterstreichen die Ergebnisse, wie wichtig es ist, der Öffentlichkeit die Möglichkeit einer eigenständigen Bewertung von Evidenzqualität zu geben.

Theoretischer Hintergrund

Forschung zu Wissenschaftsvertrauen berichtet den sogenannten “Easiness Effekt” (Scharrer et al., 2012, 2019) und den “Scientificness Effekt” (Bromme et al., 2015; Thomm & Bromme, 2012). Bei ersterem schätzen Leser:innen einen als zugänglich wahrgenommenen Text als vertrauenswürdiger ein und stimmen dessen Aussagen eher zu. Letzterer beschreibt einen ähnlichen Effekt, wenn Informationen in einem wissenschaftlichen Stil (z.B. mittels Referenzen, Methodenbeschreibungen und neutralem Ton) präsentiert werden. Es existiert allerdings wenig Forschung zur Interaktion der Effekte, zum Einfluss von Wissenschaftlichkeitsmerkmalen auf Autor:innen- und Textebene sowie zur Rolle subjektiver Wahrnehmung von Wissenschaftlichkeit durch Leser:innen für diese Prozesse.

Fragestellung

Mehrere Fragen werden diskutiert: 1. Lassen sich die genannten Effekte replizieren und zeigen Einfachheit und Wissenschaftlichkeit eine Interaktion mit Blick auf Vertrauen? 2. Führt eine hohe Wissenschaftlichkeit sowohl auf Autor:innen- als auch auf Textebene zu höherem Vertrauen? 3. Mediiert die subjektive Wahrnehmung von Wissenschaftlichkeit den “Scientificness Effect”?

Methode

Die erste Fragestellung wurde mit einer präregstrierten Online-Studie mit N = 1467 Proband:innen aus der deutschsprachigen Allgemeinbevölkerung untersucht. Dabei lasen Proband:innen vier Kurzzusammenfassungen psychologischer Forschung, die systematisch Einfachheit und Wissenschaftlichkeit variierten (hoch vs. niedrig). Nach jeder Zusammenfassung schätzten sie ihr Vertrauen in die Zusammenfassungen selbst (achtstufige Likert-Skala) sowie deren Autorinnen ein (METI, Hendriks et al., 2015). Die Auswertung erfolgte mittels Mixed Model Analysen in R. Für die weiteren Fragestellungen wird ab April/Mai 2023 eine zweite Online-Studie (N = 864) mit einer vergleichbaren Stichprobe durchgeführt. In zwei Kurzzusammenfassungen wird Wissenschaftlichkeit auf Autor:innenebene (akademischer Grad, Affiliation, Bedeutsamkeit der Forschung, Arbeitsweise) sowie Textebene (Referenzen, Methodenbeschreibungen, neutraler Ton) variiert. Für die Vertrauenseinschätzungen werden erneut die oben beschriebenen Maße genutzt, und es wird zunächst eine Pilotstudie durchgeführt. Die Auswertung erfolgt mittels Mediationsanalysen.

Ergebnisse

Die Auswertung der ersten Studie ergab einen signifikant positiven Einfluss von Wissenschaftlichkeit auf Vertrauen (β = .142 - .512, SE = .027 - .033, ps < .001, R² = .003 - .037), allerdings keinen Einfluss von Einfachheit (β= -.027 -.032, ps > .343) oder eine Interaktion der Effekte (β = -.009 - -.40, ps >. 285). Die Ergebnisse der zweiten Studie werden im Rahmen des Vortrags vorgestellt.

Implikationen für Theorie und Praxis

Die Ergebnisse der ersten Studie lassen, anknüpfend an bestehende Forschung (Tolochko et al., 2019), lediglich geringe Auswirkungen von syntaktischer Einfachheit auf Vertrauen vermuten. Die zweite Studie ermöglicht, die Rolle subjektiver Wahrnehmung von Leser:innen bezüglich Vertrauensurteilen differenzierter zu betrachten. Und schließlich ergeben sich praktische Implikationen für die Gestaltung wissenschaftlicher Texte (z.B. Nutzung von Referenzen und wertender Sprache).

Theoretischer Hintergrund

Um Lehrpersonen die Rezeption wissenschaftlicher Evidenz zu erleichtern, zielen Kommunikationsformate u.a. darauf ab, Effektstärken textlich oder visuell informativ und verständlich aufzubereiten (Higgins et al., 2022). Allerdings schätzen wissenschaftliche Laien verschiedene statistische Formulierungen (z.B. Cohen’s U3 oder d) unterschiedlich informativ ein (Hanel & Mehler, 2019; Lortie-Forgues et al., 2021) und rezipieren identische Effektstärken, die aber unterschiedlich graphisch repräsentiert werden, in Abhängigkeit von der Darstellung (z.B. Merk et al., 2023).

Forschungsfragen

In den zwei folgenden Studien wird daher untersucht, welche Formulierungen und Visualisierungen sich für eine verständliche Kommunikation von Evidenz eignen.

Studie 1

Methode

In einem repräsentativen Online-Experiment erhielten N = 414 Lehrpersonen randomisiert zwei von fünf manipulierten Auszügen aus Pressemitteilungen zu bildungswissenschaftlichen Studien (within-person Faktor). Diese enthielten zufällig jeweils eine aus sechs gängigen statistischen Beschreibungen: Signifikanz-Aussage, p-Wert, Bayes Faktor, Cohen’s d, Cohen's U3, Kombination aus Signifikanz und Effektstärke. Mittels fünfstufiger Likert-Single-Items wurde die Interpretation der Beschreibung als Inferenzstatistik oder Effektstärke erfasst. Präregistrierte Hypothesen wurden durch Bayesianische messwiederholte ANOVA-Modelle überprüft.

Ergebnisse

Lehrpersonen interpretieren Inferenzstatistiken tendenziell eher als Inferenzstatistiken und Effektstärken eher als Effektstärken, differenzieren jedoch nicht zwischen diesen (BF10 < 1/1000; 0,44 < U3 < 0,56). So wird beispielsweise die Effektstärke Cohen's U3 als eine Aussage über Effektsicherheit und Effektgröße aufgefasst.

Studie 2

Methode

In einem Online-Experiment mit N = 40 Lehrpersonen wurden 24 Effektstärke-Visualisierungen präsentiert, die durch ein zufällig ausgewähltes bildungswissenschaftliches Thema kontextualisiert (between-person Faktor) wurden. Zusätzlich wurde die Größe des Effekts (within-person Faktor) und Darstellung (within-person Faktor) randomisiert, welche Halfeye-Plots (Gruppen auf x- und y-Achse), Raincloud-Plots (Gruppen auf y-Achse) und Gardner-Altman-Plots (Gruppen auf x-Achse) umfasste. Diese wurden in einer Delphi-Studie mit Visualisierungsexpert:innen als geeignet für die Kommunikation mit Lehrpersonen eingestuft. Für explorative Analysen wurde danach gefragt, 1) wie viel Prozent der einen Gruppe über dem Mittelwert der anderen Gruppe liegt (U3-Metrik), 2) zu wieviel Prozent sich beide Gruppen überschneiden (Overlap-Metrik), und 3) wie stark sich die Gruppen auf einer Skala von -1 bis +1 unterscheiden (abstrakte Metrik).

Ergebnisse

Deskriptiv zeichnet sich keine in allen abhängigen Variablen überlegene Visualisierung ab. Während die Effektstärken in einer abstrakten Metrik akkurat eingeschätzt werden (0.37 ≤ 𝜏b ≤ 0.55), zeigen sich Fehlkonzepte in U3- und Overlap-Einschätzungen: 22 bzw. 8 Lehrpersonen geben durchweg unplausible U3-Werte bzw. Overlap-Werte an.

Diskussion und Implikation für Theorie und Praxis

Weitere Kommunikationsweisen sollten untersucht werden. Allerdings ist die Gestaltung von Wissenschaftskommunikation allein möglicherweise nicht ausreichend, um korrekte Rezeptionen bei Lehrpersonen hervorzurufen. Eine Ergänzung könnte in der systematischen Förderung von Forschungskompetenzen liegen.

Theoretischer Hintergrund

Lehrkräfte benötigen forschungsmethodische Kompetenzen, um wissenschaftliche Evidenz verstehen und nutzen zu können. Der Erwerb solcher Kompetenzen wird jedoch dadurch eingeschränkt, dass Lehrkräfte nur geringen Nutzen darin sehen, sich mit Bildungsforschung oder gar Forschungsmethoden zu beschäftigen (Nägel et al., 2023; Voss, 2022) – was wiederum die Lernmotivation beeinträchtigt (Wigfield & Eccles, 2000). Motivationale Überzeugungen können durch gezielte Interventionen erhöht werden (z.B. Hulleman et al., 2017; Rochnia & Gräsel, 2022). Gleichzeitig zeigen Studien, dass bildungswissenschaftliche Evidenz als besonders relevant eingeschätzt wird, wenn sie auf neurowissenschaftlichen Forschungsmethoden beruht (Munro & Munro, 2014; Voss, 2022; siehe auch seductive allure Effekt; Weisberg et al., 2008).

Fragestellung

In unserem Experiment verglichen wir daher eine Intervention, die den Nutzen von Forschungskompetenzen für Lehrkräfte verdeutlichte, mit einer Intervention, die neurowissenschaftliche Grundlagen zu Lehr-Lern-Themen vermittelte. Hinsichtlich der verschiedenen Motivationskomponenten erwarteten wir, dass die Forschungskompetenz-Intervention (FI) Überzeugungen über den Nutzen (utility value) und die Wichtigkeit (attainment value) von Forschungskompetenzen, das Forschungsinteresse (intrinsic value), die Überzeugung, selbst Forschungskompetenz entwickeln zu können (Erfolgserwartung) und somit insgesamt die Bereitschaft zur Auseinandersetzung mit Bildungsforschung erhöht. Die Neurowissenschaft-Intervention (NI) sollte das Forschungsinteresse, nicht aber die anderen Motivationskomponenten fördern.

Methode

An der experimentellen Online-Studie nahmen 93 Lehramtsstudierende teil (Alter: M = 22.3, SD = 3.18, 86% weiblich) und bearbeiteten entweder die FI, die NI oder eine Kontrollintervention zum Thema Klassenführung. Die Interventionen waren identisch strukturiert, bestanden aus informativen sowie aktiven Teilen und dauerten ca. 45 Minuten. Vor und nach der Intervention sowie zwei Wochen später wurden die Motivationskomponenten per Fragebogen erhoben. Zwei Wochen später wurde zudem die Bereitschaft zur Beschäftigung mit Bildungsforschung per Fragebogen und über einen verhaltensnahen Indikator (Klicks auf Links zu empirischen Artikeln) erfasst.

Ergebnisse

Kontrastanalysen zeigten, dass die Überzeugungen zum Nutzen und zur Wichtigkeit sowie die Erfolgserwartung nach der FI höher waren als in den anderen beiden Gruppen (ηp2=0.17; ηp2=0.12 und ηp2=0.07). Dieser Kontrast war für die Wichtigkeit auch nach zwei Wochen noch signifikant (ηp2=0.05). Beim Interesse gab es keine signifikanten Gruppenunterschiede. Die Bereitschaft war hinsichtlich beider Indikatoren (Fragebogen und Klicks) nach der FI höher als nach den anderen Interventionen (ηp2=0.08 und ηp2=0.06).

Diskussion und Implikationen

Die Ergebnisse zeigen, dass allein die Vermittlung neurowissenschaftlicher Befunde nicht dazu führt, dass Lehramtsstudierende positive forschungsbezogene Überzeugungen entwickeln oder sich bereitwilliger mit Bildungsforschung beschäftigen. Weiterführende Studien sollten prüfen, inwiefern neurowissenschaftliche Informationen möglicherweise dennoch eine Ergänzung zu Nützlichkeitsinterventionen darstellen könnten – ohne jedoch das Fehlkonzept zu verstärken, dass diese Befunde „per se“ für den Lehrberuf relevant sind.