Veranstaltungsprogramm

Theoretischer Hintergrund: Bisherige Forschung (Bromme et al., 2015; Thomm & Bromme, 2012) liefert Evidenz für den “Scientificness-Effekt”: Leser:innen schätzen wissenschaftlich geschriebene Texte im Vergleich zu Sachtexten als vertrauenswürdiger ein und stimmen deren Aussagen eher zu. Wissenschaftlichkeit wurde hierbei meist über Referenzen, detaillierte Methodenbeschreibungen und einen sprachlich neutralen Ton variiert. Der Effekt konnte wiederholt repliziert werden (Jonas et al., 2023; Zaboski & Therriault, 2020). Allerdings wurde bisher meist der direkte Zusammenhang zwischen Wissenschaftlichkeit und Vertrauen betrachtet, ohne gleichzeitig den Einfluss der subjektiven Wissenschaftlichkeitswahrnehmung von Leser:innen zu prüfen. Gerade dieser Aspekt könnte jedoch eine zentrale Größe für den Scientificness-Effekt und für ein übergeordnetes theoretisches Rahmenmodell darstellen. Zudem ist unklar, ob Merkmale von Wissenschaftlichkeit auf Autor:innenebene ebenfalls dazu beitragen, dass Leser:innen einen Text als wissenschaftlicher und vertrauenswürdiger wahrnehmen.

Fragestellung: Wird der Zusammenhang zwischen Merkmalen von Wissenschaftlichkeit auf Autor:innen- bzw. Textebene und Vertrauen durch wahrgenommene Wissenschaftlichkeit mediiert?

Methode: Auf Basis einer Präregistrierung wurden online eine Pilot- (N = 109, M_Alter = 47,13, SD_Alter = 15,76, range = 18 - 76 , w = 50,45%) und eine Hauptstudie (N = 838, M_Alter = 47,97, SD_Alter = 15,66, range = 18 - 77 , w = 50,12%) mit Proband:innen aus der deutschsprachigen Allgemeinbevölkerung durchgeführt. In einem 2*2 Design wurden zwei psychologische Kurzzusammenfassungen systematisch mit Blick auf die Wissenschaftlichkeit des Textes und der Autor:in variiert (hoch vs. niedrig). Auf Textebene wurde bei hoher Wissenschaftlichkeit per Referenzen der Bezug zu weiterer Forschung hergestellt, die Untersuchungsmethoden (verwendete Fragebögen, Messzeitpunkte, etc.) wurden geschildert und ein sprachlich neutraler Ton gewählt. Bei niedriger Textwissenschaftlichkeit wurden Referenzen und Methodenbeschreibungen ausgelassen, und es wurde ein umgangssprachlicher, wertender Ton genutzt. Autor:innenwissenschaftlichkeit wurde über die Expertise, Affiliation und Einschlägigkeit der Autor:in variiert. Bei hoher Wissenschaftlichkeit wurde die Autor:in als erfahrene Forscher:in an einer öffentlichen Einrichtung mit vielen veröffentlichten Publikationen in angesehenen Zeitschriften und einer sehr genauen Arbeitsweise dargestellt. Bei niedriger Wissenschaftlichkeit wurde hingegen auf einen Hintergrund als Bachelor-Student:in mit einer Tätigkeit in der privaten Wirtschaft, geringe Forschungserfahrung, wenig Publikationen in unbekannteren Zeitschriften und eine im Detail ungenaue Arbeitsweise verwiesen. Im Rahmen der Pilotstudie fand ein Manipulation Check und eine Überarbeitung der Texte statt.
Die Proband:innen bewerteten sowohl die Wissenschaftlichkeit der Autor:in bzw. des Textes und ihr Vertrauen in die Autor:in bzw. den Text. Wahrgenommene Wissenschaftlichkeit wurde per Likert-Item erfasst (1 = „sehr unwissenschaftlich”, 8= „sehr wissenschaftlich”), Vertrauen in die Autor:in über das Muenster Epistemic Trustworthiness Inventory (METI, Hendriks et al., 2015), und Vertrauen in den Text ebenfalls per Likert-Item (1 = „sehr unglaubwürdig”, 8 = „sehr glaubwürdig”). Die Auswertung der Mediationsmodelle erfolgte durch mixed models mit dem package mediation (Tingley et al., 2019) in R.

Ergebnisse: Autor:innenwissenschaflichkeit und Textwissenschaftlichkeit als unabhängige Variablen sagten Vertrauen in die Autor:in bzw. den Text signifikant positiv vorher (ꞵs = .142 -.312, SEs = .036 -.044, ps < .001, R² = .005 - .024). Ebenso sagte Wissenschaftlichkeit die Mediatoren wahrgenommene Wissenschaftlichkeit der Autor:in bzw. des Texts signifikant positiv vorher (ꞵs = .325 - .421 , SEs = .044 -.046, ps < .001, R² = .026 - .044). Die Mediatoren sagten Vertrauen ferner auch dann noch signifikant positiv vorher, wenn gleichzeitig die unabhängigen Variablen und weitere Kontrollvariablen berücksichtigt wurden (ꞵs = .381 - 615, SEs = .017, ps < .001, R² = .175 - .418). Der durchschnittliche kausale Mediationseffekt (ACME) erreichte für alle Modelle Signifikanz (ꞵs = .119 - .287, 95%CI[.084-.236|.150 - .340], ps < .001). Daher scheint subjektiv wahrgenommene Wissenschaftlichkeit eine zentrale, vermittelnde Einflussgröße für den Scientificness-Effekt darzustellen, was für die zukünftige Theoriebildung essentiell ist. Weitere Implikationen, z.B. mit Blick auf individuelle Merkmale, die die Wissenschaftlichkeitswahrnehmung beeinflussen könnten (epistemische Überzeugungen), werden diskutiert. Auch werden Implikationen für die Wissenschaftskommunikation gegenüber der Allgemeinbevölkerung aufgegriffen.

Hintergrund und Fragestellung

In den letzten Jahren haben sich Videos zu einem attraktiven Format für die Wissenschaftskommunikation entwickelt (León & Bourk, 2018). In Videos kann mithilfe von narrativen Elementen die Kommunikation über Wissenschaft vereinfacht werden (Finkler & León-Anguiano, 2019). Die Forschung zeigt, dass die Einbindung von Narrativen in die Kommunikation zu einem besseren Verständnis und größerem Interesse an einem Thema führen kann (Graesser et al., 2002; Green, 2004, 2006), wobei insbesondere jene Informationen besser erinnert werden, die in einer engen Verbindung zur Narration stehen (Dahlstrom & Ho, 2012). Zusätzlich steigert eine narrative Einbettung die Akzeptanz und wahrgenommene Relevanz von Informationen (Bucher et al., 2022). In unserem Experiment untersuchen wir, ob die Art der narrativen Einbettung (Praxisrelevanz vs. Wissenschaftsfokus) in Videos, die wissenschaftlich fundierte Informationen über digitale Lernwerkzeuge bereitstellen, die Bewertung der bereitgestellten Informationen durch die Rezipient/innen beeinflusst und inwiefern sich dies in der Erinnerung an die Inhalte widerspiegelt.

Zudem können Rollenzuschreibungen Rollenerwartungen hervorrufen, die die Wahrnehmung von Informationen beeinflussen (Feuer, 2006). So können Rollenzuschreibungen unter anderem die wahrgenommene Glaubwürdigkeit und Relevanz der vermittelten Informationen beeinflussen (Bucher et al., 2022). Daher wird im vorliegenden Beitrag der mutmaßliche Beruf der vermittelnden Person (Bildungsforscherin vs. Workshopleiterin) systematisch variiert.

Methode

Insgesamt liegen vollständige Datensätze von 352 Teilnehmenden (141 weiblich, 209 männlich, 2 divers; M_Alter = 32,30; SD_Alter=10,77) vor, die über die Seite Prolific für unsere Online-Studie rekrutiert wurden. Dabei wurden die Teilnehmenden zufällig einer von vier Bedingungen zugewiesen, die sich aus einer vollständigen Kreuzung der beiden Faktoren Profession (Bildungsforscherin vs. Workshopleiterin) sowie narrative Einbettung (Alltagsbeispiel vs. Wissenschaftsfokus) ergaben. In dem ca. 5-minütigen Video stellte sich dieselbe weibliche Person (Mitte 20, weiß) entweder als Bildungsforscherin oder als Workshopleiterin vor, bevor sie das Thema entweder mit einem Fokus auf Praxisrelevanz oder mit dem Fokus auf Wissenschaft einleitete. Die folgenden Informationen über die digitalen Tools (z.B. Kahoot!) und wissenschaftlichen Befunde zur Wirksamkeit dieser Tools (Testing Effect und Gamification) waren in allen vier Bedingungen exakt identisch. Nachdem die Teilnehmenden die Videos sahen, bewerteten sie unter anderem die wahrgenommene Relevanz der Inhalte, die Vertrauenswürdigkeit der vermittelnden Person, die Wissenschaftlichkeit der Videos und das selbst eingeschätzte Wissen, bevor sie in einem Wissenstest Fragen zu den Inhalten des Videos beantworteten.

Ergebnisse und ihre Bedeutung

Während sich für die wahrgenommene Relevanz der Inhalte keine Haupteffekte oder Interaktionen der beiden Faktoren Narrative Einbettung und Profession zeigten, alle p > .091, ergaben sich für die abhängigen Variablen Vertrauenswürdigkeit der vermittelnden Person, wahrgenommene Wissenschaftlichkeit der Inhalte, wahrgenommenes Lernen und Lernergebnisse jeweils Haupteffekte des Faktors narrative Einbettung, alle p < .014, die allesamt auf eine Überlegenheit einer praxisnahen Einbettung des Videos hindeuten. Jedoch weisen Interaktionen für sämtliche genannte Variablen darauf hin, dass die praxisrelevante Einbettung nur dann positiv wirkt, wenn sich die Person als Wissenschaftlerin vorstellte, alle p < . 048. Der Haupteffekt für den Faktor Profession wurde nur für die Variable Wissenschaftlichkeit signifikant, bei der die Wissenschaftlerin als wissenschaftlicher wahrgenommen wurde als die Praktikerin, p = .039. Damit deuten unsere Ergebnisse darauf hin, dass die praxisnahe Einbettung wissenschaftlicher und praxisnaher Informationen im Zusammenspiel mit der mutmaßlichen Profession der vermittelnden Person einen Einfluss auf die Wahrnehmung und die Erinnerung an diese Informationen haben kann, selbst wenn die vermittelten Informationen und die vermittelnde Person selbst exakt identisch sind. So lässt sich aus den vorliegenden Ergebnissen ableiten, dass insbesondere Wissenschaftler/innen bei der Vermittlung wissenschaftlicher und praxisnaher Informationen die Relevanz der Informationen für die Praxis betonen sollten, um Wissen effektiv und glaubwürdig zu kommunizieren. Jedoch ist weitere Forschung erforderlich, um die Generalisierbarkeit der Befunde auf andere Zielgruppen und andere Wissensvermittelnde (Geschlecht, Alter, Ethnizität) zu überprüfen.

Theoretischer Hintergrund

Der Transfer wissenschaftlicher Evidenz in die Bildungspraxis setzt eine positive Bewertung wissenschaftlicher Befunde voraus. Wissenschaftliche Laien bewerten die Evidenz dabei oftmals nicht direkt, sondern beurteilen die Vertrauenswürdigkeit der jeweiligen Quelle, also beispielsweise der Wissenschaftlerin, die über ihre Forschungsergebnisse berichtet (Bromme et al., 2010). Maßgeblich für solche Bewertungen „zweiter Hand“ sind die wahrgenommene Expertise, Integrität und Benevolenz von Wissenschaftler:innen (Hendriks et al., 2015). Zudem spielen konkretere forschungsbezogene Faktoren wie das Funding einer Studie, die Nutzung von Open Science-Praktiken, oder das Anwenden fragwürdiger Forschungspraktiken eine Rolle (Rosman et al., 2022; Song et al., 2022). Wenig bekannt hingegen ist über die relative Einflussstärke dieser Faktoren, da unseres Wissens keine Studien existieren, die unterschiedliche Faktoren in eine Datenerhebung integrieren und gegeneinander abwägen. Zudem können keine Schlüsse auf den tatsächlichen Einfluss der genannten Faktoren gezogen werden, da gegenwärtige Studien nicht zwischen den potenziellen und tatsächlichen Auswirkungen unterscheiden. Dies ist problematisch, da auch Faktoren mit einem potenziell großen Einfluss nur eine geringe Wirkung haben können, wenn Personen davon ausgehen, dass solche Praktiken wenig verbreitet sind.

Fragestellung

Der vorliegende Beitrag untersucht die potenzielle Einflussstärke der genannten Faktoren auf das Vertrauen in Forschende (Fragestellung 1). Zudem werden Einschätzungen zur potenziellen Einflussstärke mit Einschätzungen zur Verbreitung der jeweiligen Faktoren kombiniert, um eine genauere Übersicht über die tatsächlichen Determinanten von Vertrauen in Forschende in der Allgemeinbevölkerung zu gewinnen (Fragestellung 2).

Methode

Zur Untersuchung der Forschungsfragen wurde ein zweigestufter szenariobasierter Fragebogen entwickelt. In einem ersten Schritt wird die potenzielle Einflussstärke erfasst. Dazu beurteilen die Versuchspersonen insgesamt 14 Handlungen und Eigenschaften einer fiktiven Wissenschaftlerin dahingehend, ob sie eher vertrauenshemmend oder vertrauensfördernd sind (Beispielitem Benevolenz: „Dr. Schulze möchte mit ihrer Forschung anderen Menschen helfen“; siebenstufige Antwortskala von „sehr stark vertrauenshemmend“ über „weder/noch“ bis „sehr stark vertrauensfördernd“). Anschließend geben die Versuchspersonen eine Einschätzung zur Verbreitung der 14 Faktoren ab (Beispielitem Benevolenz: „Wissenschaftler/-innen möchten mit ihrer Forschung anderen Menschen helfen; siebenstufige Antwortskala von „sehr wenig verbreitet“ über „mittlere Verbreitung“ bis „sehr stark verbreitet“; Kodierung 1-7). Vor der Datenanalyse werden die Variablen zur potenziellen Einflussstärke auf Werte zwischen -3 und +3 rekodiert; somit indizieren negative Werte einen vertrauenshemmenden und positive Werte einen vertrauensfördernden Einfluss.

Die Forschungsdaten wurden an zwei separaten Stichproben im Altersrange zwischen 18 und 66 Jahren erhoben (Studie 1: N=504; Studie 2: N=588). Alters- und Geschlechtsverteilungen beider Stichproben entsprachen der deutschen Allgemeinbevölkerung. Die erste Fragestellung wurde im Rahmen einer deskriptivstatistischen Analyse der Daten zur potenziellen Einflussstärke geprüft; zur Untersuchung der zweiten Fragestellung wurde die potenzielle Einflussstärke mit der Verbreitung multipliziert, was den absoluten Wert der resultierenden Variable (tatsächlicher Einfluss) mit steigender Verbreitung ansteigen lässt.

Ergebnisse

Mit Blick auf potenziell vertrauensbildende Einflussfaktoren zeigten sich in Studie 1 bezüglich Expertise und Integrität die höchsten Mittelwerte (Expertise: „Dr. Schulze ist eine ausgewiesene Expertin auf ihrem Fachgebiet“, M=1.54, SD=1.16; Integrität: „Dr. Schulze befolgt wissenschaftliche Regeln und Standards sehr genau“, M=1.69, SD=1.24), während die Faktoren Externer Druck („Externe Personen [z. B. Politiker] setzen Dr. Schulze unter Druck, um Einfluss auf ihre Forschungsergebnisse zu nehmen“, M=-2.21, SD=1.46) sowie Datenfälschen („Dr. Schulze fälscht Daten und erfindet Forschungsergebnisse“, M=-1.63, SD=1.47) als am stärksten vertrauenshemmend einschätzt wurden. Bezüglich des tatsächlichen Einflusses (kombinierte Variable aus Verbreitung und Einflussstärke) bestätigte sich dieses Muster (Expertise: M=8.27, SD=6.76; Integrität: M=9.04, SD=7.07; Externer Druck: M=-5.99, SD=5.93; Datenfälschen: M=-5.10, SD=6.07). Vergleicht man die potenziellen Einflüsse mit den tatsächlichen Einflüssen, fällt auf, dass vertrauenshemmende Einflussfaktoren wie externer Druck auf Forschende zwar ein starkes Potenzial zur Vertrauensverringerung haben, deren tatsächlicher Einfluss aber aufgrund ihrer geringeren wahrgenommenen Verbreitung (im Vergleich zu vertrauensbildenden Einflussfaktoren) abgemildert wird. Alle Ergebnisse wurden in Studie 2 repliziert. Eine detailliertere Darstellung und Einordnung dieser Ergebnisse erfolgt während der Präsentation.

Um informierte Entscheidungen treffen zu können, müssen sich Bürger:innen zunehmend mit wissenschaftlicher Evidenz auseinandersetzen. Dies gilt auch für Bildungsfragen, die täglich Gegenstand medialer Berichterstattung sind und auf großes öffentliches Interesse stoßen. Bildungswissenschaftliche Evidenz kann dabei jedoch persönlichen Vorüberzeugungen widersprechen. Die Forschung zeigt, dass Personen in solchen Fällen häufig die vorliegende Evidenz ignorieren oder abwerten, anstatt ihre Vorannahmen zu korrigieren (z.B. Chinn & Brewer, 1998; Rothmund et al., 2017). Mögliche Reaktionen beinhalten sogar, dass Personen grundsätzlich die Fähigkeit von Wissenschaft anzweifeln, ein Bildungsthema untersuchen zu können („scientific impotence excuse“, SIE; Munro, 2010). Erste Studien konnten diese Abwertungsstrategie bereits bei Lehramtsstudierenden aufzeigen (z.B. Thomm et al., 2021). Unklar bleibt bisher, ob die SIE auch in einer Stichprobe der Allgemeinbevölkerung repliziert werden kann; und ob die wahrgenommene Zuständigkeit von Wissenschaft gleichermaßen abgewertet wird (Futterleib et al., 2022). Da Wissen zu Bildungsthemen häufig als subjektiv wahrgenommen wird (Pieschl & Glumann, 2022), mag es für Nicht-Expert:innen nicht zwingend ersichtlich sein, warum es überhaupt bildungswissenschaftlicher Evidenz bedarf. Sie stellen möglicherweise nicht die Fähigkeit, sondern gänzlich die Zuständigkeit von Wissenschaft für solche Themen in Frage.

Ziel der vorliegenden Studien war es, zu überprüfen, ob Personen aus der Allgemeinbevölkerung die Fähigkeit (Studie 1) bzw. die Zuständigkeit (Studie 2) von Wissenschaft anzweifeln, wenn wissenschaftliche Evidenz zu einem Bildungsthema ihren eigenen Vorüberzeugungen widerspricht. Zudem wurde untersucht, ob sie diese Abwertungstendenzen auf die Untersuchung weiterer Bildungsthemen sowie auf ihre Präferenz für wissenschaftliche Informationsquellen übertragen. Beide Studien sind als Replikationen angelegt, welche die vermuteten Effekte anhand des Untersuchungsparadigmas und -materials früherer Studien auf die Zielgruppe der deutschen Allgemeinbevölkerung anwendeten.

An beiden Experimenten nahmen Personen einer quotenrepräsentativen Stichprobe eines Online Access-Panels aus der deutschen Allgemeinbevölkerung teil (n₁ = 317; n₂ = 309). Die präsentierte Evidenz behandelte das Thema „Wirksamkeit von Klassenwiederholung“. Die Proband:innen schätzten vor und nach dem Lesen der Evidenz ihre Annahmen über die Wirksamkeit einer Klassenwiederholung ein. Als Evidenz dienten fünf kurze Zusammenfassungen von Studien, die entweder die Wirksamkeit belegten („pro“) oder widerlegten („contra“; Zwischensubjektfaktor). Nach dem Lesen der Evidenz schätzten die Proband:innen ein, inwiefern sich das Thema mit wissenschaftlichen Methoden untersuchen lässt (Fähigkeit der Wissenschaft; Studie 1) bzw. inwieweit die Wissenschaft überhaupt für die Untersuchung des Thema zuständig ist (Zuständigkeit der Wissenschaft; Studie 2). Die Proband:innen nahmen die gleiche Einschätzung für weitere Bildungsthemen vor (Generalisierung der Abwertung) und schätzten ein, welche wissenschaftlichen und nicht-wissenschaftlichen Quellen sie für eine weitere Auseinandersetzung mit dem Thema zu Rate ziehen würden (indirektes Maß der Abwertung).

Regressionsanalysen konnten in beiden Studien den erwarteten signifikanten Interaktionseffekt zwischen Vorüberzeugung und Evidenzbedingung nachweisen: Lasen Proband:innen vorüberzeugungskonträre wissenschaftliche Evidenz zeigten sie eine stärkere Abwertung der zugeschriebenen Fähigkeit (Studie 1) und Zuständigkeit (Studie 2) von Wissenschaft. Die systematische Abwertung entlang des Interaktionseffekts blieb in beiden Studien jedoch auf die themenspezifische Beurteilung begrenzt: Es zeigte sich keine Generalisierung der Abwertung auf weitere Bildungsthemen. Auch eine geringere Präferenz für wissenschaftlichen Quellen konnte nicht bestätigt werden.

Die Studien deuten darauf hin, dass sich frühere Ergebnisse zur Abwertung von wissenschaftlichen Befunden der Bildungsforschung nach Evidenz-Überzeugungskonflikten auch in einer breiteren Öffentlichkeit replizieren lassen. Dabei zeigt sich, dass Wissenschaft nicht nur hinsichtlich ihrer wahrgenommenen Fähigkeit im Sinne der SIE, sondern auch hinsichtlich ihrer wahrgenommenen Zuständigkeit abgewertet werden kann. Letzteres stellt potenziell eine noch drastischere Abwertung von Wissenschaft dar. Die untersuchten Abwertungstendenzen scheinen sich jedoch nicht ohne Weiteres auf andere Themen zu übertragen. Unberührt davon bleibt jedoch die Frage, wie sich wiederholte Widersprüche zwischen Vorüberzeugungen und Evidenz langfristig auf die Einstellungen gegenüber Wissenschaft sowie auf die Rezeption von wissenschaftlicher Evidenz auswirken können. Neben der Bedeutung für ein besseres Verständnis von Problemen der Wissenschaftsrezeption, hat dieser Befund auch Konsequenzen für die Wissenschaftskommunikation und öffentliche Diskussion von Bildungsthemen.