Die Kompetenz, professionelle Entscheidungen auf der Grundlage von Kenntnissen über die Eigenschaften anderer Menschen zu treffen, ist eine entscheidende Fähigkeit für Fachleute in einer Vielzahl von Bereichen, darunter Medizin, Bildung und Wirtschaft. Simulierte diagnostische Situationen haben sich als vielversprechendes Instrument zur Messung und Förderung diagnostischer Kompetenzen im Bildungsbereich erwiesen (Chernikova et al., 2020; Cook, 2014). Darüber hinaus beleuchtet die Erforschung simulierter diagnostischer Situationen die Simulationen selbst, allgemeine Beurteilungsprozesse und Moderatoren des individuellen diagnostischen Erfolgs. Dieses Symposium versammelt methodisch vielfältige Forschungsarbeiten auf diesem Gebiet und erforscht so die Kategorisierung, die Anwendung sowie die gemeinsame Auswertung von simulierten diagnostischen Situationen.

Das Symposium umfasst fünf Beiträge, die zusammengenommen aktuelle Entwicklungen in der Forschung mit simulierten diagnostischen Situationen illustrieren. Der konzeptionelle Ansatz im ersten Beitrag skizziert einen Rahmen für eine gemeinsame Sprache, um Unterschiede und Gemeinsamkeiten zwischen simulierten diagnostischen Situationen zu berücksichtigen, wobei der Schwerpunkt auf der Bedeutung diagnostischer Informationen liegt. Die drei folgenden Beiträge veranschaulichen die Verwendung einer solchen gemeinsamen Sprache im pädagogischen und medizinischen Bereich mit spezifischen Beiträgen zur Forschungsanwendung von simulierten Diagnosesituationen. So berichtet der zweite Beitrag über die Ergebnisse eines Experiments zur Bewertung von Aufsätzen von angehenden Lehrern, bei dem die Relevanz verschiedener Konstellationen von Referenzgruppen untersucht wurde. Der dritte Beitrag berichtet über Ergebnisse einer Feldstudie, die die Auswirkungen von Simulationen mit automatisch adaptivem Feedback im Vergleich zu statischem Feedback auf die Diagnosegenauigkeit und Begründungsqualität bei angehenden Lehrern an verschiedenen Universitäten vergleicht. Der vierte Beitrag untersucht die Auswirkungen von Vorwissen auf die Wirksamkeit von unterschiedlich strukturierten Reflexionsaufforderungen in einer agentenbasierten medizinischen Simulation. Der fünfte meta-analytische Beitrag schließlich stellt einen Ansatz vor, Erkenntnisse aus Studien mit simulierten Diagnosesituationen zusammenzuführen, bei denen adaptive Strategien eingesetzt werden, die die Lernvoraussetzungen der Teilnehmer*innen berücksichtigen.

Die Gäste dieses Symposiums erhalten einen umfassenden Überblick darüber, was simulierte diagnostische Situationen ausmacht und unterscheidet. Sie gewinnen Einblicke in die Art und Weise, wie eine Simulation verwendet werden kann um die Auswirkungen von Situationsmerkmalen auf den Urteilsprozess zu verstehen. Außerdem erhalten sie Informationen darüber, wie automatisiertes Feedback in einer Simulation eingesetzt werden kann, um den diagnostischen Erfolg zu verbessern, und wie individuelle Merkmale den Nutzen von Interventionen in Simulationen beeinflussen können. Schließlich erhalten sie Einblick in gesammelte Erkenntnisse darüber, wie Instruktionsstrategien in Simulationen an die individuellen Voraussetzungen der Simulationsteilnehmer angepasst werden können. Insgesamt werden in dem Symposium konzeptionelle, praktische und meta-analytische Einblicke in den Einsatz von simulierten diagnostischen Situationen zur Messung und Verbesserung diagnostischer Kompetenzen bei Lernenden vereint.

Theoretischer Hintergrund

Studien, die simulierte diagnostische Situationen nutzen, verwenden unterschiedliche Maße für diagnostische Kompetenzen, wie die Urteilsgenauigkeit (Kaiser et al., 2017) oder andere Scoring-Methoden für den diagnostischen Erfolg (Klug et al., 2013; Kron et al., 2021), und berichten verschiedene Maße für deren Trainingseffekte (Chernikova et al., 2020). Ein genauerer Blick auf spezifische Anwendungen von Simulationen offenbart auch Unterschiede in der Art und Weise, wie die Ersteller von Simulationen die Kontrolle über deren Elemente realisieren. Letztlich können Simulationen an verschiedene Zwecke angepasst werden, währenddessen ähnliche Effektstärken je nach Simulationsdesign unterschiedliche Bedeutungen haben können.

Fragestellung

Bestehende konzeptionelle Rahmen beschreiben die Art der diagnostischen Aktivitäten, die individuellen Voraussetzungen, die Instruktion und den Kontext diagnostischer Situationen (Heitzmann et al., 2019; Loibl et al., 2020), sie bieten jedoch keine systematische Aufschlüsselung deren Umsetzung in Simulationen. Wir wollen daher einen konzeptionellen Rahmen schaffen, der es zulässt simulierte diagnostische Situationen systematisch zu kategorisieren, Abweichungen in ihren Ergebnissen zu erklären und schließlich eine gemeinsame Sprache für die Gestaltungsprinzipien in Simulationen zur Messung und Förderung diagnostischer Kompetenzen bereitzustellen.

Methode

In Anlehnung an bestehende Ansätze entwickeln wir ein allgemeines Modell simulierter diagnostischer Situationen, das verschiedene Komponenten beschreibt und insbesondere auf die Salienz diagnostischer Informationen im Kontext einer simulierten diagnostischen Situation eingeht.

Ergebnisse

Wir skizzieren sechs Komponenten, die die systematische Beschreibung und Differenzierung einer simulierten diagnostischen Situation ermöglichen: Physische Umgebung, soziale Einbettung, diagnostische Aufgaben, diagnostische Aktivitäten, diagnostische Informationen und diagnostische Entscheidungen.

Über die Kategorisierung verschiedener Simulationen hinaus sollen diese Komponenten auch eine klare Visualisierung dessen ermöglichen, wo in einer Simulation Designer die Möglichkeit haben, Simulationselemente zu variieren und Interventionen zu implementieren, um den Lernzuwachs in Bezug auf den diagnostischen Erfolg durch die didaktische Anwendung solcher Simulationen zu untersuchen und zu steigern.

Zusätzlich fokussieren wir auf die besondere Bedeutung diagnostischer Informationen für die Genese diagnostischer Entscheidungen und entwickeln vier Facetten für den Begriff der Salienz diagnostischer Informationen: Zugänglichkeit, Prominenz, Einfachheit und Klarheit.

Diskussion und Implikation für Theorie und Praxis

Die Anwendung von Simulationen diagnostischer Situationen umfasst die Erforschung der Struktur und Messung diagnostischer Kompetenzen und der Auswirkungen ihrer Gestaltung als Lernumgebung auf die Förderung dieser Kompetenzen. Unser konzeptioneller Rahmen erlaubt es, die über Simulationen generierten Befunde über eine gemeinsame Sprache einzuordnen und miteinander in Beziehung zu setzen. Für die Forschungspraxis lässt sich aus der systematischen Anwendung unseres Konzepts eine Forschungsagenda für weitere Ansätze mit simulierten diagnostischen Situationen ableiten.

Theoretischer Hintergrund

Schreibkompetenzen von Schülerinnen und Schülern gelten als eine entscheidende Voraussetzung für schulischen, akademischen und beruflichen Erfolg (Crossley & McNamara, 2016; MacArthur, Graham & Fitzgerald, 2016). Allerdings mangelt es oftmals an objektiven Beurteilungen der Textqualität durch verschiedene Lehrkräfte (Birkel & Birkel, 2002; Skar & Jølle, 2017). Um die beeinflussenden Faktoren bei der Textbeurteilung zu untersuchen, bieten sich Simulationsstudien an, die ein hohes Maß an experimenteller Kontrolle bieten (Machts et al., im Druck). Im Folgenden wird anhand zweier Simulationsstudien im Schülerinventar (Kaiser, Möller, Helm & Kunter, 2015) untersucht, inwieweit der Referenzrahmen die Textbeurteilung verändert.

Fragestellung

Beeinflussen Referenzrahmeneffekte die Beurteilung von Texten?

Methode

In der ersten Studie bewerteten N = 102 Lehramtsstudierende (77.5 % weiblich, Alter: M = 23.02, SD = 3.11) vier Schüler*innentexte anhand einer ganzheitlichen sowie analytischen Skalen im Schülerinventar. Die Gruppen erhielten randomisiert entweder drei Texte von schlechter bzw. drei Texte von guter Qualität und jeweils einen Standardtext von mittlerer Qualität zur Beurteilung.

In der zweiten Studie beurteilten insgesamt N = 227 Lehrpersonen (54.41 % weiblich), davon n = 136 Lehramtsstudierende (Alter: M = 25.62, SD = 3.56) und n = 91 erfahrene Lehrkräfte (Alter: M = 37.42, SD = 11.99), zehn randomisiert gezogene Schüler*innentexte ebenfalls im Schülerinventar. Untersucht wurde der Einfluss der mittleren Textqualität, die über die aggregierten Expertenurteile der zehn Texte operationalisiert wurde, auf die mittlere Beurteilung der Texte durch die Lehrpersonen. Die Teilnehmenden bewerteten die Texte anhand sechs analytischer Beurteilungsskalen.

Ergebnisse und ihre Bedeutung

In der ersten Studie wurde der Standardtext auf allen Skalen besser respektive schlechter bewertet, wenn er gemeinsam mit schwachen respektive starken Texten präsentiert wurde (holistisch: t(70.37) = 6.88; p < .001; d = 1.24; Inhalt: t(81.28) = 5.23; p < .001 ; d = 1.06; Stil: t(70.40) = 7.11; p < .001; d = 1.27; sprachliche Richtigkeit: t(68.48) = 6.61; p < .001; d = .97). Bei der Mehrebenenanalyse der zweiten Studie zeigte sich ein negativer Einfluss der mittleren Textqualität (β = -.20; p < .001) auf die mittlere Textbeurteilung.

Diskussion und Implikation für Theorie und Praxis

Die Ergebnisse der vorliegenden Studien zeigen, dass Texte in Abhängigkeit von Referenzrahmen bewertet werden. Lernende in leistungsstarken Klassen könnten bei Aufsätzen schlechter bewertet werden und somit gegenüber Lernenden in leistungsschwachen Klassen benachteiligt werden. Die Studien verdeutlichen, dass Referenzgruppeneffekte in Simulationen adäquat umgesetzt werden können.

Simulationen bieten die Möglichkeit, bereits während des Lehramtsstudiums Diagnosekompetenzen praxisorientiert zu fördern (Chernikova et al., 2020). Studierende benötigen beim Lernen mit Simulationen adaptives und elaboriertes Feedback (z.B. Narciss et al., 2014), was hohe Anforderungen an Lehrende stellt. Fortschritte in der künstlichen Intelligenz ermöglichen jedoch eine automatisierte Auswertung komplexer Daten wie Texteingaben als Basis für adaptives elaboriertes Feedback: Eine Laborstudie verglich bereits automatisiert-adaptives Feedback auf Basis von künstlichen neuronalen Netzen mit statischem Feedback in Form einer Expertenlösung (Sailer et al., 2023). Die Intervention mit sechs simulierten Fällen zu Lern- und Verhaltensauffälligkeiten bei Schüler:innen hatte keinen signifikanten Effekt auf die Genauigkeit diagnostischer Urteile; jedoch hatte das adaptive Feedback einen positiven Effekt auf die Qualität der diagnostischen Begründungen. Durch gezielte Hinweise zu den Argumentationsprozessen der Lernenden erhöhte das adaptive Feedback die Salienz relevanter Feedbackinformationen (Machts et al., in press). Für die Förderung der Diagnosegenauigkeit könnte eine Einbettung in den Lehrbetrieb vorteilhaft sein, da Studierende in entsprechenden Lehrveranstaltungen mehr relevantes Vorwissen mitbringen.

In einem Feldexperiment zur Erprobung des Feedbacks bearbeiteten N = 228 (nach Ausschluss Teilnehmender mit unvollständigen Antworten) Lehramtsstudierende fünf deutscher Universitäten in Online-Lehrveranstaltungen drei simulierte Fälle zu Lernauffälligkeiten bei Schüler:innen und erhielten adaptives (n = 117) oder statisches (n = 111) Feedback. Die Lehramtsstudierenden gaben zu jedem simulierten Fall ein Urteil in Form einer Diagnosestellung an (Einfachauswahlfrage) und schrieben eine diagnostische Begründung (Freitextfrage). In einem Posttest bearbeiteten sie einen weiteren simulierten Fall ohne Feedback. Der Effekt des adaptiven vs. statischen Feedbacks auf die Diagnosegenauigkeit (Übereinstimmung mit wahrscheinlichster Diagnose entsprechend des Falldesigns) und die Qualität der diagnostischen Begründung (Berücksichtigung der sechs relevantesten Fallinformationen) im Posttest wurde mit zwei Kovarianzanalysen berechnet; als Kontrollvariable wurde die Leistung im ersten Lernfall berücksichtigt, da die erste Feedback-Intervention erst nach Absenden der Antwort erfolgte.

Es zeigte sich ein signifikanter positiver Effekt des adaptiven Feedbacks auf die Qualität der diagnostischen Begründung im Posttest mit kleiner Effektstärke, F(1,225) = 6.78, p = .01, ηp = 0.029. Die Diagnosegenauigkeit war nicht signifikant unterschiedlich zwischen den Feedback-Gruppen, F(1,225) = 1.41, p = .24, ηp = 0.006. Die Ergebnisse stützen das Befundmuster der vorangegangenen Laborstudie: Lernende scheinen durch die Salienz des adaptiven Feedbacks zunächst im diagnostischen Begründen gefördert zu werden. Um einen positiven Effekt des adaptiven Feedbacks auf die Diagnosegenauigkeit zu erzielen, könnten weitere Simulationslerneinheiten förderlich sein. Die Studie impliziert, dass auch unter Feldbedingungen in Online-Seminaren der Einsatz von automatisiert-adaptivem Feedback auf Basis von Sprachverarbeitung mittels künstlicher neuronaler Netze vorteilhaft sein kann.

Ärztliches kollaboratives Diagnostizieren umfasst kollaborative Diagnoseaktivitäten wie das Elizitieren und Teilen (Liu et al., 2015) von Evidenzen und Hypothesen (Radkowitsch et al., 2022), deren Qualität unter anderem vom Kollaborationswissen der beteiligten Personen—gespeichert in internalen Kollaborationsskripts (Script Theory of Guidance [SToG]; Fischer et al., 2013)—abhängt. Agentenbasierte Simulationen können kollaborative Fähigkeiten fördern (Graesser et al., 2018), während angeleitete Reflexion über das Diagnosevorgehen durch Restrukturierung mentaler Problemrepräsentationen Diagnosefähigkeiten fördern kann (Mamede & Schmidt, 2023). Im Kontext kollaborativer Diagnosefähigkeiten wurde Reflexion über Kollaboration bislang nicht untersucht. Zudem scheinen insbesondere vorwissensstarke Lernende mit hohem Vorwissen über den Reflexionsgegenstand von wenig inhaltstrukturierenden Reflexionsanleitungen zu profitieren (Chernikova et al., 2020; Richters et al., 2022). Vorwissensschwache Lernende brauchen möglicherweise stärker inhaltsstrukturierende Reflexionsanleitungen. Die Studie untersucht die Wirkung niedrig- und hochstrukturierter Reflexionsanleitung in einer agentenbasierten Simulation auf kollaborative Diagnosefähigkeiten von Medizinstudierenden in Abhängigkeit ihres Kollaborationsvorwissens.

N = 195 Medizinstudierende bearbeiteten konsekutiv fünf fiktive Patient:innenfälle (ein Prätestfall, drei Lernfälle, ein Posttestfall), indem sie nach Durchsicht einer klinischen Akte bei einer agentenbasierten Radiologin durch Teilen von Evidenzen und Hypothesen Untersuchungen anforderten und abschließend eine Diagnose stellten. Vor Diagnosestellung erhielten sie in den Lernfällen (Experimentalbedingungen) niedrig- oder hochstrukturierte Anleitung zur Reflexion über radiologische Untersuchungsanforderungen auf Szenen- bzw. Skriptlet-Ebene (SToG; Fischer et al., 2013), oder keine Reflexionsanleitung. Interaktionseffekte zwischen Experimentalbedingung und Kollaborationsvorwissen (zu Beginn anhand textbasierter Fälle erfasst) auf kollaborative Diagnosefähigkeiten im Posttestfall (Qualität des Evidenzen und Hypothesen Teilens; Diagnoseakkuratheit; und Diagnosebegründungsqualität) wurden unter Berücksichtigung der Leistung im Prätestfall mit vier Regressionsmodellen berechnet.

Signifikante Interaktionseffekte wurden auf die Qualität des Evidenzen Teilens (F(2, 165) = 3.21, p = .043, ηp2 = .04), Diagnoseakkuratheit (χ²(2) = 9.6, p = .008, Φ = 0.23) und Diagnosebegründungsqualität (F(2, 146) = 3.66, p = .028, ηp2 = .05) gefunden. Insbesondere die niedrigstrukturierte Reflexionsanleitung verbesserte das Evidenzen Teilen, die Diagnoseakkuratheit und die Diagnosebegründungsqualität bei vorwissensschwachen Lernenden. Für vorwissensstarke Lernende hatten beide Reflexionsanleitungen keine oder signifikant negative Effekte.

Die Ergebnisse zeigen unter Berücksichtigung der SToG (Fischer et al., 2013), dass die Reflexionsanleitung kollaborative Diagnosefähigkeiten von Medizinstudierenden fördert, jedoch nicht die hohe Strukturierung (Skriptlet-Ebene), da vermutlich alle Lernenden bereits über internale Skriptlets verfügten. Im Gegensatz zu vorwissensstarken Lernenden profitierten vorwissensschwache Lernende von einer niedrigen Strukturierung (Szenen-Ebene): Erstere verfügen möglicherweise bereits über ausreichendes handlungsleitendes Kollaborationswissen auf Szenen-Ebene, während letztere solche internalen Strukturen noch nicht aufweisen (Fischer et al., 2013). Die Studie liefert theoriebasierte Ansatzpunkte zur vorwissensadäquaten Strukturierung von Reflexion über kollaboratives Diagnostizieren in Simulationen zur Förderung kollaborativer Diagnosefähigkeiten.

Lernerzentrierte Ansätze (d.h. die die Agency von Lernenden erhöhen) und die Adaptation von instruktionaler Unterstützung an Bedürfnisse und Kompetenzen von Lernenden, verbessern die Wirksamkeit von Lernumgebungen (z.B. Bernard et al., 2019). Es fehlen systematische Erkenntnisse, ob die Adaptation der instruktionalen Unterstützung an Lernermerkmale in Simulationen zusätzliche Vorteile für das Lernen bietet.

Um die Adaptivität von Lernumgebungen zu erfassen, stützt sich diese Metaanalyse auf Plass&Pawar (2020), die eine Unterscheidung zwischen fixierter und leistungsbezogener Adaptation vorschlagen und die Rolle der den Instanz betonen, die die Adaptationsentscheidungen trifft. Zusätzlich stützen wir uns auf empirische Befunde zur Selbstregulation (z.B. Lim et al., 2023); Agency (z.B. Stenalt & Lassesen, 2022) sowie auf Ergebnisse zur Wirksamkeit von Simulationen zur Förderung Kompetenzen in verschiedenen Fachbereichen der Hochschulbildung (z. B. Chernikova et al, 2020). Es scheint wahrscheinlich, dass durch die Adaptation der instruktionalen Unterstützung (z.B. Scaffolding) die Effekte auf das Lernen signifikant erhöht werden können (z.B. Belland et al., 2017).

Forschungsfragen:

1. Inwiefern trägt die Förderung der Agency von Lernenden (als Adaptationsstrategie) im Vergleich zur leistungsbezogener Adaptation oder keiner Adaptation zur Wirksamkeit von Simulationen bei?

2. Inwiefern unterscheiden sich die Effekte unterschiedlicher Adaptationsstrategien für Lernende mit geringen/hohen Vorwissen?

Die Metaanalyse basiert auf 217 Studien aus verschiedenen Fachgebieten der Hochschulbildung. Eingeschlossen wurden empirische Studien, die sich mit der Förderung von Kompetenzen beschäftigen, Simulationen für Lernzwecke nutzen und eine Kontrollbedingung hatten. Scaffoldingstrategien wurden als angewendet (1) oder nicht angewendet (0) kodiert. Dies führte zu folgende Strategien: Agency beim Lernenden; Agency beim System, Instruktion nicht adaptiert; Agency beim System Instruktion adaptiert; gemischte Agency. Das Vorwissen wurde als "hoch" kodiert, wenn die Autoren der Primärstudien erwähnten, dass den Lernenden der Simulationskontext vertraut war, und als "niedrig", wenn er nicht vertraut war.

Die Ergebnisse zeigten einen hohen durchschnittlichen Effekt von Simulationen auf Lernen (g=.95, SE=.06). In 13 Studien entschieden Lernende über Scaffolding (Agency beim Lernenden). Diese Studien zeigten geringere Effekte (g=0.77*; SE=0.13; N=13) als Studien mit leistungsbasierter Adaptation bei System (g=1.05*; SE=0.20; N=26) oder Studien mit keiner Adaptation (g=0.94*; SE=0.08; N=122). Die Effekte waren für geringes (g= 0.43*; SE=0.14; N=5), aber nicht für hohes Vorwissen (g=1.05*; SE=0.24; N=5) signifikant geringer als Effekte anderen Strategien.

Die Ergebnisse sind im Einklang mit vorhergehender Forschung (z.B. Belland et al., 2017) und erweitern diese, indem sie erstmals metaanalytische Evidenz über die Auswirkungen unterschiedlicher Adaptationsstrategien in Kontext von Simulationen liefern. Abschließend lässt sich schlussfolgern, dass adaptiertes Scaffolding die Lernergebnisse verbessern kann, wenn es an das Vorwissen angepasst ist.