Veranstaltungsprogramm

Theoretischer Hintergrund

Im Mittelpunkt dieses Beitrags stehen konzeptionelle Überlegungen zum technologiebasierten Assessment (TBA) von Schreibfertigkeiten und Schreibkompetenzen. Ausgehend von den 2022 weiterentwickelten KMK-Bildungsstandards im Fach Deutsch werden in dem Beitrag Modelle (testbarer) Schreibfertigkeiten und -kompetenzen diskutiert. Dabei spielen fachdidaktische Erwägungen u. a. zur Bildung in der digitalen Welt eine zentrale Rolle. Während nämlich handschriftlich Zeichen graphomotorisch auf physische Oberflächen (z. B. auf Papier) formiert und die Oberflächen verändert werden, werden beim digitalen Schreiben vorgeformte Zeichen (von einer Tastatur, einem Display etc.) ausgewählt, ohne dass es zu physischen Veränderungen kommt. Daraus resultieren unterschiedliche Modi des Schreibens, die sich gleichermaßen auf das „Wie“ (Schreibfertigkeiten, Schreibflüssigkeit, Schreibstrategien etc.) und auf das „Was“ (Textsorten, Kommunikationsformen etc.) beziehen. In der Forschung werden vor diesem Hintergrund Effekte berichtet, die sich auf die jeweiligen Varianten „technologiebasiert“ (TBA) und „papierbasisert“ (PBA) beziehen. Berichtet werden u. a. Moduseffekte sowie formatspezifische Leistungsunterschiede (u. a. Wagner et al. 2021). Teils lassen sich die Unterschiede sogar bis auf einzelne Lupenstellen bzw. Fehlerschwerpunkte beziehen, z. B. auf die Groß-Kleinschreibung, aber auch die Vokalkürze (u. a. Frahm 2012). Jung et al. (2021) berichten zudem über eine Zunahme des Korrekturverhaltens im Rahmen der digitalen Testungen. Vor diesem Hintergrund werden in dem konzeptionellen Beitrag Konsequenzen für die Testentwicklung im Fach Deutsch in der Primar- und der Sekundarstufe aufgezeigt und es wird aus der aktuellen Aufgabenentwicklung des IQB berichtet.

Fragestellungen

Welche konzeptionellen Veränderungen müssen bei der Umsetzung von Testaufgaben zur Orthografie in das TBA-Format bedacht werden?

Methode

Es wird anhand von Beispielen aus der aktuellen Entwicklung von Aufgaben zu den weiterentwickelten Bildungsstandards berichtet (k = 300 Aufgaben je Jahrgangsstufe), die 2026 (Primarstufe) bzw. 2027 (Sekundarstufe) normiert werden sollen. Dazu werden konzeptionelle Überlegungen zu Testaufgaben präsentiert. Die Aufgaben werden aktuell mit Lehrkräften, Fachdidaktiker*innen und Bildungsforscher*innen entwickelt.

Ergebnisse und ihre Bedeutung

Bereits in der Entwicklung ist absehbar, dass bestimmte Aufgabentypen (Korrekturaufgaben, Richtig-Falsch-Aufgaben, Sortieraufgaben, Begründungsaufgaben) ohne Einschränkungen in das TBA-Format überführt werden können. Gleichwohl stellen insbesondere die Korrekturaufgaben besondere Anforderungen an die digitale Umsetzung vorzunehmender Korrekturen orthografisch falscher Schreibungen. Beim Aufgabenformat der Lückensatzdiktate schließen sich weitere Studien zum Vergleich der TBA- und PBA-Formate an (N = ca. 1000 in 2024). Ergänzend soll eine Videostudie (N = 50) in 2024 hier Hinweise dazu geben, wie Schüler*innen mit der neuen Variante der Testung umgehen, in der manche Aufgabenformate im TBA-Format, Lückensatzdiktate aber auf Papier angeboten werden. Eine solche „Tablet-Papier-Hybridvariante“ scheint aus fachwissenschaftlicher und fachdidaktischer Sicht für den Gegenstand „orthografisches Schreiben“ besonders angemessen zu sein. Wie Schüler*innen aber mit dem Wechsel zwischen Handschrift und digitaler Bearbeitung umgehen, wird erst Teil dieser Studie sein.

Theoretischer Hintergrund

Integrierte Schreibaufgaben, insbesondere im Kontext von English for Academic Purposes (Hirvela, 2016), werden immer beliebter, um die Kombination von Verstehen (Lesen) und produktiven Fähigkeiten (Schreiben) zu bewerten (Chan, 2013). Da solche Aufgaben den koordinierten Einsatz von Fähigkeiten und Handlungen in einem begrenzten Zeitrahmen erfordern, wenden die Lernenden verschiedene Strategien an, um die Aufgabe erfolgreich zu bewältigen (Cho & Lee, 2016; Payant et al., 2019).

Die Forschung zur strategischen Verarbeitung konzentriert sich hauptsächlich auf die Vielfalt der eingesetzten Strategien und Prozesse, weniger jedoch auf die Frage, wann und wo diese Strategien am effektivsten sind (Dinsmore et al., 2020). Für das integrierten Schreibens wurde diese Forschung größtenteils durch selbstberichtete Messungen und Think-Aloud-Protokolle durchgeführt. Beispielsweise zeigen die Studien von Plakans (2008, 2009a, 2009b), dass Schreibende mit höherer Kompetenz stärker mit dem Ausgangstext interagieren und mehr globale Lesestrategien anwenden, während weniger erfahrene Schreibende vermehrt lokale Lesestrategien nutzen.

Mit der zunehmenden Verbreitung computerbasierter Testverfahren hat die Forschung begonnen, Prozesse und Strategien bei der Verarbeitung von Aufgaben mithilfe von Log-Daten zu untersuchen. In der Schreibforschung hat beispielsweise die Verwendung von keystrokes zur Untersuchung von Schreibprozessen und -strategien zugenommen (z. B. Larios et al., 2001; Talebinamvar & Zarrabi, 2022; Révész et al., 2022).

Fragestellung

Aufbauend auf bestehender Forschung zum integrierten Schreiben und den Schreibprozessen besteht das Ziel dieser Studie darin, Prozesse und Strategien des integrierten Schreibens sequenzanalytisch zu untersuchen. Insbesondere interessieren uns dabei folgende Fragen: 1) Ist es möglich, bestimmte Muster bei der Verarbeitung (Prozesse und Strategien) integrierter Schreibaufgaben zu identifizieren? 2) Wie ist die Verteilung dieser Muster in den verschiedenen integrierte Schreibaufgabentypen? 3) Wie stabil sind diese Muster innerhalb von Personen, d.h. bei der Verarbeitung von zwei Aufgaben durch denselben Teilnehmer: in? 4) Besteht ein Zusammenhang zwischen den Verhaltensmustern bei der Bearbeitung integrierter Schreibaufgaben und der Textqualität der resultierenden integrierten Schreibprodukte?

Methode

Insgesamt wurden vier integrierte Schreibaufgaben entwickelt, die auf wissenschaftlichen Einführungstexten aus den Bereichen Sozial- und Naturwissenschaften basieren. Zwei dieser Aufgaben erforderten von den Teilnehmenden die Erstellung einer Zusammenfassung, während es sich bei den anderen beiden um Stellungnahmen handelte. Die Ausgangstexte hatten jeweils etwa 1000 Wörter, und die erwartete Länge des schriftlichen Produkts lag zwischen 300 und 350 Wörtern. Die Untersuchung umfasste eine Stichprobe von 379 Abiturient: innen und Studierenden in englischsprachigen Studiengängen. Jede/r Teilnehmende bearbeitete online eine oder zwei der integrierten Schreibaufgaben, die zufällig zugeteilt wurden. Die 601 verfassten Textprodukte wurden anschließend von sechs geschulten Bewertenden anhand einer fünfstufigen Bewertungsskala anhand von neun Analysekriterien bewertet (z.B. Verwendung des Ausgangtextes, Diskurssynthese, sprachlichen Qualität).

Um die Sequenzen von Prozessen und Strategien zu analysieren, extrahierten wir die Log-Daten der Aufgabenverarbeitung. Diese Log-Daten wurden als Zustände definiert, die als relevante/r Prozess oder Strategie betrachtet werden (z.B. Ausgangstext scrollen, Hervorheben, Notizen machen, flüssiges Schreiben, Bearbeiten des Geschriebenes, Pause). Anschließend führten wir die Sequenzanalysen mit dem R-Paket TraMineR (Gabadinho et al., 2011) durch, identifizierten Cluster und führten deskriptive sowie Varianzanalysen durch.

Ergebnisse und ihre Bedeutung

Die Analysen ergaben vier Muster bei der Verarbeitung von integrierten Schreibaufgaben: das „schnelle“ Muster, das „strategische“, das „Notizen-“ und das „geringe Interaktionsmuster“. Das „schnelle“ Muster erwies sich als am häufigsten angewendet, während das „Notizenmuster“ weniger häufig vorkam. Hinsichtlich der Stabilität der Muster in zwei integrierten Schreibaufgaben, die von demselben Teilnehmer durchgeführt wurden, fanden wir eine relativ hohe Assoziation zwischen den Mustern der ersten und der zweiten Aufgabe. Es gab jedoch eine Tendenz zum Wechsel auf das „schnelle“ Muster in der zweiten Aufgabe. Schließlich wiesen Aufgaben, die ein „strategisches“ Muster aufwiesen, signifikant höhere Textqualität auf im Vergleich zu Aufgaben, die ein „geringes Interaktionsmuster“ zeigten. Die Ergebnisse werden im Hinblick auf eine mögliche diagnostische Nutzung und auf Implikationen für die Anwendung in der Lehre diskutiert.

Theoretischer Hintergrund

Schreiben in der Fremdsprache Englisch gehört zu den zentralen Bildungszielen der gymnasialen Oberstufe und ist relevant für Studierfähigkeit und employability in einer zunehmend globalisierten Welt. Insbesondere das argumentative Schreiben nimmt dabei einen hohen Stellenwert ein. Es kann als Fähigkeit verstanden werden, die eigene Meinung zu einem Thema adressatenspezifisch zu strukturieren und mittels grammatischer und lexikalischer Mittel differenziert darzustellen, sodass Leser*innen wichtige Punkte erkennen und erinnern können (CEFR, 2001).

In der Forschungsgruppe des Erstautors wurde in den letzten Jahren eine umfassende Analyse eines authentischen Korpus von english argumentative essays von Schüler*innen aus dem 11. Schuljahr zu zwei Schreibprompts aus dem TOEFL-Test vorgenommen („independent writing“). In der vorliegenden Studie wurden aus demselben Sample eine Gruppe von Texten vertieft analysiert. Die Annotationen von menschlichen Ratern zu zentralen Aspekten der Textqualität werden mit Hilfe von Algorithmen des natural language processing (Deane, 2013) vorhergesagt und hieraus Visualsierungen von Textqualitäten in den Schülertexten erstellt.

Entsprechend „visualisierte“ Texte können in der Unterrichtspraxis wie auch der Forschung zu verschiedenen Zwecken verwendet werden. Eine erste Anwendungsmöglichkeit ist automatisiertes Feedback: Durch die automatisierte Annotation erhalten die Lernenden „live“ Rückmeldungen zu den Qualitäten ihrer Texte und können diese bei der Texterstellung nutzen. Eine zweite Anwendungsmöglichkeit ist das Training von diagnostischen Kompetenzen von Lehrpersonen (Coldarci, 1986). Die Visualisierungen können Lehrpersonen helfen, bestimmte Aspekte von Textqualität einfacher und genauer zu beurteilen. Auf diese Anwendung fokussiert der vorliegende Vortrag.

Fragestellung

Wie lassen authentische Schülertexte aus dem 11. Schuljahr (english argumentative essays), bei denen bestimmte Textmerkmale automatisch visualisiert sind, für das Training der diagnostischen Kompetenzen von Lehrpersonen nutzen?

Methode

Diese Studie basiert auf einem Korpus von N = 2289 Texten von Schülerinnen und Schülern aus dem 11. Schuljahr zu zwei Schreibprompts aus dem TOEFL Test („independent writing“; Rupp et al., 2019). Aus diesem Korpus wurden 100 Texte randomisiert ausgewählt und von Human Ratern vertieft analysiert. Im Beitrag werden zwei Textaspekte vorgestellt, nämlich „spelling“ und „argumentation quality“. Bei „spelling“ werden die Rechtschreibefehler in einem Text direkt von einer Software annotiert und danach im Text visualisiert. Durch menschliche Rater erfolgte danach ein „debugging“, wobei der Bereich der Rechtschreibung abgetrennt wurde von den Ebene Grammatik und Wortschatzqualität. Im Bereich „arumentation quality“ erfolgte ein Rating der Texte an Hand zentaler Elemente der Argumentation durch menschliche Beurteiler (claim, counterclaim, rebuttal, etc.). Die Inter-Rater Übereinstimmung war gut (Kappa = .8). Diese human ratings wurden händisch in Texten visualisiert. Ebenso laufen im Moment Versuche, diese human ratings durch Natural Language Processing (Deane, 2023) automatisch vorherzusagen.

Ein einer Studie zur Diagnosekompetenz werden die visualisierten Texte (angehenden) Lehrpersonen zur Beurteilung auf analytischen Beurteilungsrastern vorgelegt. Es wird untersucht, ob die Visualisierungen den Proband*innen helfen, die visualisierten Texte gegenüber einem Benchmark Rating genauer zu beurteilen. Dabei wird also der Einfluss von Textvisualisierungen auf teacher judgment accuracy (Coladarci, 1986) untersucht. Als Versuchsgruppe dient eine Gruppe von Probandinnen und Probanden, welche die Texte ohne Visualisierungen beurteilen.

Ergebnisse und ihre Bedeutung

Datenerhebungen zur Studie „Visualisierung der Rechtschreibung“ beginnen im Oktober 2023, sodass in dem Beitrag erste Ergebnisse vorgestellt werden können (N = 100 Teilnehmer*innen). Wir erwarten, dass die Visualisierung von Aspekten der Rechtschreibung Lehrpersonen hilft, sprachliche Aspekte der Texte einfacher und genauer zu beurteilen. Gleichzeitig wird geprüft, ob diese Visualisierungen zu Halo-Effekten führen. Dies könnte z.B. bedeuten, dass bei vielen Rechtschreibefehlern auch negativere Bewertungen der Argumentation oder dem Inhalt der Texte entstehen.

Die hier vorgestellten empirischen Studien können einen Einblick geben, wie moderne Techniken der (automatisierten) Textannotation Lehrpersonen bei ihrer Arbeit unterstützen können, z.B. durch Training ihrer diagnostischen Fähigkeiten. Sie können aber auch auf problematische Aspekte aufmerksam machen, z.B. Verzerrungen durch zu starke Aufmerksamkeit auf ein Merkmal. Diese Aspekte werden in dem Beitrag kritisch beleuchtet.

Theoretischer Hintergrund

Unsere Studie untersucht die Auswirkungen sozio-kontextueller Einflussfaktoren auf die Entwicklung mehrsprachiger Schreibfähigkeiten und -praktiken bei Sekundarschülern in Deutschland. Einem humankapitaltheoretischen Ansatz folgend, verstehen wir Effekte der sozialen Herkunft auf das Erlernen und die Praxis des Schreibens in mehreren Sprachen als Zusammenspiel von elterlichen Investitionen in das Humankapital ihrer Kinder sowie der Investitionen der Jugendlichen in ihr eigenes Humankapital. Der handlungstheoretische Investitionsmechanismus besteht dabei aus drei Elementen: der Motivation für Bildungsinvestitionen, dem Zugang zu Bildungsressourcen in Lernkontexten und der Effizienz des Lernprozesses (z. B. Chiswick & Miller, 1995; Esser, 2006; Schnoor, 2019).

Die wachsende Anzahl von Forschungsarbeiten zur Entwicklung mehrsprachigen Schreibens bei Jugendlichen liefert Hinweise auf die vernetzte Natur von mehrsprachigen Schreibfähigkeiten innerhalb mehrsprachiger Repertoires (z.B., Schnoor & Usanova, 2023; Schoonen et al., 2011; Riehl, 2021). Allerdings ist wenig über den Einfluss sozio-kontextueller Faktoren auf die Entwicklung komplexer mehrsprachiger Schreibrepertoires bekannt, insbesondere bei Migrantenjugendlichen der zweiten Generation, die ihre Bildungskarrieren in Deutschland verbracht haben (Böhmer, 2015; Usanova, 2019).

Methode

Forschungsmethodisch muss man, um die Komplexität sozio-kontextuelle Einflüsse auf mehrsprachige Schreibfähigkeiten und -praktiken abbilden zu können, das gesamte mehrsprachige Schreibrepertoire der Jugendlichen berücksichtigen. Wir nutzen hierzu Daten der Längsschnittstudie "Mehrsprachigkeitsentwicklung im Zeitverlauf (MEZ)" (Gogolin et al., 2017), die die Entwicklung von Mehrsprachigkeit und deren Einflussfaktoren bei Sekundarschüler:innen mit und ohne Migrationshintergrund in Deutschland untersucht hat. Für unsere Analyse nutzen wir ein longitudinales Sample von lebensweltlich mehrsprachigen Jugendlichen mit deutsch-russichem (n = 996 Beobachtungen) oder deutsch-türkischem (n = 1832 Beobachtungen) Sprachhintergrund. Wir nutzen Testdaten zur Schreibfähigkeit in Deutsch (Mehrheitssprache), Russisch oder Türkisch (Herkunftssprache) und Englisch (erste Fremdsprache) sowie Fragebogendaten zu Schreibraktiken und Merkmalen der sozialen Herkunft.

Zur statistischen Modellierung des oben genannten Investitionsmechanismus schätzen wir ein Fixed-Effects-Panelpfadmodell in Mplus. Die gewählte Art der Modellierung hat zwei zentrale Vorteile: Einerseits, erlaubt der pfadanalytische Ansatz, Effekte mehrerer unabhängigen Variablen (soziale Herkunft) auf mehrere abhängige Variablen (Schreibfähigkeiten, Schreibpraxen in Deutsch Herkunftssprache und Englisch) simultan zu schätzen. Andererseits ermöglicht die Panelstruktur der Daten die Bereinigung der geschätzten Pfadkoeffizienten um unbeobachtete Heterogenität, was, bei der Mannigfaltigkeit möglicher Einflussfaktoren auf mehrsprachige Schreibfähigkeit und -praktiken, die Interpretation der Ergebnisse erheblich erleichtert.

Ergebnisse und ihre Bedeutung

Unsere Ergebnisse zeigen, dass im Vergleich zum Deutschen die Schreibfähigkeiten und -praktiken in der Herkunftssprache und Englisch stärker von sozialen Kontextfaktoren beeinflusst werden. Darüber hinaus spielen die einzelnen sozialen Kontextfaktoren sehr unterschiedlich Rollen, je nachdem, ob man auf ihre Wirkung auf Schreibfähigkeiten oder -praxen betrachtet.