Veranstaltungsprogramm

Eine Übersicht aller Sessions/Sitzungen dieser Tagung.
Bitte wählen Sie einen Ort oder ein Datum aus, um nur die betreffenden Sitzungen anzuzeigen. Wählen Sie eine Sitzung aus, um zur Detailanzeige zu gelangen.

 
Sitzungsübersicht
Sitzung
D9–S23: Berufspädagogik und Urteilsfähigkeit
Zeit:
Donnerstag, 26.03.2020:
9:00 - 10:45

Ort: S23

Präsentationen

Schriftliches Urteilen im Politikunterricht fördern = gesellschaftliche Partizipation ermöglichen und Ungleichheiten abbauen!? Eine Interventionsstudie zur Handlungs- und Urteilsfähigkeit

Claudia Forkarth, Sabine Manzel

Universität Duisburg-Essen, Deutschland

Politische Bildungsangebote in Schulen haben gemäß internationaler Studien einen signifikanten Effekt auf die Teilnahme in der Zivilgesellschaft und auf politische Partizipation (Tonge et al. 2012, Quintelier 2013, Henn & Foard 2012, 2014), wobei signifikante Unterschiede hinsichtlich Alter, Herkunft und sozioökonomischen Status existieren (Putnam 2000, Blunkett 2002, Keating & Benton 2013, Keating & Janmaat 2016). Im deutschen Politikunterricht sollen Schüler/-innen vier zentrale Kompetenzen ausbilden, u.a. politische Urteils- und Handlungsfähigkeit (Detjen et al. 2012). Zur Handlungsfähigkeit gehört die Fähigkeit, sich mittzuteilen und für seine Position einzustehen. Dies ist Grundlage für politisches Verstehen, Argumentieren und Urteilen (Manzel & Nagel 2019). Hier besteht eine enge Verzahnung zwischen Fachinhalten und sprachlichen Handlungen. Das Beherrschen von Bildungs- und Fachsprache gilt als Voraussetzung für politische Partizipation in einer demokratischen Gesellschaft (Habermas, 1977; Kayser & Hagemann, 2012) und wird häufig als Erklärungsfaktor für herkunftsbezogene Leistungsunterschiede identifiziert. Sprachliche Kompetenzen werden jedoch selten im Fachunterricht thematisiert. Insbesondere das Schreiben wird im Politikunterricht selten gezielt angebahnt, obwohl Schüler/-innen Fachinhalte und Wissen um fachspezifische Sprachstrukturen benötigen, um den Anforderungen des Schreibens im Fachunterricht gerecht zu werden (Oleschko 2012). Diskursive, kontextuell eingebettete Praktiken wie das Argumentieren und Urteilen sind bisher noch nicht standardisiert erfasst und stellen sowohl Lehrkräfte als auch Lernende vor Herausforderungen (Domenech & Petersen 2018). Durch die Förderung fachspezifischer Schreibkompetenz, so die Annahme, können Chancenungleichheiten beruhend auf Bildungsherkunft abgemildert werden (Weißeno & Eck, 2013). Die Interventionsstudie (Pre-Post-Design) untersucht die politische Handlungs- und Urteilsfähigkeit von Schüler/-innen anhand von drei unterschiedlichen sprachlichen Handlungen (Beschreiben, Erklären und Begründen) sowie den Effekt einer Schreibförderung im Politikunterricht mit Hilfe eines textsortenbasierten Lehr-Lern-Zyklus (u.a. Taufik 2009, Callaghan et al. 1993). Es wird angenommen, dass die Intervention positiven Einfluss auf die Handlungs- und Urteilsfähigkeit hat.

Im Vortrag soll (1) der Frage nachgegangen werden, wie Schüler/-innen der 7. und 8. Klasse an Gesamtschulen in Nordrhein-Westfalen ihre Positionen schriftlich erklären und begründen und (2) welchen Einfluss Fachwissen, politisches Interesse, allgemeine Lesefertigkeiten und der sozioökonomische Status auf die unterschiedlichen Textprodukte haben. Zuletzt (3) wird geprüft, ob die Intervention einen positiven Einfluss auf die Kompetenzentwicklung hat.

Die Daten wurden in zwei Schulen in Nordrhein-Westfalen und 13 Klassen im Frühjahr und Sommer 2019 erhoben. Die drei sprachlichen Handlungen wurden mit Hilfe einer Schreibaufgabe erfasst. Die Testverfahren zur Erhebung und Auswertung der Textprodukte der Schüler/-innen sind standardisiert, ein Kategoriensystem mit Ankerbeispielen wurde entwickelt, mehrfach pilotiert und in Doppelrating-Verfahren mit Rater-Schulungen durchgeführt. Zur Überprüfung unterschiedlicher Einflussgrößen wurden u.a. ein Wissenstest, C-Test, SLS sowie SES-Fragebogen eingesetzt.

Erste Ergebnisse der Hauptstudie mit einer Teilstichprobe zum Begründen (n=167) zeigen, dass 8. Klässler im Wissenstest signifikant besser abschneiden als 7. Klässler (z.B. r=.911, p=.004 im Pretest). Der Migrationshintergrund ist nur signifikant in den Pretest-Ergebnissen beider Jahrgangsstufen (r=.499, p=.000), was die Befunde von Weißeno & Eck stützt, wohingegen das kulturelle Kapital zu beiden Testzeitpunkten einen signifikanten Effekt auf das Fachwissen aufweist (r=.189, p=.050). In Bezug auf die Fähigkeit des schriftlichen Begründens wird deutlich, dass durchschnittlich weniger als 50 Prozent der Punkte erreicht werden. Insgesamt erreichen Mädchen im Pretest signifikant mehr Punkte als Jungen, wobei sich der Geschlechter-Effekt im Posttest aufhebt. Aber auch hier zeigt sich ein signifikant schlechteres Abschneiden der siebten Klassen im Posttest (p=.001). Die Lernenden weisen in der Teilstichprobe Lücken in der textsortenspezifischen Schreibfähigkeit (hier: Begründen) auf. Es scheint, dass die untersuchten Variablen auf das Fachwissen und das schriftliche Begründen im Politikunterricht Einfluss haben. Dies soll in Bezug auf die Gesamtstichprobe überprüft und mit Ergebnissen aus der Auswertung der Erkläre-Aufgabe sowie weiteren Kontrollvariablen verglichen werden. Weitergehende Analysen liegen bis zur Tagung vor.



The role of individual beliefs when critically dealing with contradictory information from multiple sources

Olga Zlatkin-Troitschanskaia, Marie-Theres Nagel, Jana Jurisch, Susanne Schmidt

Johannes Gutenberg-Universität Mainz, Deutschland

Objectives

Critically dealing with contradictory information from multiple sources (CD) is a crucial ability in a knowledge-based society and digital world [5]. The iPAL project follows an innovative approach to assessing CD by using criterion-sampled measures. The project is designed to measure the CD of higher education students by simulating real-life decision-making and judgment situations that students face in academic and professional domains [3]. On this basis, we developed a performance task (PT) with a case scenario (renewable energy) comprising 22 (ir)relevant, (un)reliable and partly conflicting pieces of information [1]. A semi-structured cognitive interview with 30 students assessed how the participants integrated and evaluated this information in their decision-making process and which individual factors influenced their response process [2].

This contribution focuses on individual beliefs (regarding the scenario topic) and to what extent they affect the students’ selection and use of given information and their decision-making.

Background

The PT assesses CD based on five theoretically driven central facets according to the working definition [1]: the participants’ identification, evaluation and integration of data sources; recognizing and using arguments; developing own arguments; recognizing consequences of decision-making; and taking appropriate communicative action. Validity evidence is gathered by evaluating the test-takers’ responses to the PT, the cognitive interview and an additional questionnaire [1].

Method

In the PT, students should consider and critically analyze 22 information sources with varying degrees of trustworthiness and content relevance while solving the case scenario [1, 2]. Particular attention was paid to controlling whether the students’ beliefs have influenced their processing of the task, e.g., resulting in selective inclusion of the given information.

Data regarding the ability to deal with partly irrelevant and unreliable pieces of information was gathered in cognitive interviews after the PT (N=25 undergraduate/5 graduate students; [1]).

Test performance was scored using a newly developed 6-point Likert-type anchored rating scheme based on the construct of critical thinking with 5 dimensions and 23 subdimensions [1].

The qualitative analysis of the cognitive interviews was guided by the methodology of grounded theory [4] for developing a code scheme and data-driven theory. The circular process of coding consists of (1) open, (2) axial and (3) selective coding, and was complemented by the analytical approach of constantly comparing phenomena within the dataset (minimum and maximum contrast).

Results

The students reported at which point they made their decision on the task, and it appears that many students make their decision before they have even read the given information. We identified three types of participants for whom individual beliefs had a different impact on decision-making and written responses. (1) Three participants ignored the given information and made their decision (whether renewable energies should be promoted or not) solely based on their individual beliefs: (ID2)18:59P: “I even think my personal opinion convinced me more than the information did.” (2) Three participants decided contrary to their individual beliefs, changing their decision after reading certain information from the task; they reconsidered their beliefs-based initial preference by reflecting on their own beliefs in the context of the given information. (3) Two participants made their decision after considering pros and cons based on their beliefs rather than on the given information. After reading the information, they felt vindicated, so they gathered arguments from the given information and presented them in line with their individual beliefs. Remarkably, these participants achieved higher scores than the other types (authors 2019).

The identified types suggest a significant influence of individual beliefs on information processing and decision-making. These relationships are analyzed more in-depth, taking into consideration additional underlying (non-)cognitive student characteristics that might influence their decision-making processes as identified in the cognitive interviews.



Lernen aus Fehlern und Feedback

Patricia Köpfer1, Eveline Wuttke1, Jürgen Seifried2

1Goethe-Universität Frankfurt, Deutschland; 2Universität Mannheim, Deutschland

Theoretischer Hintergrund

Es ist unstrittig, dass Schülerfehler Lernpotenzial bergen (z.B. Metcalfe 2017; Narciss 2006). Dies ist plausibel, denn Schülerfehler liefern Lehrkräften Information über Wissensdefizite und Verständnisprobleme auf Seiten der Lernenden und Ansatzpunkte, um durch adäquate Unterstützung Lernprozesse anstoßen zu können (z.B. Schumacher 2008; Wuttke & Seifried 2017).

Um aus Fehlern lernen zu können, muss folgender Dreischritt erfolgen: SchülerInnen müssen ihre Fehler (1) identifizieren, (2) die Fehlerursache analysieren und (3) korrigieren können (Oser et al., 1999). Bei diesen Schritten können Lehrkräfte unterstützen. Bisherige Studien basierten auf der Annahme, dass elaboriertes Feedback dabei grundlegend lernförderlich sei. Doch finden sich Ansatzpunkte, dass die Auswahl des Feedbacks vor allem vom auftretenden Fehler abhängt und elaboriertes Feedback u.U. somit sogar hinderlich sein kann (z.B. Shute, 2008).

Für die Gestaltung des Feedbacks lassen sich unterschiedliche Empfehlungen identifizieren. Es soll sich an der Ausprägung des Vorwissens des fehlermachenden Schülers orientieren (Narciss, 2006; Shute 2008), die zugrundeliegende Wissensart (Kopp & Mandl, 2014) sowie die Schwierigkeit der Aufgaben, bei deren Bearbeitung der Fehler auftritt (Hattie & Wollenschläger, 2014), berücksichtigen sowie dem (curricularen) Bekanntheitsgrad (Kleppin, 1998) und der Systematik des auftretenden Fehlers (Corder, 1967) Rechnung tragen.

Anhand dieser Gestaltungsempfehlungen betrachten wir in realen Unterrichtssituationen das Feedback in Fehlersituationen und analysieren, ob aus den Fehlern und dem Feedback gelernt wird. Dazu videographierten wir erfahrene Lehrkräfte und testeten das Wissen der SchülerInnen in Rechnungswesen.

Unsere Untersuchung ist im Rechnungswesenunterricht angesiedelt, da dieser zentral für berufliche Bildungsgänge und zudem besonders fehleranfällig ist.

Folgende Fragestellungen sollen untersucht werden:

(1) Welche Fehler treten in welcher Häufigkeit auf?

(2) Welches Feedback geben Lehrpersonen auf Schülerfehler?

(3) Ist der Dreischritt (der zu Lernpotenzial von Fehlern führt) vorhanden?

(4) Lernen SchülerInnen aus ihren Fehlern?

(5) Treten qualitativ gutes Feedback und der Dreischritt gemeinsam im Unterricht auf?

Methode

Die Videoaufnahmen wurden an kaufmännisch-verwaltenden Vollzeitschulen bei fünf Lehrkräften durchgeführt (nur männlich; Alter: M=44.25, SD=11.62, Min=35, Max=60; Lehrerfahrung: M=10.25, SD=7.93, Min=2, Max=20). Insgesamt nahmen 81 SchülerInnen teil (47% weiblich, 53% männlich; Alter: M=17.03, SD=.96, Min=15, Max=20). Unterrichtsthema war jeweils eines der zwei fehleranfälligsten Buchführungsthemen (Türling, 2014). Insgesamt ergaben sich 916 Minuten Videoaufnahmen. Fehlersituationen und Feedbackausprägungen (Feedbackkomplexität, Narciss, 2006) identifizierten wir mittels qualitativer Inhaltsanalyse (Schreier, 2012). Kodiererübereinstimmung ist befriedigend. Das Wissen der SchülerInnen testeten wir mit einem auf Schulbuchaufgaben basierenden, eigenentwickelten Wissenstest (Vor- und Nachtest inklusive fünf Ankeritems; Vortest: fünf Items, α=.733; Lösungsrate: M=.45, Min=.10, Max=.77; Nachtest: 15 Items, α=.731; Lösungsrate M=.34; Min=.00, Max=.81.) im Bereich Buchführung.

Ergebnisse

Insgesamt identifizierten wir 191 Fehler, variierend zwischen den Klassen von 24 bis 60. Alle Fehler basieren auf leichten Aufgaben, die zugrundeliegende Wissensart ist konzeptuell oder prozedural. 112 Fehler werden bei grundlegenden Sachverhalten begangen, 72 sind systematischer Natur. 67 der Fehler werden von SchülerInnen mit niedrigem Vorwissen begangen. In 58 Situationen geben Lehrpersonen einfaches Feedback, ansonsten elaboriertes. Der zum Lernen aus Fehlern notwendige Dreischritt tritt 14 Mal auf. Es bestätigt sich das Ergebnis früherer Studien (z.B. Mindnich et al., 2008): auf 177 Fehler erfolgt keine Analyse der Fehlerursache. Ein Wissenszuwachs findet nicht statt, was vermutlich in erster Linie dem kurzem Beobachtungszeitraum von zwei Doppelstunden geschuldet ist. Der Dreischritt aus Identifikation, Analyse und Korrektur zeigt einen signifikanten Zusammenhang mit Feedback, das an die Aufgabenschwierigkeit angepasst ist (χ2(4)=46.484, p=0.000). Der Zusammenhang sieht allerdings derart aus, dass in allen Dreischritt-Situationen keine optimale Anpassung des Feedbacks an die Aufgabenschwierigkeit stattfindet, was dem Umstand geschuldet sein mag, dass alle behandelten Aufgaben in dieser Schulart auf niedrigen Taxonomiestufen stattfinden. Möglicherweise passen Lehrkräfte ihr Feedback eher an das Vorwissen der SchülerInnen an. Fehler im Plenum begehen aber vor allem SchülerInnen mit höherem Vorwissen. In zukünftigen Forschungsarbeiten sollten Lehrkräfte nach den Gründen für ihr Handeln gefragt werden.



Students’ Critical Online Reasoning and its Influences

Marie-Theres Nagel1, Olga Zlatkin-Troitschanskaia1, Susanne Schmidt1, Jana Jurisch1, Dimitri Molerov2

1Johannes Gutenberg-Universität Mainz, Deutschland; 2Humboldt-Universität Berlin, Deutschland

The Internet and social media are among the most widely used sources of information today, and today’s students are more likely to learn through social media than through traditional sources like print newspapers (Newman et al. 2017; Maurer et al. 2018). Since (mass) media and social media often contain incomplete or untrue information (Ciampaglia 2018, Maurer et al. 2018), students’ skills in judging online information are of central importance. So far, these kinds of skills have typically been assessed using student self-reports (Liu et al. 2014). An alternative approach, presented in this study, is criterion-sampling measurement, where performance assessments are developed using “criterion” tasks drawn from real-world situations across academic domains (Shavelson et al. 2018). With our CORA project, we present such an assessment framework and first results on how students performed in this task, focusing on online reasoning. As a nationwide curricular analysis of 32 German higher education degree programs showed that critical thinking and reasoning skills are considered an objective of teaching and learning outcomes (authors 2018), it could be assumed, that these skills improve during the course of study. Therefore our research question is, how students’ online reasoning skills develop in different semesters and which additional personal factors influence these skills.

Based on the construct of civic online reasoning (COR), CORA assesses university students’ ability to judge online sources and reason from evidence on contentious issues presented on social media and websites (Wineburg & McGrew 2016). In 5 computer-based performance tasks, for which they are given 10 minutes each, students are presented with a context description, a task prompt and a web page to evaluate. They are prompted to perform an open web search, judge online information and write an open-ended response for each task. The particular difficulty lies in making a judgement or an evaluation in a short period of time while recognizing hidden interests and biased information representation. In addition to their response, students’ browser history is recorded during the web search and, following the task, further sociodemographic and media behavior information is requested to obtain additional information about the search and decision-making processes.

The response texts are evaluated by two independent human raters according to a three-step rating scheme ranging from minimum 0 to maximum 2 points, which was developed based on the COR construct and considers students’ reflection as well as avoidance of heuristics that lead to errors in judgment and decision making.

A total of 65 students from a German university participated in this study; the average age was 22.5 years (SD=3.1 years) and they were on average in their second semester (m=2.3, SD=1.93). All students had acquired their higher education entrance qualification in Germany. The average grade of the school leaving qualification was 2.4 (SD=.57). The results of the performance tasks vary across tasks (min. 0.62–max. 1.40), showing a big heterogeneity across tasks and test-takers. In line with the assumptions, students in higher semesters (3 and above) generally perform better than students at the beginning of their studies, except for task 1 where the participants from lower semesters performed better (m=1.0, SD=.78) than more advanced students (m=.91, SD=.71). Additional significant influences on the COR performance were found for the students’ gender (men performing better than women, t(34)=-3.29, p=0.002) and media use behavior (e.g. correlation with use of social media to get informed about study topics: r=.37, p=.027). These and further results regarding students’ online reasoning indicate that the domain-specificity of task requirements and its impact on online reasoning requires further in-depth investigation, also using eye-tracking and coglabs; thus, first small-scale pilot studies were conducted recently.