Toon de sessies

This study explores the reading strategy use of low- and high-achieving upper primary school readers (N = 24) through the analysis of think-aloud protocols. One specific reading context was explored, namely a task-oriented reading context involving text-related questions. By employing direct observations of young readers, this study eliminates the limitations associated with self-reports. Overall, a limited use of cognitive and metacognitive reading strategies was observed. Furthermore, small disparities in cognitive reading strategy use between low- and high-achieving readers were observed, while large differences emerged in the use of metacognitive reading strategies and task-related activities. High-achieving readers generally demonstrated more metacognition, reread the text more frequently for relevant information, and located this information more efficiently than low-achieving readers. Finally, self-assessment was rarely observed and was only conducted by high achievers in the context of evaluating answers to text-related questions.

Introduction

Proficient reading comprehension is vital for academic success, yet many students struggle (Mullis et al., 2023). Reading comprehension involves complex processes, in which strategies are crucial (Zhang et al., 2018). How young readers of varying proficiency use these strategies remains unclear, partly due to varying reading contexts as these may influence strategy use (Kraal et al., 2017). Reading strategies in task-oriented contexts, common in primary schools, require further study. This study examines strategy use during task-oriented reading using Think-Aloud Protocols (TAPs).

Research Questions

1) What strategies do students use during an expository reading task?

2) What differences exist between low- and high-achieving readers in:
a. Strategy types and quantity?
b. Strategy patterns?

Method

Participants

24 grade 4 and 5 students (13 girls, 11 boys; M_age = 10.09 years) from 10 schools in Flanders, Belgium, were purposively sampled. Based on task outcomes, students were classified as low-achieving (N = 13; test score ≤ 8; M_low = 5.00; SD_low = 2.00), or high-achieving readers (N = 11; test score > 8; M_high = 11.20, SD_high = 2.20).

Instruments and procedures

TAPs involved verbalizing thoughts during an adapted PIRLS 2016 reading task. Sessions were video-recorded, transcribed, and segmented into meaning units. A coding instrument identified five main reading activities (RA1-5): (1) comprehending the text or question, (2) search decisions, (3) text search processes, (4) task-sequence, and (5) evaluating strategies. Two researchers achieved high interrater reliability (Krippendorff's α = .96) by double-coding 34% of the units.

Results and Discussion

RQ1:

Limited use of cognitive and metacognitive strategies was observed for text and question comprehension (RA1), including mostly rereading (due to decoding errors), rereading questions, and monitoring comprehension. Regarding search decisions (RA2), most students relied on memory, with mixed success, and over half occasionally guessed answers. Most readers at least once reread the text to locate relevant information (RA3). Two patterns of text search emerged, based on the localization of relevant information (focused vs. unfocused rereading) and the manner of gathering information (scanning vs. close reading). Reading the text entirely before answering questions in sequence was the most common observed task-sequence (RA4). Evaluative strategies (RA5) primarily involved verifying answers by rereading text segments and ensuring all questions were answered.

RQ2a:

Key differences between low- and high-achievers appeared in task-related strategies (RA2-4). Regarding RA2, low-achievers revisited the text less frequently (Nlow = 8 vs. Nhigh = 11), guessed more often (Nlow = 11 vs. Nhigh = 2), and skipped questions more frequently (Nlow = 6 vs. Nhigh = 3). For RA3, high-achievers located information more effectively (focused rereading: Nlow = 6 vs. Nhigh = 11) and combined scanning with close reading, while low-achievers relied on one method and often browsed pages aimlessly. For task sequences (RA4), no notable differences emerged between groups. Evaluations (RA5) were only observed in high-achievers.

RQ2b:
Distinct patterns emerged during question interaction in RA2 and RA3, leading to correct, incorrect, or no answers. High-achievers predominantly followed correct-answer patterns, typically involving focused rereading followed by a combination of scanning and close reading.

De opkomst van generatieve AI, zoals ChatGPT, stelt onderwijsinstellingen voor nieuwe uitdagingen bij toetsing, omdat studenten hiermee teksten kunnen genereren en als eigen werk inleveren. Deze studie onderzoekt de theoretische en praktische mogelijkheden van linguïstische analyse om dergelijk gebruik te detecteren. In een experiment schreven eerstejaars studenten hbo-ict 65 teksten, waarbij de helft ChatGPT gebruikte. De teksten werden geanalyseerd op leesbaarheid, perplexiteit en sentiment. Zelfgeschreven teksten scoorden significant hoger op leesbaarheid en perplexiteit, en lager op sentiment. Hiermee kon in 92% van de gevallen correct worden vastgesteld of bij een tekst ChatGPT was gebruikt. Daarnaast werd aan 21 docenten gevraagd om 15 willekeurige teksten te classificeren. Zij classificeerden 76% correct, maar 19% onterecht als gegenereerd door ChatGPT. De resultaten suggereren dat docenten voorzichtig moeten zijn met vertrouwen op zowel analysesoftware als hun eigen oordeel. Linguïstische analyse kan echter een waardevol hulpmiddel zijn bij het identificeren van door AI gegenereerde teksten.

Eind 2022 zorgde de komst van ChatGPT voor onrust in de media, het onderwijs en de Tweede Kamer: mogelijk zou dit de validiteit van toetsing aantasten (Tang et al., 2023)

Het onderscheid tussen zelfgeschreven en gegenereerde teksten is moeilijk te maken en mensen overschatten zichzelf op dit gebied (Jakesch et al., 2023). Ook zijn instrumenten voor detectie niet erg betrouwbaar (cf. Chaka, 2023), en vaak niet transparant genoeg voor opsporen van fraude (Weber-Wulff et al., 2023). Voor Nederlandstalige teksten is over de betrouwbaarheid van deze instrumenten nog helemaal geen onderzoek.

Er zijn linguïstische verschillen tussen zelfgeschreven en ChatGPT teksten. In de theorie worden als belangrijke kandidaten voor detectie de kenmerken perplexiteit (onvoorspelbaarheid), leesbaarheid (hoe eenvoudig te begrijpen) en sentiment genoemd (Giorgi et al., 2023; Markowitz et al., 2023; Tang et al., 2024). Het in kaart brengen van deze verschillen voor Nederlandstalige teksten kan mogelijk een basis vormen voor herkenning van de herkomst ervan.

Onderzoeksvragen

Hoe verschillen scores op perplexiteit, leesbaarheid en sentiment in Nederlandstalige teksten van studenten hbo-ict die met behulp van ChatGPT zijn gegenereerd in vergelijking tot teksten die zelf geschreven zijn? De verwachting was dat al deze maten hoger zouden scoren in zelfgeschreven teksten.

Methodologie

In een kwantitatief experiment, schreven 65 studenten hbo-ict in twee groepen Nederlandstalige teksten; 33 schreven zelf, 32 gebruikten ChatGPT. Het instrument T-Scan werd gebruikt om linguïstische kenmerken in de tekst te analyseren (Pander Maat et al., 2014). Daarnaast werd 21 docenten gevraagd om een set van 15 willekeurige teksten te classificeren.

Resultaten

De groep (zelfschrijvers of ChatGPT) heeft een significant, maar klein effect op de linguïstische eigenschappen: p̂*(180.81) = 2.3, p = .021, p̂″ = 0.403. Discriminante analyse liet zien dat dat groep met een betrouwbaarheid van 0.92 BI [0.62, 1.00], p = .003, κ = .83, voorspeld kon worden uit de linguïstische maten, met leesbaarheid als sterkste voorspeller. Univariate analyse liet zien dat het verband bij sentiment andersom was dan verwacht, dus dat de ChatGPT teksten meer sentiment lieten zien.

Docenten classificeerden 76% van de teksten correct, waarbij 70% correct als ChatGPT werd herkend en 81% correct als zelfgeschreven.

Discussie

De onderzochte linguïstische maten verschillen inderdaad significant, en kunnen, ondanks de onverwachte richting bij sentiment, gebruikt worden om het gebruik van ChatGPT met 92% zekerheid vast te stellen. Docenten classificeerden 19% van de zelfgeschreven teksten onterecht als ChatGPT. Voor het vaststellen van de herkomst van een tekst past het onderwijs dus terughoudendheid bij het vertrouwen op de intuïtie van docenten, maar ook bij het gebruik van statistische analyse, omdat ook daar geen volledige zekerheid wordt geboden.

De resultaten zijn waarschijnlijk specifiek voor deze doelgroep en teksten: het taalgebruik in teksten is sterk afhankelijk van het type deelnemers en het type opdracht (Herbold et al., 2023). Er zou dus ook naar andere soorten studenten en teksten gekeken moeten worden.

Overig

Bij de presentatie neem ik de tool mee waarmee deelnemers hun eigen inzicht op het gebied van generatieve AI in studentteksten in praktijk kunnen testen.

Deze studie onderzocht de impact van uitgewerkte voorbeelden en retrieval practice op het onthouden en correct toepassen van procedurele kennis in het basisonderwijs. In totaal kregen 105 leerlingen uit groep 6 de Nederlandse werkwoordspellingregels aangeleerd tijdens drie leersessies. In de ene groep werd daarbij enkel gebruik gemaakt van uitgewerkte voorbeelden, terwijl in de andere groep een combinatie van uitgewerkte voorbeelden en retrieval practice werd gebruikt. Een week later werd de mate van het onthouden en correct kunnen toepassen van de werkwoordspellingregels beoordeeld middels een toets. De leerlingen die de regels hadden aangeleerd middels de gecombineerde aanpak, wisten de regels na een week significant beter op te halen dan de leerlingen die enkel de uitgewerkte voorbeelden hadden gebruikt. Echter, dit resulteerde er niet in dat deze groep de regels ook beter wist toe te passen. Op het gebied van het juist kunnen toepassen van de regels was er geen significant verschil.

Deze bevindingen suggereren dat retrieval practice het geheugen voor de werkwoordspellingregels versterkt, maar niet noodzakelijk de toepassing ervan verbetert. Mogelijke verklaringen voor deze discrepantie worden besproken, evenals aanbevelingen voor verder onderzoek naar hoe verschillende leerstrategieën geïntegreerd kunnen worden om de verwerving van procedurele kennis te optimaliseren.

Mastering procedural rules like verb spelling requires both retention and accurate application, particularly in delayed contexts (Koedinger et al., 2012; Renkl, 2014). Instructional modeling, a common teaching approach, supports rule application effectively, especially for older pupils (Harris et al., 2017). However, research highlights limitations in fostering long-term retention and consistent application. For instance, Dutch 7th graders correctly spelled only 48% of verbs in one study, underscoring persistent gaps (Chamalaun et al., 2021). Adults also frequently make verb spelling errors, indicating the need for better strategies (Chamalaun et al., 2021).

Example-based learning, where teachers model rules, emphasizes application but often neglects retention. This study proposes enhancing this method with retrieval practice, a technique that strengthens long-term memory by actively recalling learned material.

The research explores two questions: (1) Does integrating retrieval practice with example-based learning improve verb rule retention and application? (2) Do pupils who retain rules better also apply them more effectively? With these questions, we aim to identify strategies for improving procedural rule learning in educational contexts.

Methodology

A mixed-subjects experiment involved 105 fourth-grade pupils. Participants were assigned to an example-based learning condition or a combined condition (example-based learning with retrieval practice). Pretests assessed prior retention and application of verb spelling rules and general language proficiency, ensuring comparability between groups.

All pupils received instruction on Dutch verb spelling rules. Over one week, they participated in three practice sessions specific to their condition. The example-based group studied worked examples detailing the rules, problem-solving steps, and solutions. Each example was studied for four minutes, with four unique examples provided across sessions.

In the combined condition, pupils first completed retrieval practice by filling in a blank verb scheme, followed by teacher feedback. They then studied a worked example, mirroring the example-based condition. This process repeated in each session. Retention and application tests, identical to pretests, were administered one week after the final practice session.

Results and Discussion

Combining retrieval practice with example-based learning significantly improved long-term retention of verb spelling rules compared to example-based learning alone, t = 10.73, p < .001, Cohen’s d = 2.1. However, there was no significant difference in the correct application of the rules between groups, F (1,103) = .39, p = .54, η²_p = .004. A small positive correlation emerged between retention and application, indicating that knowledge of procedural rules relates to correct application of these rules, but does not automatically guarantee the accurate use.

These findings highlight the benefits of retrieval practice for retention but question its efficacy in improving application in real life settings. Potential limitations of this approach, including the role of procedural understanding, are discussed.

References

Chamalaun, R. J., Bosman, A. M., & Ernestus, M. T. (2021). The role of grammar in spelling

homophonous regular verbs. Written Language & Literacy, 24(1), 38-80.

Koedinger, K. R., Corbett, A. T., & Perfetti, C. (2012). The Knowledge-Learning-Instruction framework: Bridging the science-practice chasm to enhance robust student learning. Cognitive Science, 36(5).

Renkl, A. (2014). Toward an instructionally oriented theory of example-based learning.

Cognitive Science, 38(1), 1–37.

Het ‘Programme for the International Assessment of Adult Competencies’ (PIAAC) onderzoekt sleutelvaardigheden van volwassenen (16-65 jaar) wereldwijd. In dit onderzoek ligt de focus op geletterdheid, gedefinieerd als het vermogen om geschreven teksten te begrijpen, te evalueren en te gebruiken voor persoonlijke en maatschappelijke participatie. Vlaanderen nam deel aan PIAAC in 2012 en 2023. Dit onderzoek vergelijkt de prestaties van Vlaamse volwassenen in geletterdheid met andere landen en analyseert trends over een periode van tien jaar. De resultaten tonen aan dat Vlaanderen in 2023 tot de internationale subtop behoort, met stabiele scores ten opzichte van 2012. Tegelijkertijd is de kloof tussen kort- en langgeschoolden significant toegenomen door een daling in de scores van kortgeschoolden. Deze bevindingen benadrukken de noodzaak van gerichte beleidsmaatregelen om ongelijkheden te verkleinen. Daarnaast worden de uitdagingen van grootschalige assessments besproken, zoals beperkte flexibiliteit en de dynamische aard van geletterdheidsvaardigheden in een veranderende samenleving.

Inleiding

PIAAC

Het ‘Programme for the International Assessment of Adult Competencies’ (PIAAC) is een internationaal onderzoek van de OESO dat elke tien jaar wordt uitgevoerd. Vlaanderen nam deel in 2012 en 2023. Het richt zich op geletterdheid, gecijferdheid en adaptief probleemoplossen bij volwassenen tussen 16 en 65 jaar, essentiële vaardigheden voor deelname aan de samenleving. Daarnaast verzamelt PIAAC socio-demografische gegevens, zoals opleidingsniveau.

Geletterdheid

Dit onderzoeksvoorstel richt zich specifiek op geletterdheid, gedefinieerd door het PIAAC assessment framework als: “het vermogen om toegang te krijgen tot, te begrijpen, te evalueren en te reflecteren op geschreven teksten met het oog op het bereiken van doelen, het ontwikkelen van kennis en potentieel, en deelname aan de samenleving” (OECD, 2021; PIAAC Literacy Expert Group, 2009).

Onderzoeksvragen

OV1. Hoe presteren Vlaamse volwassenen, in vergelijking met andere landen, op het gebied van geletterdheid? Hoe is deze vaardigheid geëvolueerd tussen 2012 en 2023?

OV2. Is er een verschil in geletterdheid tussen kort- en langgeschoolden, en hoe heeft deze kloof zich ontwikkeld in de afgelopen tien jaar?

Methodologie

Aan PIAAC namen 3.909 Vlaamse volwassenen deel. Het onderzoek bestond uit een achtergrondvragenlijst (socio-demografische gegevens) en een cognitieve test. Deze test, uitgevoerd op een tablet met een adaptief design, meet geletterdheid op een schaal van 0-500 punten.

Resultaten

OV1

In 2023 behoort Vlaanderen internationaal tot de subtop op het gebied van geletterdheid, met een positie tussen de zesde en achtste plaats. De gemiddelde geletterdheidsprestatie van de Vlaamse bevolking bleef stabiel tussen 2012 en 2023. Van de 27 landen die aan beide edities deelnamen, lieten twee landen (Finland en Denemarken) een significante verbetering zien, terwijl elf landen achteruitgingen. De overige veertien landen, waaronder Vlaanderen, kenden geen significante veranderingen.

OV2

De kloof tussen kort- en langgeschoolden in Vlaanderen is sinds 2012 significant groter geworden. Kortgeschoolden lieten een duidelijke daling in hun geletterdheidsscores zien, terwijl de scores van midden- en langgeschoolden stabiel bleven.

Discussie

De resultaten van PIAAC benadrukken enkele belangrijke uitdagingen bij het uitvoeren van grootschalige assessments zoals deze. Een eerste uitdaging is de beperkte flexibiliteit in de opzet van het assessment framework. Dit framework wordt internationaal vastgelegd om vergelijkingen tussen landen mogelijk te maken, maar laat weinig ruimte voor onderzoekers om in te spelen op regionale of actuele contexten.

Een tweede uitdaging betreft de tijdsgevoeligheid van de vaardigheden die worden gemeten. PIAAC is ontworpen om trends in sleutelvaardigheden te analyseren over een periode van meerdere jaren, maar vaardigheden zoals geletterdheid zijn niet statisch. Ze evolueren onder invloed van technologische en maatschappelijke veranderingen, zoals de opkomst van digitale media en veranderende leesgewoonten.

Ondanks deze beperkingen biedt PIAAC waardevolle inzichten in de evolutie van geletterdheid en andere sleutelvaardigheden. De resultaten onderstrepen de noodzaak om beleidsmaatregelen te blijven ontwikkelen die gericht zijn op het verkleinen van ongelijkheden, zoals de groeiende kloof tussen kort- en langgeschoolden. Daarnaast is er een blijvende behoefte aan innovatieve benaderingen om assessments te verfijnen, zodat ze beter kunnen inspelen op de veranderende realiteit van vaardigheden in een moderne samenleving.

Naar aanleiding van de dalende leesresultaten (PIRLS 2021, PISA 2022) voelen vele scholen de nood om hun leesonderwijs te versterken, maar hoe moet dat dan? Om aan die vraag tegemoet te komen, werd een leesscan ontwikkeld. De leesscan is een digitale tool met een vijftigtal stellingen waarmee scholen kunnen reflecteren over sterktes en uitdagingen van hun leesonderwijs.

We beschrijven de totstandkoming, resultaten en ervaringen met de leesscan. Op basis van factoranalyses werden de items van de leesscan samengebracht onder vijf pijlers die elkaar beïnvloeden: leesbeleid, leesomgeving, leesdidactiek, leesbevordering en leesmonitoring. Uit de resultaten blijkt dat scholen zichzelf het laagst inschatten voor leesbeleid en leesbevordering. Naast een kwantitatieve data-analyse werden kwalitatieve gegevens verzameld via diepte-interviews. Hieruit blijkt dat de leesscan zorgt voor urgentiebesef en scholen aanzet tot beleidsmatig nadenken. Het belang van een systeemperspectief op (lees)onderwijs vanuit een onderbouwd theoretisch kader wordt hierbij bevestigd.

Inleiding en theoretisch kader

Er is reden tot ongerustheid over lezen in Vlaanderen. (Inter)nationale onderzoeksresultaten wijzen op een dalende leesvaardigheid én leesmotivatie van leerlingen in alle onderwijsniveaus (PIRLS 2021, PISA 2022, Peilingsonderzoek, 2019). Lezen is noodzakelijk om te functioneren op school én in de maatschappij. Om die reden is het essentieel om in te zetten op krachtig leesonderwijs. Toch is de vertaalslag van theorie naar praktijk niet evident (Fox & Alexander, 2009; Onderwijsinspectie, 2019).

Een middel om het leesonderwijs te optimaliseren is om te investeren in een duurzaam leesbeleid en doelgerichte acties te bepalen (Kyriakides et al., 2015; Vanbuel & Van den Branden, 2021; Van Elsen et al., 2023). Op basis van literatuuronderzoek ontwikkelden we een conceptueel kader voor leesbeleid als motor voor leesomgeving (Neuman, Koh & Dwyer, 2008; Stack, Moorefield-Lang & Barksdale, 2015) leesbevorderende didactiek (Behrmann & Souvignier, 2015) en leesmonitoring (Reuzel & Cooter, 2019).

Om scholen te ondersteunen bij een leesbeleid werd een leesscan ontwikkeld (www.leesscan.be): een reflectie-instrument om de beginsituatie in kaart te brengen.

In deze presentatie staan volgende onderzoeksvragen centraal:

• Hoe percipiëren Vlaamse scholen hun eigen leesonderwijs?
• Wat zijn ervaringen van Vlaamse scholen met de leesscan en welke uitdagingen ervaren ze bij de implementatie van een leesbeleid?

Methode en resultaten

De leesscans van 55 Vlaamse secundaire scholen en 149 Vlaamse basisscholen werden geanalyseerd. Een factoranalyse bracht de items samen onder vijf factoren.Confirmatorische factoranalyses toonden een acceptabele fit van de data voor de 5-factorstructuur (CFI =.84, RMSEA = .06, SRMR = .07). Scholen schatten zichzelf het laagst in voor leesbeleid en leesbevordering. Voor leesmonitoring, leesdidactiek en leesomgeving schatten scholen zich hoger in, maar ook daar liggen groeikansen.

De kwantitatieve analyse werd aangevuld met diepte-interviews bij tien basisscholen. De scholen ervaren de leesscan als bevestigend én confronterend, wat het urgentiebesef verhoogt. Bovendien leidt de leesscan tot inhoudelijke overleg en reikt de tool kapstokken aan om een het leesbeleid onderbouwd te implementeren. Hierbij rapporteren scholen de nood aan tijd, ondersteuning en middelen om het leesbeleid duurzaam te verankeren.

In de diepte-interviews werd ook gepeild naar sterktes en uitdagingen die scholen ervaren bij de implementatie van een leesbeleid. Scholen geven aan dat ze bewuster nadenken over leesdidactiek en investeren in leesomgeving en leestijd. Ze beschrijven zichzelf als lerende organisaties met een breed netwerk.

Toch zijn er duidelijke uitdagingen wat betreft de didactische leraarcompetenties bij het ondersteunen en monitoren van begrijpend lezen, begrijpend luisteren, leesmotivatie en leesgedrag. Leesmonitoring focust vooralsnog vooral op technisch lezen. Daarnaast zoeken scholen hoe ze ouder- en leerlingparticipatie kunnen verhogen. Tot slot worden ook algemene uitdagingen aangegeven, zoals leerlingenkenmerken (SES), lerarentekort, werkdruk en financiële belemmeringen.

Discussie

Dat er ruimte is voor groei wat betreft verschillende pijlers, is een pleidooi om schoolteams blijvend te professionaliseren. Het implementeren van een leesbeleid en het belang van een systeemperspectief op leesonderwijs wordt door schoolteams als belangrijk, maar uitdagend ervaren. Scholen delen de overtuiging dat het hele team impact heeft op de leesontwikkeling van de leerlingen (Donohoo, 2018), maar vragen ondersteuning om tot duurzame verandering te komen (Sleegers et al., 2014).