Toon de sessies

Inleiding

De digitalisering van toetsing heeft het gebruik van multimedia in assessments vereenvoudigd. Dit kan positief zijn, omdat multimedia onder andere kan bijdragen aan een hogere authenticiteit en betere toegankelijkheid (Dirkx et al., 2021). Tegelijkertijd ontbreken duidelijke richtlijnen voor het ontwerp van multimedia-assessment, wat zowel onderzoekers als de professionals uit de praktijk voor uitdagingen stelt (Dirkx et al., 2021; Kirschner et al., 2017). Empirisch onderzoek naar de effecten van multimedia op testprestaties en cognitieve verwerking levert wisselende resultaten op (bijv. Arts et al., 2024; Jarodzka et al., 2015; Lindner, 2022). Dit komt voornamelijk door verschillen in doel, ontwerpeigenschappen en contextuele factoren van multimedia, evenals het gebrek aan overeenstemming over definities en operationalisering (Hu et al., 2021; Lindner, 2022). Hierdoor wordt het generaliseren van onderzoeksresultaten bemoeilijkt, wat de ontwikkeling van richtlijnen voor multimedia-assessment in de weg staat (Dirkx et al., 2021; Imhof et al., 2009; Kirschner et al., 2017).

Onderzoeksvragen

Om deze uitdagingen het hoofd te bieden, hebben wij een gelaagd model voor multimedia-assessment ontwikkeld, gebaseerd op de volgende onderzoeksvragen:

1. Welke aspecten van multimedia-assessment beïnvloeden cognitieve verwerking en probleemoplossing?
2. Hoe kunnen deze aspecten op een gestructureerde manier worden geordend en beschreven, met aandacht voor hun onderlinge samenhang, om de kwaliteit en toepasbaarheid van onderzoek naar en ontwerp van multimedia-assessments te verbeteren?

Methodologie

Het model is ontwikkeld op basis van een uitgebreide literatuurstudie en combineert bevindingen uit onderzoek naar multimedialeren, toetsontwerp, visueel ontwerp en cognitieve psychologie.

Resultaten

Het LAMMP-model identificeert, beschrijft en definieert de aspecten die van invloed zijn op de cognitieve processen die nodig zijn voor het begrijpen en oplossen van assessmentitems. Daarnaast besteedt het aandacht aan de onderlinge samenhang van deze aspecten. Het model verdeelt multimedia-assessment in vier lagen om structuur aan te brengen en samenhang te verduidelijken: de leer- en assessmentcontext (met contextuele factoren zoals de achtergrond van deelnemers en de toetsomgeving), het assessmentitem (waarbij aspecten zoals cognitieve processen en tekstcomplexiteit centraal staan), multimedia (met ontwerpaspecten zoals coherentie en signalisatie), en afbeelding (met ontwerpaspecten zoals dynamiek en realisme). Een onderscheidend kenmerk van LAMMP is de expliciete aandacht voor het doel van multimedia in assessments, een aspect dat vaak over het hoofd gezien wordt in multimedia-assessment onderzoek. Het model onderscheidt vier mogelijke doelen die het ontwerp van multimedia sturen: efficiëntie, effectiviteit, gebruikersbeleving en toegankelijkheid.

Discussie

LAMMP biedt zowel theoretische als praktische bijdragen aan multimedia-assessments. Het model biedt een gestructureerd raamwerk voor het systematisch ontwerpen van multimedia-assessments, met nadruk op de rol van multimedia en de onderlinge samenhang van diverse aspecten. Daarnaast biedt het model helderheid over aspecten die eerder niet of slechts fragmentarisch werden gedefinieerd, zoals de doelen van multimedia in assessments. Het wijst op onderzoekslacunes en ondersteunt de ontwikkeling van evidence-based richtlijnen. Praktisch kan LAMMP ontwerpers ondersteunen bij het ontwikkelen van multimedia-assessmentitems die aansluiten bij specifieke behoeften van deelnemers en bijdragen aan verbeterde toegankelijkheid. LAMMP biedt een eerste theoretisch raamwerk voor multimedia-assessment dat, met inbreng uit het onderzoeksveld, verder kan groeien tot een flexibel en robuust model voor innovatieve toetsing en praktisch toepasbare, theoretisch onderbouwde multimedia-assessments.

Inleiding: Onderzoek toont aan dat representatieve afbeeldingen in toetsitems de prestatie kunnen verhogen en de ervaren moeilijkheid kunnen verlagen zonder dat dit deelnemers extra tijd kost (Lindner, 2020; Lindner et al., 2018; Saß et al., 2012). Tegenover de onderzoeken die positieve effecten laten zien voor deelnemers, zijn er ook onderzoeken waarbij er geen effect is gevonden (Berends & van Lieshout, 2009; Dewolf, et al., 2015), Dit laatste zou veroorzaakt kunnen worden doordat er bij sommige items wel een effect is van het gebruik van afbeeldingen en bij andere items in dezelfde toets niet. Bij een analyse op item-niveau bleken effecten inderdaad uiteenlopend (Arts et al., 2024).

Naast representatieve afbeeldingen worden in toetsen ook vaak afbeeldingen gebruikt die essentiële informatie bevatten. Het gaat daarbij dan om afbeeldingen die iets zichtbaar maken wat niet in de tekst is weergegeven, maar wat wel essentieel is voor het beantwoorden van de toetsitem. Hoe afbeeldingen met deze functionaliteit de prestatie van deelnemers beïnvloeden is nog onbekend.

Onderzoeksvraag: Hoe beïnvloeden afbeeldingen met essentiële informatie de prestatie en het kijkgedrag van deelnemers?

Methode: We voerden een digitale toets uit met 124 deelnemers, waarbij elk toetsitem in twee versies werd getest: alleen-tekst en multimedia. We vergeleken de p-waarde, time-on-task (seconden) en subjectief ervaren moeilijkheid (Paas-schaal, 1992). Daarnaast volgden we het kijkgedrag van 28 deelnemers met eye-tracking (Tobii Pro Fusion).

Resultaten en discussie: Resultaten tonen wisselende effecten van essentiële afbeeldingen op prestatie, time-on-task en ervaren moeilijkheid. Voor enkele, maar lang niet alle items was het effect van de afbeeldingen op de genoemde variabelen significant. Voorlopige analyses van het eye-tracking onderzoek toont aan dat essentiële afbeeldingen het kijkgedrag beïnvloeden, waarbij relatief gezien minder tijd wordt besteed aan de vraagstelling.

Essentiële afbeeldingen hebben voor sommige items een significant effect op prestatie, time-on-task en ervaren moeilijkheid. Eye-tracking biedt gedeeltelijke verklaringen. Het gebruik van LAMMP, zoals gepresenteerd in de eerste bijdrage van dit symposium biedt mogelijkheden om te komen tot duidelijkere verklaringen van de resultaten.

Inleiding

De inzet van games als multimediavorm wordt steeds populairder in de onderwijspraktijk, met name voor het verhogen van de motivatie en de betrokkenheid bij leerlingen. Gezien het feit dat games ook data kunnen verzamelen over het vaardigheidsniveau van studenten kan verzamelen, zijn ze ook een veelbelovende methode voor summatieve toetsing, oftewel game-based assesment. Games weerspiegelen vaak een alternatieve realiteit. Echter is er weinig bekend over de noodzaak van het nabootsen van een realistische context in game-based assessment. Dit onderzoek beoogt hierover duidelijkheid te geven, met name met betrekking tot generieke vaardigheden die in meer contexten kunnen worden getoetst.

Theoretisch kader

De inzet van games bij toetsing zorgt voor een meer plezierige toetsbeleving (Boyle et al., 2012), vrijheid om (praktijk)situaties na te bootsen (Bell et al., 2008; Dörner et al., 2016) en het verzamelen van rijke maar ook gestandaardiseerde data over de vaardigheid van studenten (Schwartz & Arena, 2013; Shaffer & Gee, 2012). Games worden onder andere geassocieerd met het bieden van een alternatieve realiteit (Charsky, 2010). Bij het toetsen van vaardigheden wordt normaliter gestreefd naar een toets die authentiek is op verschillende vlakken, waaronder taak en context (Gulikers et al., 2004). Bij generieke vaardigheden gaat het echter ook om een te volgen proces. In dit onderzoek wordt gekeken naar de noodzaak van een realistische simulatie van taak en context voor een valide meting van informatie-gestuurd probleem oplossen.

Onderzoeksvragen

Voor dit onderzoek zijn drie gameversies ontwikkeld om de vaardigheid informatie-gestuurd probleem oplossen van boa-studenten te meten (Brand-Gruwel et al., 2005; Frerejean et al., 2019). De gameversies variëren in de mate van realistische taak- en contextsimulatie. In Kruispunt plannen studenten surveillanceroute, in Kruistocht plannen studenten een excursie en in Kruisverhoor onderzoeken studenten een moord. Aan de hand van de studentresponses en een vragenlijst, zijn de volgende onderzoeksvragen beantwoord:

1) Wat is de invloed van de authenticiteit van de taak en de context op de meting van de vaardigheid informatie-gestuurd probleem oplossen?

2) Hoe beoordelen de studenten de drie gameversies in termen van bruikbaarheid en gezichtsvaliditeit?

Methode

Ruim 100 boa-studenten speelden Kruispunt en een van de andere gameversies in een gerandomiseerd design. Gezichtsvaliditeit en bruikbaarheid zijn gemeten met een vragenlijst.

Resultaten en discussie

De voorlopige analyses wijzen uit dat de prestaties op Kruispunt geen verband houden met prestaties op de andere game-versies. Dit betekent dat ze niet hetzelfde construct lijken te meten. Studenten waren overwegend positief over de bruikbaarheid van de drie gameversies; Kruisverhoor werd als het meest spelachtig ervaren. Hoe lager de mate van realistische taak- en contextsimulatie, hoe lager de beoordeling op gezichtsvaliditeit. Studenten geloofden minder dat met Kruistocht en Kruisverhoor dezelfde vaardigheid werd gemeten als met Kruispunt. De verwachting is dat een gebrek aan gezichtsvaliditeit ook invloed heeft gehad op de prestatie. Bij het meten van een generieke vaardigheid bij een specifieke doelgroep lijkt een ‘generieke’ game-based assessment niet de juiste weg. Een potentiële onderzoeksrichting voor generieke games is het gebruik ervan bij omscholingen en studiekeuzebegeleiding, waar een dergelijke game duurzaam en breed ingezet kan worden.