The curriculum for general education (ABU) in Swiss vocational education and training (VET) places an emphasis on practice-oriented teaching, with content organized around topics that reflect the personal, professional, and social realities of learners. This approach is designed to foster responsibility and skill acquisition (BBT, 2006). Technological advancements, particularly those pertaining to immersive technologies such as Virtual Reality (VR), have introduced innovative educational tools that enhance engagement, motivation, creativity, and practical knowledge application. Additionally, these tools offer opportunities for simulating real-life scenarios, which can improve learning outcomes (Hwang et al., 2022; Makransky, 2022). Nevertheless, the design of digital assessments, particularly those that employ VR, necessitate further empirical investigation, given the inherent discrepancies between learning and testing environments and the associated challenges in evaluating problem-solving and decision-making processes (Joosten-ten Brinke et al., 2007; Lindner, 2022).

The think-aloud methodology, a form of verbal reporting, offers a promising method for assessing cognitive processes in real time, particularly within VR environments. This method allows for the capture of the sequence and content of thoughts with minimal disruption, thereby making it particularly effective for the analysis of cognitive processes (Ericsson, 2018; Ericsson & Simon, 1993). The think-aloud protocol, methodologically developed by Ericsson and Simon (1993) , requires participants to articulate their thoughts during task performance, thereby providing valuable insights into working memory and cognitive processing when paired with well-designed instructions (Van Gog et al., 2005). This approach has been demonstrated to be effective in contexts such as multimedia learning, offering a more profound comprehension of learners' interactions with digital environments (Jarodzka, 2022; Park et al., 2020). Alternative techniques, such as self-explanations, have demonstrated benefits, particularly for less-skilled learners. However, the act of simultaneous verbalization has been observed to occasionally impede task performance (Chi et al., 1994; Renkl & Atkinson, 2002). Nevertheless, research on the utilization of verbal reports for assessment in virtual reality remains limited. The objective of this study is to ascertain the extent to which verbal reports can be utilized as an effective assessment tool and to identify any discrepancies when VR is employed with head-mounted displays (HMDs) as opposed to a desktop computer.

This paper presents the findings of a mixed-methods quasi-experimental study conducted with 81 apprentices in the field of vocational education and training. The study was conducted as part of the general education program (ABU) and its objective was to provide valuable insights into the utilization of verbal reports in VR assessments. In a three-stage didactic scenario, participants acquired essential knowledge about the apartment takeover process. Subsequently, the participants employed the knowledge in an assessment, which was completed either in a VR environment or on a conventional computer interface.

The results of previous analyses of variance demonstrate that participants in the assessment with VR exhibited significantly enhanced performance compared to the control group, who completed the same assessment on a computer and were therefore not immersed in a virtual environment. In this context, no evidence was found to suggest that subject-specific knowledge previously acquired had any impact on a participant's performance. Nevertheless, a notable impact of the perceived sense of presence and the motivation of the participants on their performance could be identified (Keller et al., 2024). In the context of the present study, the speaking time and response quality of the examinees have yet to be analyzed. Moreover, the impact of examiner prompts on examinee performance remains unclear. These prompts were provided during the assessment with the intention of focusing examinees' attention on the task at hand. The assessment of these factors is ongoing, and the final results will be presented at the conference in July 2025.

La recherche collaborative émerge comme une approche pertinente pour répondre aux défis contemporains en matière de production des savoirs. Les travaux de recherche en équipe, souvent plus cités que les travaux individuels (Wuchty et al., 2007), valorisent les efforts interdisciplinaires. Dans la recherche sur les technologies éducatives, l’adoption d’une approche collaborative présente plusieurs avantages. La diversité des perspectives permet de réduire la complexité des situations étudiées, en permettant une analyse plus riche. Ceci favorise donc l’innovation pédagogique (Sanchez et Monod-Ansaldi, 2015).

Les jeux éducatifs se situent à l'intersection de la pédagogie et des éléments techniques (e.g. mécaniques ludiques, éléments graphiques, traces numériques d'interaction). Leur conception exige un alignement entre les modèles pédagogiques et les outils de développement et de collecte des données (Mor et al., 2015). Dans ce cadre, la co-spécification des traces, qui consiste à définir collaborativement le format des traces numériques produites dans le jeu, est étroitement liée à la co-conception. Cette articulation s’appuie sur des bases théoriques solides, permettant d'interpréter les données collectées pour répondre à des questions de recherche tout en éclairant la conception des jeux grâce aux résultats obtenus.

Cependant, la mise en œuvre de ces deux étapes repose sur des acteurs aux expertises variées (e.g. chercheurs, enseignants, game designers, analystes de données), souvent porteurs de visions et contraintes différentes (Klerks et al., 2012). Cette diversité complexifie la collaboration entre ces acteurs en particulier dans le contexte des jeux éducatifs où il est nécessaire d’aligner les objectifs pédagogiques, les éléments ludiques et les traces numériques d’interaction. Cela fait de l’articulation entre co-conception et la co-spécification un défi. Ces étapes interdépendantes soulèvent des tensions entre exigences académiques, attentes des praticiens et contraintes du jeu éducatif. Comment harmoniser ces perspectives tout en garantissant une démarche scientifique collaborative ? Et en quoi des processus et outils spécifiques peuvent-ils soutenir cette articulation ?

Cette étude s’appuie sur deux terrains empiriques. Le premier, un projet de recherche collaborative de conception de jeu dédié à l’apprentissage de la programmation. Ce projet a mobilisé une équipe pluridisciplinaire (N=12 acteurs) à travers 54 réunions, documentées, enregistrées et soumises à une analyse thématique (Paillé et Mucchielli, 2016). Un deuxième, atelier scientifique, organisé lors d’une conférence (N=21 participants). Cet atelier a permis aux participants de discuter les défis de la co-conception de jeu et co-spécification des traces collectées dans le jeu. Il a également permis aux participants de formuler des préconisations concrètes pour lever ces défis. Les échanges ont été transcrits et soumis à une analyse thématique.

Les résultats révèlent plusieurs pistes pour résoudre les défis de cette articulation entre co-conception et co-spécification, comme l'importance d’outils partagés pour garantir une compréhension mutuelle entre les acteurs. Par exemple, partir d’un cadre théorique clair dès les premières étapes, facilite à la fois la conception pédagogique et l’élaboration des méthodes d’analyse des traces. Cependant, les analyses des deux terrains, ont relevé des manques et ont souligné que cette articulation ne se fait pas sans difficulté. En effet, celle-ci doit être davantage approfondie, pour soutenir les acteurs dans sa mise en œuvre. Par exemple, nous avons identifié une absence d’outils pour soutenir ces acteurs dans la co-problématisation de la question de recherche. Ces aspects rarement abordés dans la littérature, sont pourtant essentiels pour ancrer la conception des jeux éducatifs dans une démarche de recherche interdisciplinaire.