Modélisation, élaboration et évaluation de rapports à visée diagnostique des données du PIRLS 2011
Bibliographic record
Abstract
Cette étude s'inscrit dans l'approche diagnostique cognitive (ADC), dont la finalité est de fournir aux enseignants des rétroactions fines et détaillées sur les forces et les faiblesses cognitives des élèves, à travers des rapports diagnostiques compréhensibles et interprétables. Elle a été menée dans le but de répondre au grand besoin qu'ont les enseignants de recevoir des informations diagnostiques à partir de tests à grande échelle, et de combler le manque de recherches empiriques sur l'élaboration et l'évaluation de rapports diagnostiques. Plus précisément, notre étude vise à : (1) modéliser des données de 4 762 élèves canadiens ayant fait le test PIRLS 2011 et (2) élaborer et évaluer des rapports diagnostiques destinés aux enseignants à partir des résultats des modélisations. Afin de répondre au premier objectif, des habiletés sous-jacentes jugées nécessaires pour répondre aux 35 items du PIRLS 2011 ont été identifiées à partir du cadre de référence pour l'élaboration du PIRLS 2011 et avec un panel de trois experts. Deux matrices, Q1 et Q2, représentant les liens entre les items et ces habiletés, ont ensuite été élaborées. Avec ces deux matrices Q, nous avons modélisé des données à l'aide des modèles DINA et G-DINA, ce qui nous a permis d'évaluer l'ajustement des modèles aux données et d'estimer la qualité diagnostique des items ainsi que les profils de maîtrise des habiletés des élèves. Quant au deuxième objectif de l'étude, un panel de cinq experts a, dans un premier temps, reformulé les descriptions des habiletés identifiées dans un langage accessible aux enseignants en salle de classe. Dans un deuxième temps, nous avons choisi le profil-type le plus représentatif des élèves parmi les profils de maîtrise des habiletés tirés des modélisations. Dans un troisième temps, trois formats de rapports ont été développés à partir de ce profil-type au moyen du protocole de conception de rapports créé grâce à une revue de la littérature. Finalement, l'évaluation des rapports a été effectuée auprès de 98 enseignants au primaire, conseillers pédagogiques et orthopédagogues à l'aide d'un questionnaire portant sur la préférence, l'évaluation de la qualité et la compréhension des rapports. Les résultats obtenus indiquent le format de rapport de préférence des participants, lequel s'explique par la familiarité du type de graphique présenté. Cette préférence est constante, peu importe les informations contextuelles. Les participants évaluent très positivement la qualité des rapports, indépendamment des variables contextuelles. Par contre, il existe une différence significative entre l'évaluation de la qualité des rapports et la préférence des participants. Les participants qui évaluent leur format préféré démontrent des perceptions plus positives. D'autre part, les participants ont une très bonne compréhension des trois formats de rapports. Le groupe ayant le mieux compris les rapports est celui dont l'évaluation de la qualité est la plus positive. Les résultats de l'étude mettent en évidence la possibilité de recevoir, à travers des rapports accessibles, fiables et compréhensibles, des rétroactions plus fines et détaillées sur les forces et les faiblesses des élèves dans des épreuves à grande échelle. Notre étude est la première à appliquer un cadre de référence pour l'élaboration et l'évaluation de rapports selon une approche diagnostique cognitive, et contribue ainsi à favoriser le soutien à l'apprentissage de la lecture au primaire.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.033 | 0.124 |
| Meta-epidemiology (narrow) | 0.002 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.004 |
| Bibliometrics | 0.008 | 0.006 |
| Science and technology studies | 0.002 | 0.003 |
| Scholarly communication | 0.009 | 0.006 |
| Open science | 0.003 | 0.004 |
| Research integrity | 0.002 | 0.003 |
| Insufficient payload (model declined to judge) | 0.005 | 0.002 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".