Modélisation, élaboration et évaluation de rapports à visée diagnostique des données du PIRLS 2011
Notice bibliographique
Résumé
Cette étude s'inscrit dans l'approche diagnostique cognitive (ADC), dont la finalité est de fournir aux enseignants des rétroactions fines et détaillées sur les forces et les faiblesses cognitives des élèves, à travers des rapports diagnostiques compréhensibles et interprétables. Elle a été menée dans le but de répondre au grand besoin qu'ont les enseignants de recevoir des informations diagnostiques à partir de tests à grande échelle, et de combler le manque de recherches empiriques sur l'élaboration et l'évaluation de rapports diagnostiques. Plus précisément, notre étude vise à : (1) modéliser des données de 4 762 élèves canadiens ayant fait le test PIRLS 2011 et (2) élaborer et évaluer des rapports diagnostiques destinés aux enseignants à partir des résultats des modélisations. Afin de répondre au premier objectif, des habiletés sous-jacentes jugées nécessaires pour répondre aux 35 items du PIRLS 2011 ont été identifiées à partir du cadre de référence pour l'élaboration du PIRLS 2011 et avec un panel de trois experts. Deux matrices, Q1 et Q2, représentant les liens entre les items et ces habiletés, ont ensuite été élaborées. Avec ces deux matrices Q, nous avons modélisé des données à l'aide des modèles DINA et G-DINA, ce qui nous a permis d'évaluer l'ajustement des modèles aux données et d'estimer la qualité diagnostique des items ainsi que les profils de maîtrise des habiletés des élèves. Quant au deuxième objectif de l'étude, un panel de cinq experts a, dans un premier temps, reformulé les descriptions des habiletés identifiées dans un langage accessible aux enseignants en salle de classe. Dans un deuxième temps, nous avons choisi le profil-type le plus représentatif des élèves parmi les profils de maîtrise des habiletés tirés des modélisations. Dans un troisième temps, trois formats de rapports ont été développés à partir de ce profil-type au moyen du protocole de conception de rapports créé grâce à une revue de la littérature. Finalement, l'évaluation des rapports a été effectuée auprès de 98 enseignants au primaire, conseillers pédagogiques et orthopédagogues à l'aide d'un questionnaire portant sur la préférence, l'évaluation de la qualité et la compréhension des rapports. Les résultats obtenus indiquent le format de rapport de préférence des participants, lequel s'explique par la familiarité du type de graphique présenté. Cette préférence est constante, peu importe les informations contextuelles. Les participants évaluent très positivement la qualité des rapports, indépendamment des variables contextuelles. Par contre, il existe une différence significative entre l'évaluation de la qualité des rapports et la préférence des participants. Les participants qui évaluent leur format préféré démontrent des perceptions plus positives. D'autre part, les participants ont une très bonne compréhension des trois formats de rapports. Le groupe ayant le mieux compris les rapports est celui dont l'évaluation de la qualité est la plus positive. Les résultats de l'étude mettent en évidence la possibilité de recevoir, à travers des rapports accessibles, fiables et compréhensibles, des rétroactions plus fines et détaillées sur les forces et les faiblesses des élèves dans des épreuves à grande échelle. Notre étude est la première à appliquer un cadre de référence pour l'élaboration et l'évaluation de rapports selon une approche diagnostique cognitive, et contribue ainsi à favoriser le soutien à l'apprentissage de la lecture au primaire.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,002 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,007 | 0,001 |
| Communication savante | 0,000 | 0,001 |
| Science ouverte | 0,001 | 0,000 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,002 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; les deux têtes enseignantes s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».