Developpement d'une strategie de testing informatisee et interactive, centree sur le diagnostic pedagogique dans le contexte de la classe
Notice bibliographique
Résumé
Ce mémoire présente le développement d'une stratégie de testing informatisée et interactive, centrée sur le diagnostic pédagogique dans le contexte de la classe. La nouvelle stratégie d'administration d'un test a été intégrée à un système de tests adaptatifs existant, conçu pour répondre à un besoin d'outils pour revaluation formative qui respectent les contraintes organisationnelles du milieu scolaire québécois. Le système développé a pour but de renseigner rapidement renseignant et l'élève de l'état des apprentissages de celui-ci sans délai, afin que renseignant puisse entreprendre des interventions correctives efficaces auprès des élèves. Le système de tests réalisé administre un test en deux phases. La première phase fournit un diagnostic structurel ainsi qu'une hypothèse du diagnostic causal reflétant les apprentissages d'un élève. La seconde phase du test permet d'établir un niveau de cohérence d'un élève présentant une difficulté cognitive préalablement identifiée dans la première phase et de communiquer ce diagnostic causal sous la forme d'un message qualitatif pour renseignant. Pour répondre aux objectifs de la première phase du test, nous avons modifié la programmation de la stratégie "stradaptative" existante pour la rendre plus flexible et indépendante des banques d'items. Nous avons procédé à la verification de l'algorithme de sélection des items "stradaptatif" par une étude de vérification simulant différents profils d'élèves. Pour répondre aux objectifs de la seconde phase, nous avons convenu d'utiliser la catégorie de leurres la plus fréquemment choisie par l'élève lors de la première phase du test comme élément d'information pour la seconde phase. Nous avons ajouté au système de tests diagnostiques existant, une stratégie de selection adaptative des items selon un modèle Rasch nécessaire pour estimer le niveau de difficulté cognitive de l'élève face à une catégorie de leurres donnée. n IV Nous avons établi, à partir des résultats des études de simulations, des intervalles de confiance pour les thêta moyens estimés correspondant à des niveaux de difficulté cognitive et des profils d'élèves différents. A partir de ces intervalles, nous avons défini trois niveaux de messages diagnostiques exprimant le niveau de cohérence de l'élève à choisir une catégorie de leurres donnée : la difficulté n'est pas cohérente, la difficulté présente un certain degré de cohérence, la difficulté est cohérente. Le diagnostic structurel et le diagnostic causal sont accessibles immédiatement après la passation du test par l'entremise de la fiche diagnostique individuelle de l'élève. Cette recherche a permis d'intégrer dans un même système de tests, la stratégie "stradaptative" dont la programmation a été rendue indépendante du contenu des banques et une stratégie complémentaire de sélection des items utilisant le modèle de Rasch qui permet de déterminer un niveau de cohérence de l'élève à choisir une certaine catégorie de leurres.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,019 | 0,046 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,002 |
| Bibliométrie | 0,003 | 0,002 |
| Études des sciences et des technologies | 0,002 | 0,003 |
| Communication savante | 0,008 | 0,006 |
| Science ouverte | 0,003 | 0,004 |
| Intégrité de la recherche | 0,003 | 0,003 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,015 | 0,004 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».