Étude de l'impact d'un outil de calibration des évaluations des étudiants dans l'enseignement de l'endodontie au premier cycle
Bibliographic record
Abstract
Introduction : Les cliniciens de la faculté de médecine dentaire de l'Université Laval utilisent une grille d'évaluation détaillée pour la notation des traitements endodontiques effectués par les étudiants. Malgré cela, une fluctuation des notes entre les examinateurs a pu être observée. Objectif : Créer un outil de calibration informatisé pour les évaluations cliniques et pré-cliniques en endodontie et vérifier l'efficacité de cet outil. Méthode : La première étape du projet consistait à la création de l'outil de calibration sur plateforme web. La deuxième étape fut l'étude de l'efficacité de cet outil. Seize participants ont effectué à la suite un test pré-calibration (test = attribuer une note à 5 traitements endodontiques fictifs), le processus de calibration, un test post-calibration immédiat et un test post-calibration deux mois plus tard. Les accords inter-évaluateurs avant et après la calibration ont été évalués grâce au coefficient intra-classe (ICC). La différence entre la note gold standard et la note du participant a été évaluée avant et après la calibration grâce à une ANOVA à mesures répétées. Résultats : Les ICC tout groupe confondu ont montré le passage d'une concordance inter-juge faible (ICC = 0,390) en pré-calibration à une concordance modérée en post-calibration (ICC post-calibration immédiat = 0,625; ICC post-calibration 2 mois = 0,533). L'ANOVA sur modèle de la différence absolue a montré une différence statistiquement significative entre les moyennes ajustées du test pré-calibration (X̅pré = 0,6445 ± 0,0726, p < 0,05) et le test post-calibration immédiat (X̅post-1 = 0,4908 ± 0,0726, p < 0,05). Aucune différence statistiquement significative n'a été trouvée entre les moyennes ajustées des tests pré-calibration et post-calibration à 2 mois (X̅post-2 = 0,4908 ± 0,0726) (p > 0.05). Conclusion : Cette étude a démontré que l'outil de calibration permet une amélioration de la concordance des notes entre les évaluateurs immédiatement après son application mais cette concordance ne s'est pas maintenue dans le temps.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.045 | 0.143 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.002 | 0.001 |
| Science and technology studies | 0.001 | 0.001 |
| Scholarly communication | 0.003 | 0.002 |
| Open science | 0.002 | 0.003 |
| Research integrity | 0.001 | 0.001 |
| Insufficient payload (model declined to judge) | 0.006 | 0.001 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".