Évaluation de l’acceptabilité du test de concordance de script : une étude nationale chez les résidents en oto-rhino-laryngologie
Bibliographic record
Abstract
OBJECTIFS. Le test de concordance de script (TCS) est une méthode objective d’évaluation du raisonnement clinique, et plus particulièrement de l’habileté à interpréter l’information médicale dans un contexte d’incertitude. Plusieurs études ont prouvé sa validité pour l’évaluation de l’apprentissage. Par contre, nous en connaissons peu sur l’acceptabilité du TCS par les participants et experts. L’objectif était donc de comparer l’acceptabilité du TCS, lorsque administré à un niveau national, entre des résidents en oto-rhino-laryngologie et chirurgie cervico-faciale (ORL-CCF) et un groupe d’experts dans le domaine. MÉTHODE. En 2013 et 2016, des questions formatives de type TCS ainsi qu’un sondage post-test ont été inclus dans l’examen national in-training (NITE) d’ORL-CCF. Cet examen est administré à tous les résidents en ORL-CCF du Canada à partir de la deuxième année de résidence. Les mêmes questions de type TCS et le sondage post-test ont été envoyés à un groupe d’oto-rhino-laryngologistes travaillant dans quatre universités du Canada. RÉSULTATS. Pour 64% des résidents et médecins en pratique, notre étude était leur première exposition au test de concordance de script. La majorité des résidents a trouvé difficile de s’adapter au TCS. Ils trouvaient que les scénarios cliniques n’étaient pas clairs et ne considéraient pas le TCS comme étant utile pour évaluer le raisonnement clinique. Au contraire, la grande majorité des experts avait l’impression que les cas reflétaient des situations cliniques réalistes et aurait recommandé le TCS comme méthode d’évaluation formative en ORL-CCF. CONCLUSION. Il y a une différence majeure entre l’opinion qu’ont les résidents en ORL-CCF sur l’évaluation du raisonnement clinique par le TCS, en comparaison avec l’opinion des experts. Pour améliorer l’acceptabilité du TCS par les résidents, un effort conscient d’éducation sera nécessaire, ainsi qu’une augmentation de l’exposition au TCS.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.102 | 0.166 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.002 |
| Bibliometrics | 0.002 | 0.002 |
| Science and technology studies | 0.002 | 0.003 |
| Scholarly communication | 0.002 | 0.003 |
| Open science | 0.002 | 0.003 |
| Research integrity | 0.001 | 0.002 |
| Insufficient payload (model declined to judge) | 0.003 | 0.001 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".