Évaluation de l’acceptabilité du test de concordance de script : une étude nationale chez les résidents en oto-rhino-laryngologie
Notice bibliographique
Résumé
OBJECTIFS. Le test de concordance de script (TCS) est une méthode objective d’évaluation du raisonnement clinique, et plus particulièrement de l’habileté à interpréter l’information médicale dans un contexte d’incertitude. Plusieurs études ont prouvé sa validité pour l’évaluation de l’apprentissage. Par contre, nous en connaissons peu sur l’acceptabilité du TCS par les participants et experts. L’objectif était donc de comparer l’acceptabilité du TCS, lorsque administré à un niveau national, entre des résidents en oto-rhino-laryngologie et chirurgie cervico-faciale (ORL-CCF) et un groupe d’experts dans le domaine. MÉTHODE. En 2013 et 2016, des questions formatives de type TCS ainsi qu’un sondage post-test ont été inclus dans l’examen national in-training (NITE) d’ORL-CCF. Cet examen est administré à tous les résidents en ORL-CCF du Canada à partir de la deuxième année de résidence. Les mêmes questions de type TCS et le sondage post-test ont été envoyés à un groupe d’oto-rhino-laryngologistes travaillant dans quatre universités du Canada. RÉSULTATS. Pour 64% des résidents et médecins en pratique, notre étude était leur première exposition au test de concordance de script. La majorité des résidents a trouvé difficile de s’adapter au TCS. Ils trouvaient que les scénarios cliniques n’étaient pas clairs et ne considéraient pas le TCS comme étant utile pour évaluer le raisonnement clinique. Au contraire, la grande majorité des experts avait l’impression que les cas reflétaient des situations cliniques réalistes et aurait recommandé le TCS comme méthode d’évaluation formative en ORL-CCF. CONCLUSION. Il y a une différence majeure entre l’opinion qu’ont les résidents en ORL-CCF sur l’évaluation du raisonnement clinique par le TCS, en comparaison avec l’opinion des experts. Pour améliorer l’acceptabilité du TCS par les résidents, un effort conscient d’éducation sera nécessaire, ainsi qu’une augmentation de l’exposition au TCS.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,102 | 0,166 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,002 |
| Bibliométrie | 0,002 | 0,002 |
| Études des sciences et des technologies | 0,002 | 0,003 |
| Communication savante | 0,002 | 0,003 |
| Science ouverte | 0,002 | 0,003 |
| Intégrité de la recherche | 0,001 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».