Discrepancies Between Preceptor and Resident Performance Assessment: Using an Electronic Formative Assessment Tool to Improve Residents’ Self-Assessment Skills
Notice bibliographique
Résumé
PROBLEM: Accurate self-assessment is a critical skill for residents to develop to become safe, adaptive clinicians upon graduation. Physicians need to be able to identify and fill in knowledge and skill gaps to deal with the rapid expansion of medical knowledge and unpredicted novel emerging medical issues. Residency training to date has not consistently focused on building these overarching skills, nor have the burgeoning assessment data that competency-based medical education (CBME) affords been used beyond their initial intent to inform summative assessment decisions. Both are important missed opportunities. APPROACH: The Queen's University Family Medicine Program adopted CBME in 2010. In 2011, it added the capacity for residents to electronically self-assess their daily performance, with preceptors reviewing and modifying as needed before submitting. In 2018, it designed software to report discordance between residents' self-assessment and preceptors' assessment of performance. OUTCOMES: From 2011-2019, 56,585 field notes were submitted, 11,429 by residents, with 28% of those (3,200/11,429) showing discordance between residents' and preceptors' performance assessments. When discordant, residents assessed their performance as less competent (undercalled) than their preceptor did 73% of the time (2,336/3,200 field notes). For the 864 field notes (27% of 3,200 discordant notes) where residents rated their performance higher than their preceptor did (overcalled, for 162/1,120 [14%] residents), 6 residents overcalled performance to a dangerous extent (2 or 3 levels of supervision higher than what their supervisors assessed them at) and 26 repeatedly (greater than 5 times) overcalled their level of performance by 1 supervisory level. NEXT STEPS: Inaccurate self-assessment (both overcalling and undercalling performance) has negative consequences. Awareness is a first step in addressing this. Discrepancy reports will be used during regular academic reviews with residents to discuss the nature, degree, and frequency of discrepancies, with the intent of fostering improved self-assessment of performance.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,038 | 0,135 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,002 | 0,001 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,002 | 0,002 |
| Science ouverte | 0,001 | 0,002 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».