Monitoring Competency-Based Medical Education Uptake: Analysis of Entrustable Professional Activity Submission, Expiration, and Assessment Scores
Notice bibliographique
Résumé
ABSTRACT Background Program directors need concrete indicators to monitor uptake of competency-based medical education (CBME). Entrustable professional activity (EPA) observation completion rates offer practical measures of CBME adoption. Objective In this study, we used residents’ EPA observation data in clinical departments, specifically the submission and expiration of EPA observation forms and assessment scores, to explore the uptake of CBME practices across departments. Our research question asked: What are the patterns and contributing factors (department group, resident year, calendar year, program size) associated with EPA observation submission rates, expiration rates, and assessment scores? Methods We conducted exploratory analysis of de-identified EPA observation data (n=233 176) from residents’ electronic portfolios (n=2110) across 45 programs in 12 departments at one Canadian institution from 2018 to 2023. Descriptive statistics summarized submission, expiration, and score distributions. Spearman correlations and logistic regression examined 4 predictors: department group, resident year, calendar year, and program size. Results EPA submission rates (81.0%), expiration rates (7.7%), and assessment O-scores (M=4.4 out of 5) did not differ significantly by training department. Calendar year increased odds of an independent or full score by 26.3% per year (OR, 1.263; 95% CI, 1.259-1.267) while resident year (OR, 0.818; 95% CI, 0.813-0.825) and program size (OR, 0.995; 95% CI, 0.994-0.996) decreased those odds. Conclusions EPA submission, expiration, and scoring patterns are consistent across departments and correlate with implementation year, resident training stage, and program size.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,009 | 0,027 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,001 |
| Bibliométrie | 0,004 | 0,003 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».