Measuring Competency of Pharmacy Residents: A Survey of Residency Programs’ Methods for Assessment and Evaluation
Bibliographic record
Abstract
ABSTRACTBackground: The Canadian Pharmacy Residency Board (CPRB) specifies the competencies that pharmacy residents must attain and the need for assessment and evaluation. Methods of assessment and evaluation are left to the discretion of individual programs. There is a scarcity of published literature compiling and comparing the strategies used by Canadian residency programs. Objectives: To determine curricular components used for assessment and evaluation; to describe the tools used by programs; to characterize the scheduling, frequency, and repetition of curricular components; and to determine the individuals or groups involved.Methods: Coordinators of hospital pharmacy residency programs with CPRB accreditation or accreditation pending were surveyed to collect information about the assessment and evaluation of select CPRB standards. Results: From the 37 eligible residency programs, 20 unique responses (54%) were received. All respondents were general practice programs (100%) in predominantly multicentre organizations (70%). Programs were similar in terms of assessment components used, with all respondents citing care plan review, direct observation of patient care, journal clubs, creation of project timelines, and ethics submission. The predominant evaluation components were within-department presentations (100%), written manuscripts (95%), drug information rotations (85%), and longitudinal evaluations (75%). Standardized forms (70%–100%) defined by Bloom’s taxonomy (65%) and the CPRB “levels and ranges” document (60%) were the principle means used. Assessments for patient care and for provision of education were generally carried out immediately (80% and 95%, respectively), whereas project management skills were assessed predominantly at final evaluation (75%). Self-assessment and assessment by pharmacy team members occurred for every competency, whereas patients (0%–10%) and allied health professionals (5%) were less frequently involved. Conclusions: The assessment and evaluation strategies reported by programs were congruent. The results provide a summary of national practices and will allow existing and developing programs to examine their approach to assessment and evaluation for alignment with national standards.RÉSUMÉContexte: Le Conseil canadien de résidence en pharmacie (CCRP) précise les compétences que les résidents en pharmacie doivent acquérir ainsi que le besoin d’observation et d’évaluation. Les méthodes d’observation et d’évaluation sont laissées à la discrétion de chacun des programmes. La littérature publiée qui compile et compare les stratégies utilisées par les programmes en résidence canadiens est rare. Objectifs : Déterminer les composantes des programmes utilisés pour l’observation et l’évaluation des normes; décrire les outils utilisés par ces programmes; établir l’horaire, la fréquence et la répétition des éléments qui constituent ces programmes et déterminer les personnes ou les groupes concernés.Méthodes : Les coordinateurs des programmes de résidence en pharmacie hospitalière ayant un agrément ou dont l’agrément est en cours de procédure ont été interrogés afin qu’ils fournissent des informations concernant l’observation et l’évaluation des normes CCRP sélectionnées. Résultats : Des 37 programmes de résidence admissibles, 20 réponses individuelles (54 %) sont parvenues aux investigateurs. Tous les répondants représentaient des programmes de pratique générale (100 %) dans des organismes majoritairement multicentriques (70 %). Les programmes étaient similaires en termes de points à observer : tous les répondants citaient l’examen des plans de soins, l’observation directe des soins aux patients, les clubs de journaux, la création d’échéanciers pour la réalisation de projets et la proposition de documents sur l’éthique. Les critères d’évaluation prédominants consistaient en des présentations au sein du département (100 %), la rédaction de manuscrits (95 %), des rotations reliées au service d’information pharmacothérapeutique (85 %) et les évaluations longitudinales (75 %). Les formulaires standardisés (70 %–100 %) définis par la taxonomie de Bloom (65 %) et le document Levels and ranges (niveaux de performance des compétences) du CCRP (60 %) étaient les ressources de base utilisées. L’observation des soins aux patients et de la formation avait généralement lieu immédiatement (respectivement 80 % et 95 %,), tandis que les compétences en matière de gestion de projet étaient majoritairement évaluées en dernier (75 %). L’auto-observation et l’observation effectué par des membres de l’équipe de pharmacie portaient sur chaque compétence, tandis que les patients (0 % – 10 %) et les autres professionnels de la santé (5 %) participaient plus rarement à cette observation.Conclusions : Les stratégies d’observation et d’évaluation rapportées par les programmes concordaient. Les résultats fournissent un résumé des pratiques nationales et permettront aux responsables des programmes existants et en cours d’élaboration d’étudier l’approche de l’observation et de l’évaluation pour l’aligner sur les normes nationales.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.031 | 0.056 |
| Meta-epidemiology (narrow) | 0.000 | 0.000 |
| Meta-epidemiology (broad) | 0.000 | 0.001 |
| Bibliometrics | 0.003 | 0.003 |
| Science and technology studies | 0.001 | 0.001 |
| Scholarly communication | 0.001 | 0.001 |
| Open science | 0.001 | 0.002 |
| Research integrity | 0.001 | 0.001 |
| Insufficient payload (model declined to judge) | 0.001 | 0.000 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".