A pilot study of a multi-source feedback process for hospital/healthcare- system pharmacists in Saskatchewan
Notice bibliographique
Résumé
Multisource feedback (MSF) is a promising tool for assessing healthcare professionals’ competencies, including pharmacists. Despite its potential, gaps remain in understanding pharmacists’ readiness for and the validity and reliability of the MSF process. This study investigated MSF’s application among hospital/healthcare-system pharmacists, evaluating its validity, reliability, feasibility, and acceptability. Participants (ratees) were hospital/healthcare-system pharmacists in Saskatchewan, Canada. They completed a self-assessment and recruited eight peer and eight non-peer raters (raters) to complete an assessment of them utilizing an online questionnaire. Ratees were provided with an anonymized collated report of their ratings and then participated in a facilitated discussion to review the report. Ratees and raters completed a survey to assess perceptions of the process’s validity, reliability, acceptability, and feasibility. Validity was assessed through multiple sources: content validity was supported by a focus group and literature review; construct validity was examined by comparing mean rating scores from ratees, peers, and non-peers with previous MSF studies; and response process validity was evaluated by analyzing the frequency of "unable to assess" responses. Reliability was assessed using Cronbach's alpha for peer and non-peer ratings, and free-text responses in the survey underwent structured tabular thematic analysis. Nine ratees completed the MSF process (response rate 2.5%). Recruiting the desired number of raters was a challenge; one out of nine participants recruited 16 raters. Despite these challenges, the MSF process demonstrated acceptable content, construct, and response process validity. Only one out of 18 questions had an "unable to assess" response rate greater than 20%, indicating strong response process validity. Internal validity was supported by Cronbach's alpha of 0.87 for non-peer and 0.89 for peer rating items. Ratees generally viewed the feedback as constructive, particularly regarding communication, collaboration, and professionalism competencies. The MSF process took a mean of 22 minutes for ratee self-assessment, 14.5 minutes for peer raters, and 10.3 minutes for non-peers; ratees and peers found the time burdensome, while non-peers did not. This study highlights the potential of MSF to enhance pharmacist competencies while identifying challenges prior to wider implementation Further research is recommended to strengthen MSF's impact on pharmacy practice and patient care.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,034 | 0,051 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,001 | 0,001 |
| Études des sciences et des technologies | 0,007 | 0,002 |
| Communication savante | 0,003 | 0,002 |
| Science ouverte | 0,002 | 0,003 |
| Intégrité de la recherche | 0,001 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,002 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».