Feasibility of a Hospital Peer Review Continuous Quality Improvement Program for Pharmacists’ Documentation: A Mixed-Methods Study
Bibliographic record
Abstract
Background: Peer review to assess the quality of documentation is essential, as it provides a framework for constructive feedback, using evaluators with similar qualifications to increase acceptability. Objective: To determine the feasibility of implementing a peer review continuous quality improvement program for pharmacists’ documentation at the Montreal Children’s Hospital. Methods: A prospective, single-centre mixed-methods feasibility study was conducted (from January to June 2021) to evaluate the practicality and acceptability of a peer review program (PRP) for assessing the quality of pharmacists’ documentation. A peer review committee of 5 pharmacists evaluated their peers’ clinical notes using a standardized assessment tool. Practicality was determined through the time required for administrative and evaluative tasks and the resources needed for each evaluation cycle. Acceptability was determined through pooled quantitative data related to pharmacists’ perceived relevance of the PRP, confidence in their peers, and satisfaction with the evaluation process. Qualitative data collected through surveys, a focus group, and semistructured individual interviews helped to further explain the results. Results: A total of 37.4 hours was required to complete both administrative and evaluative tasks in one peer review cycle, which respected the budgeted cut-off for practicality. Acceptability was also achieved, given that more than 80% of survey respondents found the PRP relevant to their practice, were confident in their peers, and were satisfied with the PRP. Qualitative results showed that participants found the PRP to be instructive and that qualitative feedback was preferred over a grade issued as a percentage. Conclusion: This study showed that it is feasible to implement a PRP to assess the quality of pharmacists’ documentation. To ensure success, it is key that documentation objectives and department resources be predefined. RÉSUMÉ Contexte : L’évaluation par les pairs afin d’évaluer la qualité de la documentation est essentielle, car elle fournit un cadre pour une rétroaction constructive émise par des évaluateurs ayant des qualifications similaires afin d’augmenter l’acceptabilité. Objectif : Déterminer la faisabilité d’implanter un programme d’évaluation par les pairs en continu de la qualité de la documentation des pharmaciens à l’Hôpital de Montréal pour Enfants. Méthodes : Une étude de faisabilité prospective, monocentrique et de méthodes mixtes a été menée (de janvier à juin 2021) pour évaluer la praticité et l’acceptabilité d’un programme d’évaluation par les pairs (PEP) ayant pour but d’évaluer la qualité de la documentation des pharmaciens. Un comité d’évaluation par les pairs composé de 5 pharmaciens a évalué les notes cliniques de leurs pairs à l’aide d’un outil d’évaluation standardisé. La praticité a été déterminée par le temps requis pour les tâches administratives et d’évaluation et les ressources nécessaires pour chaque cycle d’évaluation. L’acceptabilité a été déterminée grâce à des données quantitatives regroupées liées à la pertinence perçue du PEP par les pharmaciens, à la confiance envers leurs pairs et à la satisfaction à l’égard du processus d’évaluation. Les données qualitatives recueillies par le biais de sondages, d’un groupe de discussion et d’entretiens individuels semi-structurés ont permis d’expliquer davantage les résultats. Résultats : Un total de 37,4 heures a été nécessaire pour accomplir les tâches administratives et d’évaluation dans un cycle d’évaluation par les pairs, ce qui respectait le seuil budgété pour des raisons pratiques. L’acceptabilité a également été atteinte puisque plus de 80 % des répondants au sondage trouvaient le PEP pertinent pour leur pratique, avaient confiance en leurs pairs et étaient satisfaits du programme. Les résultats qualitatifs ont montré que les participants trouvaient le PEP instructif et que la rétroaction sous forme de commentaires état préférée à une note émise en pourcentage. Conclusion : Cette étude a démontré qu’il est possible de mettre en place un PEP pour évaluer la qualité de la documentation des pharmaciens. Pour garantir sa réussite, il est essentiel de prédéfinir les objectifs de documentation et les ressources départementales à disposition.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.120 | 0.110 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.002 | 0.002 |
| Bibliometrics | 0.002 | 0.001 |
| Science and technology studies | 0.003 | 0.001 |
| Scholarly communication | 0.003 | 0.003 |
| Open science | 0.002 | 0.002 |
| Research integrity | 0.002 | 0.001 |
| Insufficient payload (model declined to judge) | 0.002 | 0.000 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".