MétaCan
Menu
Retour à la cohorte
Enregistrement W4385071491 · doi:10.2196/47718

Developing an Audit and Feedback Dashboard for Family Physicians: User-Centered Design Process

2023· article· en· W4385071491 sur OpenAlexaffvenue
Jennifer Shuldiner, Tara Kiran, Payal Agarwal, Maryam Daneshvarfard, Kirsten Eldridge, Susie Kim, Michelle Greiver, Iffat Jokhio, Noah Ivers

Notice bibliographique

RevueJMIR Human Factors · 2023
Typearticle
Langueen
DomaineComputer Science
ThématiquePersona Design and Applications
Établissements canadiensNorth York General HospitalSt. Michael's HospitalUniversity of TorontoWomen's College Hospital
Organismes subventionnairesnon disponible
Mots-clésPersonaDashboardContext (archaeology)AuditQuality (philosophy)Computer scienceQuality managementProcess managementBest practiceKnowledge managementMedicineHuman–computer interactionService (business)EngineeringData scienceBusinessMarketingManagement

Résumé

récupéré en direct d'OpenAlex

BACKGROUND: Audit and feedback (A&F), the summary and provision of clinical performance data, is a common quality improvement strategy. Successful design and implementation of A&F-or any quality improvement strategy-should incorporate evidence-informed best practices as well as context-specific end user input. OBJECTIVE: We used A&F theory and user-centered design to inform the development of a web-based primary care A&F dashboard. We describe the design process and how it influenced the design of the dashboard. METHODS: Our design process included 3 phases: prototype development based on A&F theory and input from clinical improvement leaders; workshop with family physician quality improvement leaders to develop personas (ie, fictional users that represent an archetype character representative of our key users) and application of those personas to design decisions; and user-centered interviews with family physicians to learn about the physician's reactions to the revised dashboard. RESULTS: The team applied A&F best practices to the dashboard prototype. Personas were used to identify target groups with challenges and behaviors as a tool for informed design decision-making. Our workshop produced 3 user personas, Dr Skeptic, Frazzled Physician, and Eager Implementer, representing common users based on the team's experience of A&F. Interviews were conducted to further validate findings from the persona workshop and found that (1) physicians were interested in how they compare with peers; however, if performance was above average, they were not motivated to improve even if gaps compared to other standards in their care remained; (2) burnout levels were high as physicians are trying to catch up on missed care during the pandemic and are therefore less motivated to act on the data; and (3) additional desired features included integration within the electronic medical record, and more up-to-date and accurate data. CONCLUSIONS: We found that carefully incorporating data from user interviews helped operationalize generic best practices for A&F to achieve an acceptable dashboard that could meet the needs and goals of physicians. We demonstrate such a design process in this paper. A&F dashboards should address physicians' data skepticism, present data in a way that spurs action, and support physicians to have the time and capacity to engage in quality improvement work; the steps we followed may help those responsible for quality improvement strategy implementation achieve these aims.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction machine sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.

score de la tête « metaresearch » (Codex)0,159
score de la tête « metaresearch » (Gemma)0,152
Version: metacan-v3-hybrid-931329e0061cStatut de validation: machine_predicted_unvalidated
Catégories candidatesaucune
Catégories consensuellesaucune
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Qualitatif · Signal consensuel: aucune
GenreSignal candidat: Empirique · Signal consensuel: aucune
Score de désaccord entre enseignants0,159
Score d'incertitude au seuil0,838

Scores du classifieur distillé par catégorie (deux têtes)

CatégorieCodexGemma
Métarecherche0,1590,152
Méta-épidémiologie (sens strict)0,0020,002
Méta-épidémiologie (sens large)0,0010,002
Bibliométrie0,0040,002
Études des sciences et des technologies0,0040,004
Communication savante0,0070,006
Science ouverte0,0040,006
Intégrité de la recherche0,0020,003
Charge utile insuffisante (le modèle a refusé de juger)0,0040,001

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,134
Tête enseignante GPT0,355
Écart entre enseignants0,221 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.

Les modèles n’ont appliqué aucune catégorie : rien dans la taxonomie ne correspondait à ce travail.
Devis d'étudeQualitatif
Domainenon disponible
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations5
Publié2023
Routes d'admission2
Résumé présentoui

Explorer davantage

Même revueJMIR Human FactorsMême sujetPersona Design and ApplicationsTravaux en français237 207