Using Machine Learning to Measure Specialist Wait Times from Family Physicians’ Electronic Medical Records Linked to Ontario Health Administrative Data
Notice bibliographique
Résumé
IntroductionReliable information about the time spent waiting for health care services is a critical metric for measuring health system performance. Wait times are a useful measure of access to various health care sectors. Alongside the increased adoption of electronic medical records (EMR) by Canadian family physicians (FP), is the secondary use of FP EMR data for research. However, using FP EMR data can be challenging in its unstructured, free-text format. Objectives and ApproachOur objective was to identify the target specialist physician type from the EMR FP referral note and then calculate wait times from a FP referral to a specialist physician visit. We used FP EMR data and linked to Ontario, Canada health administrative data (called EMRPC). EMRPC collects the entire clinical record from patients including the content of FP referral notes. We used machine learning (ML) methods to identify the type of specialist physician in which the referral was intended. Labels to test the ML methods were created from physicians’ claims data. Wait times were calculated from the FP EMR referral note date to the specialist physician claim date in administrative data. ResultsOur ML models’ ability to classify 2016 FP EMR referral notes to selected medical and surgical specialists achieved sensitivity and positive predictive values ranging from the high 70s to low 80s.Compared to earlier analyses from 2008, we observed a similar relative ordering to see specific specialist physicians. Overall, the median wait times have increased by 14 days on average, with a maximum increase of 28 days to see a gastroenterologist. Conclusion / ImplicationsThe accuracy of ML on unstructured FP EMR data is high, thereby providing a mechanism to “codifying” information in a timely manner. This information can help inform decision makers and providers about which patients or FP practices are experiencing long wait times in seeing specialist physicians.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,003 | 0,022 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,001 |
| Bibliométrie | 0,003 | 0,004 |
| Études des sciences et des technologies | 0,001 | 0,000 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,002 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».