A Rule‐Based Framework to Identify Severity of Dementia from Unstructured Electronic Health Record Data
Notice bibliographique
Résumé
Abstract Background The severity of Alzheimer’s disease and related dementias (ADRD) is mostly documented in unstructured textual data in electronic health records (EHR). This information is important for clinical decision‐making yet is often “hidden” in free text fields and then not as readily available as information in the structured fields for clinicians to act upon. This study assessed the feasibility and potential bias in using keywords and rules‐based matching for obtaining information about severity of ADRD from EHR. Method We used EHR data from a large academic healthcare system that included patients with a primary discharge diagnosis of ADRD based on ICD‐9/10 codes between 2014 and 2020. The severity of ADRD was determined using clinicians’ notes based on (1) scores from the Mini Mental State Examination and Montreal Cognitive Assessment, and (2) explicit terms for ADRD severity (e.g., “mild dementia”, “advanced AD”). A list of common ADRD symptoms, cognitive test names and diagnosis stage terms was compiled and iteratively refined based on prior literature and clinical expertise. We used the list together with rule‐based pattern matching to identify the context in which the word/phrase was mentioned. The algorithm was developed in python 3.8 using spaCy and pandas library. We assessed the prevalence of the documented ADRD severity and used logistic regression to examine whether the severity varies by patient characteristics. Result A total of 9,115 patients with over 65k providers’ notes were evaluated. Overall, 16.85% (N = 1,536) of patients were documented with mild ADRD, 17.95% (N = 1,636) were documented with moderate or severe ADRD, and 65.20% (N = 5,942) did not have any documentation of the severity of their ADRD. Compared with patients with mild ADRD, those documented with more advanced ADRD were older, more likely to be female, black, and receive their diagnoses in a primary care or in‐hospital setting. Relative to patients with undocumented ADRD severity, those documented with ADRD severity had a similar distribution regarding sex, race, and rural/urban living environment. Conclusion This study demonstrated the value of unstructured EHR data and the feasibility of using pattern matching algorithm in identifying severity of ADRD. Still, differences in the documentation may introduce bias in the algorithm.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,015 | 0,059 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,002 | 0,003 |
| Bibliométrie | 0,011 | 0,005 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,005 | 0,003 |
| Science ouverte | 0,004 | 0,003 |
| Intégrité de la recherche | 0,002 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,002 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».