Using natural language processing to identify signs and symptoms of dementia and cognitive impairment in primary care electronic medical records (EMR)
Notice bibliographique
Résumé
Abstract Background Free‐text fields in electronic medical records (EMRs) are a rich source of information about persons with dementia. The signs and symptoms of dementia (e.g., responsive behaviours, cognitive impairment) can present to primary care providers many years before a formal diagnosis. We used natural language processing (NLP) to develop a list of features (i.e., dementia‐related key words) and compare classification algorithms to identify persons with dementia based on signs and symptoms documented in primary care EMRs. Method We used a validated algorithm based on administrative data to identify 526 persons with incident dementia (known positives) and 44,148 persons without (known negatives) aged 66+ from a primary care EMR database in Ontario, Canada between April 2010 and March 2018. A list of 900+ features associated with dementia was developed using literature review, clinician input and associated word embeddings. We trained a series of classification algorithms (e.g., gradient boosted models, neural networks, lasso and ridge regression) separately in progress notes and consult notes and compared their performance using nested 10‐fold cross validation. Result Persons with dementia were older (mean:80.3 vs. 74.6 years) and more likely to have 5+ chronic conditions (11.6% vs. 7.8%). Persons with dementia had a median of 30.3 features per progress note (IQR:23.8, 40.4) and 54.7 per consult note (IQR:26.6, 83.8) compared to 27.5 (IQR:21.3, 36.5) and 32.1 (IQR:14.0, 55.6) for persons without dementia. Out of eight thematic groups (cognition, social, health system use, function, medication‐dementia, medication, symptoms, other), persons with dementia showed substantially more features related to cognition, social and medication‐dementia in progress and consult notes compared to persons without dementia. Using progress notes, the classification algorithm involving neural networks showed the best performance (Sensitivity:66.2%, Positive Predictive Value [PPV]:81.3%). Using consult notes, the gradient‐boosted classifier performed best (Sensitivity:45.4%, PPV:66.5%). Conclusion We used NLP to discover informative features and develop classification algorithms to identify persons with dementia using free‐text EMR data. This could be used to improve recognition of early signs and symptoms of dementia by primary care providers to provide patients with appropriate interventions, including assessments, imaging and specialist referrals.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,011 | 0,046 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,001 |
| Bibliométrie | 0,005 | 0,003 |
| Études des sciences et des technologies | 0,000 | 0,001 |
| Communication savante | 0,002 | 0,001 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».