TD‐P‐003: Using the Digital Clock Drawing Test and Machine Learning to Improve Accuracy of Cognitive Screening
Notice bibliographique
Résumé
The Clock Drawing Test is a rapid and inexpensive screening tool, but its evaluative value is limited by imprecise measurements and low inter-rater reliability. The Digital Clock Drawing Test (dCDT) uses novel software to analyze data from a digitizing ballpoint pen that reports its position with spatial and temporal precision; our software produces precise innovative measurements of both the drawing process and final product. We use machine learning (ML) techniques to select variables and construct prediction models that optimize detection and classification, and show that ML methods improve diagnostic accuracy compared to existing CDT scoring systems. We applied our novel dCDT software to categorize every pen stroke from 3994 neurologically impaired and cognitively healthy (CH) subjects, computing approximately 1000 novel variables on that data. Using ML techniques (e.g., regularized logistic regression) we created models that best classify subjects into four categories: memory impaired, vascular related disorders, Parkinson’s disease, CH. We embodied in code eight manual scoring systems (MSS), then adjusted their parameters to optimize their performance. We measured our ML model performances using 5-fold cross-validation, reporting AUCs averaged over the 5 folds and compared predictive performance to the MSS optimized versions. Classifiers produced by ML methods significantly outperformed MSS: ML methods had an AUC performance ranging from 0.87 to 0.92 (depending on the algorithm and condition being classified), while corresponding AUCs for MSS ranged from 0.63 to 0.74. The MSS AUC ranges were higher than what those manual scoring systems would produce in practice, as optimization ensured their best performance and embodying them in code eliminated all inter-rater reliability error. ML methods combined with precise spatial and temporal analysis of drawing behavior enables the creation of new ways to detect and classify cognitive functions with far greater accuracy, enabling improved diagnostic capabilities with little to no manual effort. Applying ML to theoretical models improves predictive value by using features not typically considered under existing frameworks. Combining new technology and advanced analytics with theoretical neurosciences enables new opportunities for early diagnosis and treatment.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,004 | 0,017 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,002 | 0,001 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».