Rate of Agreement for Manual and Automated Techniques for Determination of New T2 Lesions in Children with Multiple Sclerosis and Acute Demyelination (P2.242)
Notice bibliographique
Résumé
OBJECTIVE: To evaluate inter-rater variability in new T2 lesion determination based on a manual lesion identification method and an automated probabilistic segmentation technique. BACKGROUND: Determination of new lesions on serial magnetic resonance imaging (MRI) is important in multiple sclerosis (MS) diagnosis, monitoring and clinical trials. METHODS: Scans were acquired according to a standard protocol at incident demyelinating attack, 3, 6, and 12 months and annually under a national prospective study. New T2 lesions were manually identified independently by 3 experts (2 pediatric neuroradiologists, 1 imaging scientist) using a standard scoring tool. PDw, T2w, and FLAIR sequences were used. Readers were blinded to clinical information. Automated new T2 lesion segmentation was performed on the same cohort using an optimized, computer-assisted method in which a voxelwise Bayesian and lesion-level random forest classification is performed on reference, follow-up and difference images. Active scans were defined as having 蠅1 new T2 lesion. New T2 lesion counts were categorized into 0, 1, 2 and 蠅3 lesions. Rate of agreement was assessed for scan activity and new T2 lesion count. RESULTS: From 19 children included (10 MS, 9 monophasic ADS), 130 scans were analyzed; 12 scans not meeting quality specifications were excluded. A mean of 101 new lesions were identified on all scans (expert readers: R1=87, R2=90, R3=106; automated method: A1=122). Mean rate of agreement on scan activity between the automated method and expert readers was 87% (R1-A1=91%, R2-A1=83%, R3-A1=88%), compared to 91% between readers. Mean agreement on lesion count of the automated method with expert readers was 82% (R1-A1=85%, R2-A1=77%, R3-A1=84%) compared to 85% between readers; when zero counts were removed, the mean was was 53% (R1-A1=61%, R2-A1=39%, R3-A1=59%), compared to 61% between readers. CONCLUSIONS: Agreement is high between manual and automated methods for new T2 lesion determination. Overall, the automated method is more sensitive than the manual readers and identifies a higher number of lesions. Study Supported by: Canadian Multiple Sclerosis Scientific Research Foundation
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,049 | 0,093 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,002 | 0,001 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,001 | 0,002 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».