11 Visual quality control of assessment of AI-assisted high-volume CMR segmentation in the UK Biobank
Notice bibliographique
Résumé
Background Automated algorithms are being used regularly to analyse cardiac magnetic resonance (CMR) images. Validating data output reliability from these methods is necessary to enable widespread adoption. We outline a visual quality control (QC) process for image analysis performed using automated batch processing methods. We aim to report the performance of automated methods and the reliability of replacing visual checks with a statistical outlier removal approach in UK Biobank CMR scans. Methods CMR scans included (n=1987) were from the UK Biobank COVID imaging study. Automated batch processing software developed by Circle Cardiovascular Imaging Inc (CVI 42) was used to extract chamber volumetric data, strain, native T1 and aortic flow data. The video outputs of the automated image analysis (~ 62,000 videos and 2000 images) were visually reviewed and rated by six experienced clinicians using a custom-built R Shiny app. The standardised approach (consisting of grading 1,2,3 for good, satisfactory or poor quality respectively) was agreed during two rounds of scoring followed by open discussion. Interobserver variability was assessed using Gwet’s second order agreement co-efficient (AC2) analysis. The data output from scans passing visual QC was compared with data from a statistical outlier removal QC method, using t-test analysis, in a subset of healthy individuals from baseline imaging (n = 1069). Results The quality of the automated image analysis was very high with >95% of scans passing the visual QC (scored 1 or 2) for all modalities of image analysis. There was good inter-observer agreement with overall AC2 of 0.91(± 0.14, 95% confidence interval (0.84,0.94)). There was no difference in the overall distribution of data and derived average values from visual QC process or statistical outlier removal in a subset of healthy individuals from this study. Conclusion The quality of automated image analysis is very high using the prototypes developed by CVI42 for the UK Biobank imaging study CMR scans. Therefore, larger UK Biobank datasets analysed using these automated algorithms do not need in-depth visual QC. Statistical outlier removal is a sufficient QC measure, with operator discretion for visual checks based on their respective population or research aim.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,023 | 0,064 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,002 | 0,002 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,002 | 0,001 |
| Science ouverte | 0,002 | 0,001 |
| Intégrité de la recherche | 0,001 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,004 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».