Artificial Intelligence and Endoscopist Diagnostic Agreement as a Framework for Colorectal Polyp Optical Diagnosis Implementation
Notice bibliographique
Résumé
Aims Artificial intelligence (AI) has enabled the development of computer-aided diagnosis (CADx) systems which offer real-time endoscopic pathology prediction of colorectal polyps [ 1 ]. However, the clinical benefit of CADx assisted optical diagnosis remains questionable due to limited diagnostic improvement compared to CADx unassisted optical diagnosis [ 2 ]. This study aimed to assess diagnostic performance of a novel CADx implementation framework in which the high/low endoscopist confidence-based approach was replaced by a CADx and endoscopist agreement-based approach. Methods We performed a secondary analysis of a large prospective cohort undergoing optical polyp diagnosis at our center. Polyps measuring≤5mm (diminutive) with available CADx unassisted and CADx assisted optical polyp diagnosis documentation were included in our analysis. For CADx assisted cases, first the CADx diagnostic output was documented, followed by the endoscopist’s final diagnosis after seeing the CADx output. Only cases where endoscopist and CADx agreed on a diagnosis were retained. Primary outcome was sensitivity for adenoma diagnosis of CADx assisted optical diagnosis based on the agreement framework versus CADx unassisted optical diagnosis, using pathology results as a reference standard. Secondary outcomes included accuracy, diagnostic characteristics, and optical diagnosis surveillance interval agreement with pathology-based United States Multi-Society Task Force (USMSTF) guidelines. Results A total of 810 polyps, of which 444 and 366 underwent CADx assisted and CADx unassisted optical diagnosis respectively, were included in our analysis. In CADx assisted cases, endoscopists and CADx agreed in their diagnosis in 72.3% of cases, meaning 321/444 diminutive polyps could undergo optical diagnosis according to an agreement-based approach. Sensitivity for adenoma diagnosis using agreement-based CADx assisted optical diagnosis was 93.4% (95% CI 89.9-96.8) versus 83.8% (95% CI 77.9-89.7) for the 366 polyps undergoing CADx unassisted optical diagnosis (p=0.008). Diagnostic accuracy of agreement-based CADx assisted and CADx unassisted optical diagnosis was 82.2% (95% CI 78.0-86.3) and 74.8% (95% CI 69.5-80.0) respectively (p=0.026). Excluding cases with CADx and endoscopist disagreement from CADx assisted optical diagnosis filtered out cases with low diagnostic accuracy (123 polyps; accuracy 35.0% (95% CI 26.2-43.8)). Conclusions The CADx and endoscopist agreement framework effectively filters out cases with low diagnostic accuracy from undergoing CADx assisted optical diagnosis. Applying this framework allows endoscopists and CADx to work in synergy resulting in diagnostic performance superior to CADx unassisted OD performance. Publication History Article published online: 27 March 2025 © 2025. European Society of Gastrointestinal Endoscopy. All rights reserved. Georg Thieme Verlag KG Oswald-Hesse-Straße 50, 70469 Stuttgart, Germany
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,009 | 0,021 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,001 | 0,001 |
| Études des sciences et des technologies | 0,001 | 0,002 |
| Communication savante | 0,004 | 0,003 |
| Science ouverte | 0,004 | 0,004 |
| Intégrité de la recherche | 0,002 | 0,003 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,006 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».