Diagnostic performance and agreement of auditors for evaluation of computer-aided optical polyp diagnosis: Prospective study
Notice bibliographique
Résumé
Background and study aims: Guidelines recommend independent auditing of diagnostic performance for clinical implementation of computer-aided optical polyp diagnosis (CADx). This study evaluated diagnostic performance and interobserver agreement of auditors and offered guidance on conducting CADx audits. Methods: Images and videos of all ≤ 5-mm polyps from a large, prospective study with systematic activation of CADx were audited by three expert endoscopists. Experts performed independent, blinded diagnostic review including documentation of confidence level. The primary outcome was sensitivity of audit by three experts for high-confidence adenomas compared with pathology. Secondary outcomes included number of reviewers for optimal CADx auditing and interobserver agreement. Results: Four hundred eighty-seven diminutive polyps were audited (510 patients). Sensitivity was 99.4% (95% confidence interval [CI] 96.0-100) using three experts (Strategy A); 88.7% (95% CI 84.1-92.1) using two experts and one referee (Strategy B); 99% (95% CI 96-99.8), 98.8% (95% CI 95.4-99.8), and 99.4% (95% CI 96.3-100) using two-expert combinations (Strategy C); and 98.2% (95% CI 95.1-99.4), 97.3% (95% CI 94.0-98.9), and 88.9% (95% CI 83.6-92.7) for each expert individually (Strategy D). Among 266 pathology-based adenomas, Strategy A evaluated 160 polyps versus 196, 172, and 170 in Strategy C; and 220, 223, and 207 in Strategy D. Strategy B evaluated all 266 adenomas. Overall interobserver agreement was moderate (kappa 0.52), but very high for high-confidence adenomas (kappa 0.89). Conclusions: Expert audit for evaluating CADx resulted in high sensitivity and interobserver agreement for high-confidence adenomas. Audit by two experts, with a third expert for arbitration, permitted audit of all polyps and effective assessment of CADx within clinical studies.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,060 | 0,150 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,003 | 0,002 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,002 | 0,002 |
| Science ouverte | 0,001 | 0,002 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».