A115 THE PERFORMANCE OF NATURAL LANGUAGE PROCESSING IN INTERPRETING COLONOSCOPY REPORTS: A SYSTEMATIC REVIEW AND META-ANALYSIS
Notice bibliographique
Résumé
Abstract Background Screening colonoscopy is integral in the effort to identify and remove potentially cancerous lesions. Important quality indicators include the adenoma detection rate and more recently, the sessile/serrated adenoma detection rate. Natural language processing (NLP) is a computer-based linguistic technique that leverages artificial intelligence to abstract meaningful information from text. This tool carries the potential to automate the task of analyzing large volumes of colonoscopy and pathology reports to generate data on key performance metrics. Purpose The aim of this study is to systematically review the available literature on the performance of NLP in identifying the presence of an adenoma or a sessile/serrated adenoma in colonoscopy reports. Method We performed a systematic review and meta-analysis according to PRISMA recommendations. A comprehensive literature query was conducted on MEDLINE, EMBASE, CINAHL, and CDSR, through July 2022. Studies were included if they evaluated the performance of NLP in extracting data from colonoscopy reports. Our primary outcome was the performance of NLP models in correctly identifying an adenoma reported in a colonoscopy report. Two authors independently screened studies and abstracted data using an a priori designed data collection form. We pooled the sensitivity and specificity of our primary outcome using a univariate analysis first, followed by a bivariate analysis. Using the open-source package ‘mada’ which is written in R, we generated a summary estimate and a summary receiver operating characteristic curve. Result(s) From the 1030 unique studies obtained from our literature search, 13 studies met the inclusion criteria. Eligible studies were used for our meta-analysis. In the univariate analysis, the pooled sensitivity and specificity for detecting an adenoma by the NLP systems was 0.978 (95% CI 0.938-0.992) and 0.997 (95% CI 0.984-0.999), respectively. Similarly, in univariate analysis, the pooled sensitivity and specificity for detecting a sessile/serrated adenoma by the NLP systems was 0.984 (95% CI 0.929-0.996) and 1.0 (95% CI 0.998-1.000), respectively. In the bivariate analysis, the summary estimates for the sensitivity and specificity of the NLP system in detecting an adenoma were 0.973 (95% CI 0.929-0.990) and 0.992 (95%CI 0.978-0.997) respectively. For detecting a sessile/serrated adenoma, the summary estimates for sensitivity and specificity were 0.964 (95% CI 0.895-0.988) and 0.998 (95% CI 0.995-0.999) respectively. Conclusion(s) NLP models have excellent performance in extracting quality metric data from colonoscopy reports. Based on the available literature, we suggest integration of NLP in quality improvement efforts in colonoscopy. Please acknowledge all funding agencies by checking the applicable boxes below None Disclosure of Interest None Declared
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,053 | 0,158 |
| Méta-épidémiologie (sens strict) | 0,003 | 0,002 |
| Méta-épidémiologie (sens large) | 0,017 | 0,051 |
| Bibliométrie | 0,015 | 0,013 |
| Études des sciences et des technologies | 0,001 | 0,002 |
| Communication savante | 0,005 | 0,004 |
| Science ouverte | 0,003 | 0,002 |
| Intégrité de la recherche | 0,003 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,004 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».