MétaCan
Menu
Retour à la cohorte
Enregistrement W4415749253 · doi:10.2196/81421

Implementation, Experiences, Impact, and Costs of Artificial Intelligence in Chest Diagnostics: Protocol for a Mixed Methods Evaluation

2025· article· en· W4415749253 sur OpenAlexvenueno aff
Angus I. G. Ramsay, Chris Sherlaw‐Johnson, Kevin Herbert, Stuti Bagri, Malina Bodea, Nadia Crellin, Holly Elphinstone, Amanda Halliday, Nina Hemmings, R. C. Lawrence, Cyril Lobont, Pei Li Ng, John Lloyd, Efthalia Massou, Raj Mehta, Stephen Morris, Jenny Shand, Holly Walton, Naomi Fulop

Notice bibliographique

RevueJMIR Research Protocols · 2025
Typearticle
Langueen
DomaineMedicine
ThématiqueCOVID-19 diagnosis using AI
Établissements canadiensnon disponible
Organismes subventionnairesnon disponible
Mots-clésProtocol (science)Evaluation methodsData collectionProgram evaluationSoftware

Résumé

récupéré en direct d'OpenAlex

BACKGROUND: The ability to perform complex tasks has seen artificial intelligence (AI) used to support radiology in clinical settings, including lung cancer detection and diagnosis. Evidence suggests that AI can contribute to accurate diagnosis, reduce errors, and improve efficiency. The National Health Service England (NHSE)-funded Artificial Intelligence Diagnostic Fund (AIDF) is currently supporting 12 National Health Service (NHS) networks to implement AI for chest diagnostic imaging. There is, however, limited evidence on real-world AI implementation and use, including staff, patient, and caregiver experience, and costs and cost-effectiveness. A National Institute for Health and Care Research Rapid Service Evaluation Team Phase 1 evaluation provided insights into the early implementation of these tools and developed a framework for monitoring and evaluation of AI tools for chest diagnostic imaging in practice. OBJECTIVE: This mixed methods evaluation of AI tools for chest diagnostic imaging aims to address previous research gaps by exploring the implementation of AI tools for chest diagnostic imaging, the impact and costs of implementing these service models, and the experiences of patients, caregivers, and staff. METHODS: This study will be a mixed method evaluation of implementation, experiences, impact, and costs of AI for chest diagnostic imaging in NHS services in England, with the evaluation informed by the Major System Change Framework. Trust-level case studies (3 in-depth and up to 9 light-touch) will be performed, including staff member, patient, and caregiver; NHSE AIDF team interviews; meeting observations; and analysis of key relevant documentation. Qualitative data will be analyzed using Rapid Assessment Procedures and inductive thematic analysis, supplemented by in-depth deductive thematic analysis. Data from case study sites and other relevant sources will be used to assess outcomes at the other sites and for comparators. A pragmatic economic model of the chest diagnostic imaging pathway will be developed to estimate key costs and resource use associated with AI tool deployment. Together with input from national stakeholders and staff workshops, the study findings will then be finalized for reporting. RESULTS: As of September 2025, trust-level research and development approvals with participating sites are complete, and data collection has commenced. Results are expected to be reported by the end of February 2026. CONCLUSIONS: The study will provide new insights into the facilitators and barriers to the adoption of AI technology in health care and the perceptions of both the general public and health care staff on its use. It will also inform best practices in approaches for service performance evaluation, for the implementation of AI into existing care pathways, and for the development of models to best support evidence-based decision-making. It will thus establish a framework upon which the greatest benefits of the use of AI in health care can be realized. INTERNATIONAL REGISTERED REPORT IDENTIFIER (IRRID): DERR1-10.2196/81421.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction distillée sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

score de la tête « metaresearch » (Codex)0,008
score de la tête « metaresearch » (Gemma)0,007
Version: codex-gemma-dda1882f352aStatut de validation: machine_predicted_unvalidated
Catégories candidatesaucune
Catégories consensuellesaucune
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Autre devis · Signal consensuel: aucune
GenreSignal candidat: Protocole · Signal consensuel: Protocole
Score de désaccord entre enseignants0,959
Score d'incertitude au seuil0,838

Scores Codex et Gemma par catégorie

CatégorieCodexGemma
Métarecherche0,0080,007
Méta-épidémiologie (sens strict)0,0000,000
Méta-épidémiologie (sens large)0,0000,000
Bibliométrie0,0010,001
Études des sciences et des technologies0,0000,000
Communication savante0,0000,000
Science ouverte0,0000,000
Intégrité de la recherche0,0000,000
Charge utile insuffisante (le modèle a refusé de juger)0,0000,000

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,426
Tête enseignante GPT0,720
Écart entre enseignants0,294 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.

Les modèles n’ont appliqué aucune catégorie : rien dans la taxonomie ne correspondait à ce travail.
Devis d'étudeAutre devis
Domainenon disponible
GenreProtocole

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations0
Publié2025
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueJMIR Research ProtocolsMême sujetCOVID-19 diagnosis using AITravaux en français237 207