A double-blind, crossover, non-inferiority randomized controlled trial where primary care providers and patients compare human- and AI-generated digital health messages: the AI-CARE study protocol
Notice bibliographique
Résumé
ABSTRACT Introduction Primary care is facing multiple crises, including an increase in health misinformation. Digital health messaging by primary care providers has been shown to reach a diverse patient population. With the uptake of Generative Artificial Intelligence (GenAI) usage in healthcare, there is an important opportunity to rapidly create messages that are tailored to different populations and conditions. However, thoroughly assessing AI-generated content is essential, as GenAI raises concerns regarding its accuracy, understandability, actionability, and bias perpetuation. We aim to investigate whether digital health messages created by GenAI are evaluated as noninferior compared to those created by human experts. Methods and analysis The AI-CARE (AI to Create Accessible and Reliable patient Education materials) study is a double-blind, crossover, non-inferiority randomized controlled trial. Data collection began on May 30, 2025, and is expected to be completed at the end of April 2026. Over 12 months, 192 messages on 48 topics will be written: half by primary care and public health experts and half by a GenAI tool (OpenAI’s ChatGPT). Review Panels composed of 24 primary care providers and 24 patients will evaluate these messages using an Evaluation Grid developed to assess the messages’ quality of information, adaptation to the target audience, relevance and usefulness, and readiness to be shared with patients. Evaluations will be completed via online REDCap surveys and the order in which the 192 messages appear will be randomized and will vary between individuals. Participants and analysts will be blinded to the generation source. The primary outcome will be the Clarity and Understandability score. Ethics and dissemination The Research Ethics Boards of the Hôpital Montfort (24-25-11-038) and the University of Ottawa (S-12-24-11153) formally approved this study in December 2024. Reported data will be grouped and anonymized for dissemination in peer-reviewed scientific journals and conferences. Trial registration number NCT06997107 ARTICLE SUMMARY Strengths and limitations of this study The AI-CARE study allows for within-participant comparison between human- and AI-generated digital health messages, minimizing variability due to individual differences. The Review Panels are diverse and composed of primary care providers and patients currently practicing in or using the healthcare system in five Canadian provinces. The developed Evaluation Grid allows for the assessment of multiple aspects related to digital health messages: quality of information, adaptability to the target audience, relevance and usefulness, and readiness to be shared with patients. One limitation is that messages generated by AI are created using only one LLM (Open AI’s ChatGPT). Due to the nature and location of recruitment, we may introduce selection bias (participants already engaged in research and interested in digital communication and AI) and the racial diversity of our study population may be limited.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,022 | 0,025 |
| Méta-épidémiologie (sens strict) | 0,006 | 0,002 |
| Méta-épidémiologie (sens large) | 0,009 | 0,003 |
| Bibliométrie | 0,002 | 0,002 |
| Études des sciences et des technologies | 0,002 | 0,004 |
| Communication savante | 0,003 | 0,003 |
| Science ouverte | 0,003 | 0,001 |
| Intégrité de la recherche | 0,008 | 0,006 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,039 | 0,007 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».