Can AI learn to identify systematic reviews on the effectiveness of public health interventions?
Notice bibliographique
Résumé
Abstract Issue/problem Health Evidence™ aims to make it easier for public health professionals and decision-makers to use evidence in their programs and policies. We provide access to over 7,000 critically appraised systematic reviews on the effectiveness of public health interventions. On average, 8,000-10,000 records are screened each month to identify around 50 relevant reviews that are critically appraised and uploaded to the registry. As the number of published reviews continues to grow each year, maintaining an up-to-date Registry is becoming increasingly resource intensive. Description of the problem Artificial intelligence (AI) may be one way to ensure maintenance of this Registry continues to be feasible. It is important that the use of AI is accurate and efficient to support monthly relevance screening for the Health Evidence ™ Registry. To assess if the use of AI is appropriate in this context, the team uploaded a large, labelled training set (n = 43,273) of relevant and non-relevant records to DistillerSR and used the AI Preview and Rank function to predict the probability of relevance to the Registry. We identified an optimal threshold (0.17) that automatically removes the greatest number of records with minimal classification errors. We then tested this threshold on one year of manually screened records (n = 89,832) from May 2019 to June 2020 to ensure continued accuracy. Results Using AI to support our monthly relevance screening has reduced our monthly manual screening burden by over 77% (from ∼9,000 references manually screened per month to ∼2,000) saving upwards of 10 hours staff time per month! Lessons The use of AI shows promise to help improve the feasibility of maintaining a large Registry of quality appraised synthesis level evidence relevant for public health decision making. Key messages Health Evidence™ provides easy access to high quality synthesis evidence relevant for public health. The use of AI shows promise for helping to automate the Health Evidence™ monthly update and improve the feasibility of maintaining a public health registry of quality appraised synthesis evidence.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,213 | 0,744 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,002 |
| Méta-épidémiologie (sens large) | 0,004 | 0,006 |
| Bibliométrie | 0,028 | 0,016 |
| Études des sciences et des technologies | 0,001 | 0,002 |
| Communication savante | 0,011 | 0,011 |
| Science ouverte | 0,004 | 0,004 |
| Intégrité de la recherche | 0,003 | 0,004 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,007 | 0,003 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».