Methods to support evidence-informed decision-making in the midst of COVID- 19: Creation and evolution of a rapid review service from the National Collaborating Centre for Methods and Tools
Notice bibliographique
Résumé
Abstract Background The COVID-19 public health crisis has produced an immense and quickly evolving body of evidence. This research speed and volume, along with variability in quality, could overwhelm public health decision-makers striving to make timely decisions based on the best available evidence. In response to this challenge, the National Collaborating Centre for Methods and Tools developed a Rapid Evidence Service, building on internationally accepted rapid review methodologies, to address priority COVID-19 public health questions. Methods Each week, we receive requests from public health decision-makers and frame the prioritized topics into searchable questions. We develop and conduct a comprehensive search strategy and critically appraise all relevant evidence using validated tools. We synthesize the findings into a final report that includes key messages, with a rating of the certainty of the evidence using GRADE, as well as an overview of evidence and remaining knowledge gaps. Rapid reviews are typically completed and disseminated within two weeks. Results As of May 12, 2021, we have answered more than 29 distinct questions and completed 28 updates as new evidence emerged. Reviews receive an average of 200 downloads per week, with some reaching up to 5000. To date reviews have been accessed and cited around the world, and a more fulsome evaluation of impact on decision making is planned. Conclusions The development, evolution, and lessons learned from our process, presented here, provides a real-world example of how review-level evidence can be made available – rapidly and rigorously, and in response to decision-makers’ needs – during an unprecedented public health crisis.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,716 | 0,856 |
| Méta-épidémiologie (sens strict) | 0,005 | 0,006 |
| Méta-épidémiologie (sens large) | 0,013 | 0,015 |
| Bibliométrie | 0,051 | 0,048 |
| Études des sciences et des technologies | 0,005 | 0,007 |
| Communication savante | 0,041 | 0,025 |
| Science ouverte | 0,014 | 0,026 |
| Intégrité de la recherche | 0,014 | 0,020 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,021 | 0,018 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».