Do Reporting Guidelines Have an Impact? Empirical Assessment of Changes in Reporting Before and After the PRISMA Extension Statement for Network Meta-analysis
Notice bibliographique
Résumé
Abstract Background: The Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) extension statement for network meta-analysis (NMA) published in 2015 promotes comprehensive reporting in published systematic reviews with NMA. PRISMA-NMA includes 32 items in total: 27 core items as indicated in the core 2009 PRISMA Statement and five additional items specific to the reporting of NMAs. Although reporting of NMAs is improving, it is unclear whether the PRISMA-NMA statement has accelerated this improvement. Our aim was to investigate the impact of PRISMA-NMA statement and highlight key items that require further attention and improvement.Methods: We updated our previous collection of NMAs with articles published between April 2015 and July 2018. We assessed the completeness of reporting for each NMA, including main manuscript and online supplements, using the PRISMA-NMA checklist. We also prepared a modified version of the PRISMA-NMA checklist with 49 items to evaluate separately at a more granular level all multiple-content items. We compared average reporting scores of articles published before and after 2015.Results: In the 1,144 included NMAs the mean modified PRISMA-NMA score was 32.1 (95% CI 31.8-32.4). For one-year increase the mean modified score increased by 0.96 (95% CI 0.32 to 1.59) for 389 NMAs published until 2015 and by 0.53 (95% CI 0.02 to 1.04) for 755 NMAs published after 2015. The mean modified PRISMA-NMA score for NMAs published after 2015 was higher by 0.81 (95% CI 0.23 to 1.39) compared to before 2015 when adjusting for journal impact factor, type of review, funding, and treatment category. Description of summary effect sizes to be used, presentation of individual study data, sources of funding for the systematic review and role of funders dropped in frequency after 2015 by 6-16%.Conclusions: NMAs published after 2015 more frequently reported the five items associated with NMA compared to those published before 2015. However, improvement in reporting after 2015 is compatible with that observed on a yearly basis before 2015 and hence it could not be attributed solely to the publication of PRISMA-NMA statement. Funding: This research study received no funding. AAV, ST, SZ, KMK, and DM were funded from the European Union’s Horizon 2020 [No. 754936]. AN, TP and GS have been supported by SNSF grant agreement 320030_179158. SES is funded by a Tier 1 Canada Research Chair in Knowledge Translation. ACT is funded by a Tier 2 Canada Research Chair in Knowledge Synthesis.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,808 | 0,954 |
| Méta-épidémiologie (sens strict) | 0,003 | 0,007 |
| Méta-épidémiologie (sens large) | 0,007 | 0,022 |
| Bibliométrie | 0,015 | 0,031 |
| Études des sciences et des technologies | 0,004 | 0,011 |
| Communication savante | 0,018 | 0,027 |
| Science ouverte | 0,012 | 0,010 |
| Intégrité de la recherche | 0,010 | 0,014 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,007 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».