MétaCan
Menu
Retour à la cohorte
Enregistrement W3196952617 · doi:10.21203/rs.3.rs-665009/v2

Topic overlap and research waste at the ‘Overviews of systematic reviews’ level: a meta-research study

2021· preprint· en· W3196952617 sur OpenAlexaff
Carole Lunny, Jia He Zhang, Alyssa Chen, Trish Neelakant, Gavindeep Shinger, Adrienne Stevens, Sara Tasnim, Shadi Sadeghipouya, Stephen Adams, Yi Wen Zheng, Lester Lin, Pei‐Hsuan Yang, Manpreet Dosanjh, Peter Ngsee, Ursula Ellis, Beverley Shea, Emma K. Reid, James M Wright

Notice bibliographique

RevueResearch Square · 2021
Typepreprint
Langueen
DomaineDecision Sciences
ThématiqueMeta-analysis and systematic reviews
Établissements canadiensNova Scotia Health AuthorityUniversity of OttawaMcMaster UniversityUniversity of British Columbia
Organismes subventionnairesnon disponible
Mots-clésScope (computer science)Systematic reviewPsychological interventionData scienceComputer scienceMEDLINEPsychologyInformation retrievalManagement scienceEngineeringPolitical science

Résumé

récupéré en direct d'OpenAlex

Abstract Background Multiple ‘overviews of reviews’ conducted on the same topic (“overlapping overviews”) represent a waste of research resources, and can confuse clinicians who are required to choose among competing treatments. We aimed to assess the frequency and characteristics of overlapping overviews. Methods MEDLINE, Epistemonikos and Cochrane databases were searched for overviews that: synthesised reviews of health interventions and conducted systematic searches. Overlap in topic was defined as: duplication of PICO elements, not representing an update of a previous overview, and not a replication. We also categorized the overviews as broad or narrow in scope. Results Of 541 overviews identified (2000–2018), 172 (32%) overlapped across similar PICO. The overlapping overviews fell within 13 WHO ICD-10 medical classifications and 63 topics. The overviews may have overlapped partially or completely, such that a similar portion, major component(s), or complete representation of an overview was duplicated. 149/172 (87%) overlapping overviews were characterized as broad in scope. Most frequently, broad overviews had targeted populations for which multiple interventions were addressed (44%), or least frequently, they had a targeted intervention for multiple populations (17%). Conclusions One third of overviews overlapped in content with a majority covering broad topic areas, and fewer considering subsets of the evidence. A multiplicity of overviews on the same topic adds to the ongoing waste of research resources, time and effort across medical disciplines. This study and the database of 172 overlapping overviews can provide a guide to authors about which topics are covered, and gaps in the evidence for future analysis.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Étiquettes directes de modèles (non validées)

Étiquettes de catégorie et de devis d'étude par modèle, issues des rondes d'étiquetage. C'est une sortie machine, non validée, et le désaccord entre modèles est livré comme donnée. Aucun devis ici n'est encore validé contre MEDLINE.

BrasCatégoriesDevis d'étudeConfiance
gemmaMétarechercheMéta-épidémiologie (sens large)
Domaine: Évaluation · Genre: Empirique
Porte sur le système de recherche canadien: non · Porte sur un sujet canadien: non
Observationnelmedium
gptMétarecherche
Domaine: Évaluation · Genre: Empirique
Porte sur le système de recherche canadien: non · Porte sur un sujet canadien: non
Observationnelmedium
modèles en désaccordL'accord compare des ensembles de catégories et des devis identiques entre les bras.

Prédiction distillée sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

score de la tête « metaresearch » (Codex)0,840
score de la tête « metaresearch » (Gemma)0,438
Version: codex-gemma-dda1882f352aStatut de validation: machine_predicted_unvalidated
Catégories candidatesMétarecherche, Méta-épidémiologie (sens strict), Méta-épidémiologie (sens large), Études des sciences et des technologies, Communication savante, Science ouverte, Intégrité de la recherche, Charge utile insuffisante (le modèle a refusé de juger)
Catégories consensuellesMétarecherche, Science ouverte, Charge utile insuffisante (le modèle a refusé de juger)
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Qualitatif · Signal consensuel: aucune
GenreSignal candidat: Empirique · Signal consensuel: Empirique
Score de désaccord entre enseignants0,540
Score d'incertitude au seuil1,000

Scores Codex et Gemma par catégorie

CatégorieCodexGemma
Métarecherche0,8400,438
Méta-épidémiologie (sens strict)0,0010,000
Méta-épidémiologie (sens large)0,0180,007
Bibliométrie0,0040,011
Études des sciences et des technologies0,0020,001
Communication savante0,0060,000
Science ouverte0,0120,022
Intégrité de la recherche0,0010,006
Charge utile insuffisante (le modèle a refusé de juger)0,0160,003

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,976
Tête enseignante GPT0,706
Écart entre enseignants0,271 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Étiqueté directement par 2 modèles lisant le dossier complet.

MétarechercheMéta-épidémiologie (sens large)

Les modèles divergent sur des parties de cette classification; chaque voix est préservée dans la section en fin de page.

Devis d'étudeObservationnel
DomaineÉvaluation
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations0
Publié2021
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueResearch SquareMême sujetMeta-analysis and systematic reviewsCatégorieMétarechercheTravaux en français237 207