MétaCan
Menu
Retour à la cohorte
Enregistrement W3027679982 · doi:10.1093/clinchem/hvaa093

Overinterpretation of Research Findings: Evaluation of “Spin” in Systematic Reviews of Diagnostic Accuracy Studies in High–Impact Factor Journals

2020· article· en· W3027679982 sur OpenAlexaff
Trevor A. McGrath, Joshua Bowdridge, Ross Prager, Robert Frank, Lee Treanor, Ana Dehmoobad Sharifabadi, Jean‐Paul Salameh, Mariska Leeflang, Daniël A. Korevaar, Patrick M. Bossuyt, Matthew D. F. McInnes

Notice bibliographique

RevueClinical Chemistry · 2020
Typearticle
Langueen
DomaineDecision Sciences
ThématiqueMeta-analysis and systematic reviews
Établissements canadiensOttawa HospitalUniversity of Ottawa
Organismes subventionnairesnon disponible
Mots-clésSystematic reviewMeta-analysisImpact factorSystematic errorMEDLINEMedicineStatisticsEconometricsPsychologyPolitical scienceMathematicsInternal medicineLaw

Résumé

récupéré en direct d'OpenAlex

BACKGROUND: To compare the frequency of "spin" in systematic reviews of diagnostic accuracy studies in high-impact journals with the frequency a previously assessed series of reviews. METHODS: Medline was searched from January 2010 to January 2019. Systematic reviews of diagnostic accuracy studies were included if they reported a meta-analysis and were published in a journal with an impact factor >5. Two investigators independently scored each included systematic review for positivity of conclusions and for actual and potential overinterpretation practices. RESULTS: Of 137 included systematic reviews, actual overinterpretation was present in ≥1 form in the abstract in 63 (46%) and in the full-text report in 52 (38%); 108 (79%) contained a form of potential overinterpretation. Compared with the previously assessed series (reviews published 2015-2016), reviews in this series were less likely to contain ≥1 form of actual overinterpretation in the abstract and full-text report or ≥1 form of potential overinterpretation (P < 0.001 for all comparisons). The significance of these comparisons did not persist for actual overinterpretation in sensitivity analysis in which Cochrane systematic reviews were removed. Reviews published in the Cochrane Database of Systematic Reviews were less likely to contain actual overinterpretation in the abstract or the full-text report than reviews in other high-impact journals (P < 0.001 for both comparisons). CONCLUSIONS: Reviews of diagnostic accuracy studies in high-impact journals are less likely to contain overinterpretation or spin. This difference is largely due to the reviews published in the Cochrane Database of Systematic Reviews, which contain spin less often than reviews published in other high-impact journals.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction distillée sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

score de la tête « metaresearch » (Codex)0,295
score de la tête « metaresearch » (Gemma)0,900
Version: codex-gemma-dda1882f352aStatut de validation: machine_predicted_unvalidated
Catégories candidatesMétarecherche, Charge utile insuffisante (le modèle a refusé de juger)
Catégories consensuellesMétarecherche
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Observationnel · Signal consensuel: Observationnel
GenreSignal candidat: Empirique · Signal consensuel: Empirique
Score de désaccord entre enseignants0,605
Score d'incertitude au seuil0,998

Scores Codex et Gemma par catégorie

CatégorieCodexGemma
Métarecherche0,2950,900
Méta-épidémiologie (sens strict)0,0000,000
Méta-épidémiologie (sens large)0,0070,001
Bibliométrie0,0000,002
Études des sciences et des technologies0,0000,000
Communication savante0,0000,000
Science ouverte0,0010,000
Intégrité de la recherche0,0000,000
Charge utile insuffisante (le modèle a refusé de juger)0,0030,000

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,973
Tête enseignante GPT0,763
Écart entre enseignants0,210 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; les deux têtes enseignantes s’accordent sur ce qui est montré ici.

Devis d'étudeObservationnel
Domainenon disponible
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations24
Publié2020
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueClinical ChemistryMême sujetMeta-analysis and systematic reviewsTravaux en français237 207