MétaCan
Menu
Retour à la cohorte
Enregistrement W2438156662 · doi:10.1136/bmj.321.7256.297

The quality of systematic reviews

2000· letter· en· W2438156662 sur OpenAlexaff
Stephen Senn

Notice bibliographique

RevueBMJ · 2000
Typeletter
Langueen
DomaineDecision Sciences
ThématiqueMeta-analysis and systematic reviews
Établissements canadiensMcMaster University
Organismes subventionnairesnon disponible
Mots-clésJadad scaleSystematic reviewRandomized controlled trialQuality (philosophy)MEDLINEAlternative medicineClinical trialMedical literatureClinical study designMedicineComputer scienceCochrane LibrarySurgeryPolitical sciencePathology

Résumé

récupéré en direct d'OpenAlex

# Review is biased {#article-title-2} EDITOR—In discussing meta-analyses in the treatment of asthma, Jadad et al state that most reviews published in peer reviewed journals or funded by industry have serious methodological flaws.1 This summary is misleading and could have been put more succinctly as, “most reviews published in peer reviewed journals have serious methodological flaws,” since the industry reviews in their paper were a (similar) subset of the published papers. Jadad et al are, however, right in drawing attention to the inherent bias in their Cochrane approved quality index. Cochrane reviews are excellent in many respects but grossly deficient in at least one—namely, the reliance on software, RevMan, that is incapable of satisfying an essential and elementary requirement placed by drug regulators on sponsors, that “the particular model chosen should reflect the state of medical knowledge about the variables to be analysed as well as the statistical design of the trial.”2 RevMan cannot deal appropriately with covariates nor with multicentre, cluster randomised, minimised, or crossover trials. It is thus a suitable tool for single centre, randomised, parallel group trials in which no covariates are measured: a type of trial that is rather rare in my experience. On the other hand, the pharmaceutical industry has long employed doctors and statisticians capable of dealing with the complications of real clinical trials. For a good illustration, see the paper by Richardson and Bablok,3 which Jadad et al did not include. The biased and one sided review by Jadad et al cannot be taken as showing the superiority of Cochrane reviews to pharmaceutical industry reviews. 1. 1.↵1. Jadad AR, 2. Moher M, 3. Browman GP, 4. Booker L, 5. Sigouin C, 6. Fuentes M, 7. et al .Systematic reviews and meta-analyses on treatment of asthma: critical evaluation.BMJ2000;320: 537–540. (26 February.) [OpenUrl][1][Abstract/FREE Full Text][2] 2. 2.↵1. International Conference on Harmonisation Statistical .Principles for clinical trials.Statist Med1999;18:1905–1942. [OpenUrl][3] 3. 3.↵1. Holgate ST <!-- --> 1. Richardson W, 2. Bablok B .Clinical experience with formoterol in adults. In: Holgate ST ed.Formoterol: fast and long-lasting bronchodilation.London: Royal Society of Medicine Services,1992:23–37. # High quality reporting of both randomised trials and systematic reviews should be priority {#article-title-6} EDITOR—Senn1 [previous letter] is critical of the conclusion of Jadad et al in their critical evaluation that “most reviews published in peer reviewed journals or funded by industry … [1]: {openurl}?query=rft.jtitle%253DBMJ%26rft.stitle%253DBMJ%26rft.issn%253D0007-1447%26rft.aulast%253DJadad%26rft.auinit1%253DA.%2BR%26rft.volume%253D320%26rft.issue%253D7234%26rft.spage%253D537%26rft.epage%253D540%26rft.atitle%253DSystematic%2Breviews%2Band%2Bmeta-analyses%2Bon%2Btreatment%2Bof%2Basthma%253A%2Bcritical%2Bevaluation%26rft_id%253Dinfo%253Adoi%252F10.1136%252Fbmj.320.7234.537%26rft_id%253Dinfo%253Apmid%252F10688558%26rft.genre%253Darticle%26rft_val_fmt%253Dinfo%253Aofi%252Ffmt%253Akev%253Amtx%253Ajournal%26ctx_ver%253DZ39.88-2004%26url_ver%253DZ39.88-2004%26url_ctx_fmt%253Dinfo%253Aofi%252Ffmt%253Akev%253Amtx%253Actx [2]: /lookup/ijlink?linkType=ABST&journalCode=bmj&resid=320/7234/537&atom=%2Fbmj%2F321%2F7256%2F297.atom [3]: {openurl}?query=rft.jtitle%253DStatist%2BMed%26rft.volume%253D18%26rft.spage%253D1905%26rft.genre%253Darticle%26rft_val_fmt%253Dinfo%253Aofi%252Ffmt%253Akev%253Amtx%253Ajournal%26ctx_ver%253DZ39.88-2004%26url_ver%253DZ39.88-2004%26url_ctx_fmt%253Dinfo%253Aofi%252Ffmt%253Akev%253Amtx%253Actx

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction machine sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.

score de la tête « metaresearch » (Codex)0,355
score de la tête « metaresearch » (Gemma)0,820
Version: metacan-v3-hybrid-931329e0061cStatut de validation: machine_predicted_unvalidated
Catégories candidatesMétarecherche
Catégories consensuellesMétarecherche
DomaineSignal candidat: Évaluation · Signal consensuel: aucune
Devis d'étudeSignal candidat: Sans objet · Signal consensuel: Sans objet
GenreSignal candidat: Commentaire · Signal consensuel: Commentaire
Score de désaccord entre enseignants0,645
Score d'incertitude au seuil0,796

Scores du classifieur distillé par catégorie (deux têtes)

CatégorieCodexGemma
Métarecherche0,3550,820
Méta-épidémiologie (sens strict)0,0040,007
Méta-épidémiologie (sens large)0,0210,010
Bibliométrie0,0310,032
Études des sciences et des technologies0,0050,017
Communication savante0,0330,019
Science ouverte0,0120,012
Intégrité de la recherche0,0240,023
Charge utile insuffisante (le modèle a refusé de juger)0,0280,016

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,894
Tête enseignante GPT0,610
Écart entre enseignants0,284 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.

Devis d'étudeSans objet
DomaineÉvaluation
GenreCommentaire

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations13
Publié2000
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueBMJMême sujetMeta-analysis and systematic reviewsTravaux en français237 207