Development and validation of critical appraisal tool for individual participant data meta-analysis: protocol for a modified e-Delphi study
Notice bibliographique
Résumé
INTRODUCTION: Individual participant data meta-analysis (IPD-MA) is regarded as the gold standard for evidence synthesis. However, diverse recommendations and guidance on its conduct exist, and there is no consensus-based tool for the critical appraisal of a completed IPD-MA. We aim to close this gap by systematically identifying quality items and developing and validating a critical appraisal checklist for IPD-MA. METHODS AND ANALYSIS: This study will comprise three phases, as follows:Phase 1: a systematic methodology review to identify potential checklist domains and items; this will be conducted according to the Cochrane methods for systematic reviews and reported following the Preferred Reporting Items for Systematic Reviews and Meta-analysis 2020 guidance. We will include studies that address methodological guides and essential statistical requirements for IPD-MA. We will use the proposed items to prepare a preliminary checklist for the e-Delphi study.Phase 2: at least two rounds of an e-Delphi survey will be conducted among panels with expertise in IPD-MA research, consensus development, healthcare providers, journal editors, healthcare policymakers, patients and public partners from diverse geographic locations with experience in IPD-MA. Participants will use Qualtrics software to rate items on a 5-point Likert scale. The Wilcoxon matched signed rank test will estimate response stability across rounds. Consensus on including an item will be achieved if ≥75% of the panel rates the item as 'strongly agree' or 'agree' and items will be excluded if ≥75% rates it as 'strongly disagree' or 'disagree'. A convenience sample of 10 reviewers with experience in conducting an IPD-MA will pilot-test the checklist to provide practical feedback that will be used to refine the checklist.Phase 3: critical appraisal checklist validation: to improve confidence in the tool's uptake, a subset of the e-Delphi participants and graduate students of epidemiology and biostatistics will conduct content validity and reliability testing, respectively, per the Consensus-based Standards for the Selection of Health Measurement Instruments. ETHICS AND DISSEMINATION: Ethics approval has been obtained from the Western University Health Science Research Ethics Board in Canada. The validated checklist will be published in a peer-reviewed open-access journal and shared across the networks of this study's steering committee, Cochrane IPD-MA group and the institutions' social media platforms.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,305 | 0,409 |
| Méta-épidémiologie (sens strict) | 0,005 | 0,005 |
| Méta-épidémiologie (sens large) | 0,007 | 0,011 |
| Bibliométrie | 0,010 | 0,009 |
| Études des sciences et des technologies | 0,004 | 0,006 |
| Communication savante | 0,006 | 0,007 |
| Science ouverte | 0,005 | 0,006 |
| Intégrité de la recherche | 0,006 | 0,009 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,075 | 0,017 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».