Comparative assessment of the ROBINS-E, Newcastle-Ottawa and JBI in Medicine trials : a meta-research study
Notice bibliographique
Résumé
Aim: The aim of this study was to compare the ROBINS-E (Risk of Bias in Non-Randomised Studies of Exposures) and Newcastle–Ottawa Scale (NOS) tools in assessing risk of bias in observational studies, analysing the differences in the classifications obtained and their implication in the interpretation of methodological quality. Methods: 50 observational studies published between January 2023 and January 2024 were selected from scientific databases such as PubMed/Medline, Scopus, and EMBASE. The results were compared with each other and, for each study, the impact factor, journal quartile, estimated sample size and adherence to STROBE guidelines were recorded. Results: A significant discrepancy was observed between the classifications obtained by the two tools. ROBINS-E classified a greater number of studies as High Risk (30%) than NOS (2%). Of the studies classified as Low Risk by NOS, 21,1% maintained their classification in ROBINS-E, 57,9% were downgraded to Some Concerns, and 21,1% were downgraded to High Risk. Of the studies classified as Moderate by NOS, none were classified as Low Risk by ROBINS-E, 46,7% remained as Some Concerns, 36,7% were downgraded to High Risk and 16,7% were downgraded to Very High Risk. The only study classified as High Risk by NOS was downgraded to Very High Risk. Conclusions: These results show that, although both tools share the same objective, they differ in their approach and depth of analysis. NOS proved to be practical and useful for an initial assessment, providing a comprehensive and objective overview of the quality of the studies, while ROBINS-E proved to be more rigorous and capable of identifying methodological flaws. The percentage of studies that were downgraded when assessed by ROBINS-E was notable, compared to the more favourable ratings assigned by NOS. This result highlights the greater sensitivity and rigour of ROBINS-E.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,282 | 0,451 |
| Méta-épidémiologie (sens strict) | 0,004 | 0,002 |
| Méta-épidémiologie (sens large) | 0,030 | 0,069 |
| Bibliométrie | 0,019 | 0,014 |
| Études des sciences et des technologies | 0,002 | 0,004 |
| Communication savante | 0,011 | 0,011 |
| Science ouverte | 0,006 | 0,006 |
| Intégrité de la recherche | 0,007 | 0,004 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,005 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».