MétaCan
Menu
Retour à la cohorte
Enregistrement W4404906065 · doi:10.1038/s41387-026-00444-8

Evaluating the Reproducibility and Verifiability of Nutrition Research: A Case Study of Studies Assessing the Relationship Between Potatoes and Colorectal Cancer

2024· preprint· en· W4404906065 sur OpenAlexaboutno aff
Yasaman Jamshidi‐Naeini, Colby J. Vorland, Pranav Kapoor, Bailey Ortyl, Jocelyn Mineo, Luke Still, Korlu Sorsor, Xander A Tooze, Brent Flickinger, Beate Henschel, Stephanie Dickinson, David B. Allison

Notice bibliographique

RevueNutrition and Diabetes · 2024
Typepreprint
Langueen
DomaineDecision Sciences
ThématiqueMeta-analysis and systematic reviews
Établissements canadiensnon disponible
Organismes subventionnairesUniversity at BuffaloNational Institutes of HealthNovo NordiskPfizerAbbott Diabetes CareGordon and Betty Moore FoundationGeneral MillsIndiana University FoundationEli Lilly and CompanyNortharvest Bean Growers AssociationU.S. Department of Agriculture
Mots-clésReproducibilityColorectal cancerCancerMedicineStatisticsMathematicsInternal medicine

Résumé

récupéré en direct d'OpenAlex

Background: The credibility of nutritional research is dependent on the rigor with which studies are conducted and the ability for independent assessment to be performed. Despite the importance of these, more work is needed in the field of nutrition to buttress the trustworthiness of nutrition research. Objective: To develop and apply a process for evaluating the rigor, reproducibility, and verifiability of nutritional research, using the relationship between potato consumption and Colorectal cancer (CRC) as a case study. Methods: We updated existing systematic reviews to include studies on potatoes and CRC, assessing their design, execution, and reporting quality. We attempted to reproduce and verify the results of included studies by requesting raw data from authors and following statistical methods as described in the publications. Rigor was evaluated using four different tools: ROBINS-E, STROBE-Nut, Newcastle-Ottawa scale, and additional criteria related to transparency. Results: Eighteen studies were included, none of which publicly share data. We managed to access data for only two studies, successfully reproducing and verifying the results for one. The majority of studies exhibited a high risk of bias, with significant limitations in reporting quality and methodological rigor. Conclusions: Research on the relationship between potato consumption and CRC risk is insufficiently reproducible and verifiable, undermining the trustworthiness of its findings. This study highlights the need for improving transparency, data sharing, and methodological rigor in nutritional research. Our approach provides a model for assessing the credibility of research in other areas of nutrition.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction machine sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.

score de la tête « metaresearch » (Codex)0,763
score de la tête « metaresearch » (Gemma)0,861
Version: metacan-v3-hybrid-931329e0061cStatut de validation: machine_predicted_unvalidated
Catégories candidatesMétarecherche
Catégories consensuellesMétarecherche
DomaineSignal candidat: Reproductibilité · Signal consensuel: aucune
Devis d'étudeSignal candidat: Observationnel · Signal consensuel: aucune
GenreSignal candidat: Empirique · Signal consensuel: Empirique
Score de désaccord entre enseignants0,237
Score d'incertitude au seuil0,292

Scores du classifieur distillé par catégorie (deux têtes)

CatégorieCodexGemma
Métarecherche0,7630,861
Méta-épidémiologie (sens strict)0,0020,002
Méta-épidémiologie (sens large)0,0060,007
Bibliométrie0,0150,016
Études des sciences et des technologies0,0090,017
Communication savante0,0140,016
Science ouverte0,0070,015
Intégrité de la recherche0,0100,006
Charge utile insuffisante (le modèle a refusé de juger)0,0030,000

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,926
Tête enseignante GPT0,675
Écart entre enseignants0,251 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.

Devis d'étudeObservationnel
DomaineReproductibilité
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations0
Publié2024
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueNutrition and DiabetesMême sujetMeta-analysis and systematic reviewsTravaux en français237 207