MétaCan
Menu
Retour à la cohorte
Enregistrement W4248413669 · doi:10.21203/rs.3.rs-118335/v1

Comparison of Six Statistical Methods for Interrupted time Series Studies: Empirical Evaluation of 190 Published Series

2020· preprint· en· W4248413669 sur OpenAlexaff
Simon Turner, Amalia Karahalios, Andrew Forbes, Monica Taljaard, Jeremy Grimshaw, Joanne E. McKenzie

Notice bibliographique

RevueResearch Square · 2020
Typepreprint
Langueen
DomainePsychology
ThématiqueMental Health Research Topics
Établissements canadiensUniversity of Ottawa
Organismes subventionnairesnon disponible
Mots-clésStatisticsSeries (stratigraphy)Confidence intervalAutocorrelationPairwise comparisonStatistical significanceStatistical hypothesis testingSample size determinationPoint estimationStatistical powerMathematicsEconometrics

Résumé

récupéré en direct d'OpenAlex

Abstract Background The Interrupted Time Series (ITS) is a quasi-experimental design commonly used in public health to evaluate the impact of interventions or exposures. Multiple statistical methods are available to analyse data from ITS studies, but no empirical investigation has examined how the different methods compare when applied to real-world datasets. MethodsA random sample of 200 ITS studies identified in a previous methods review were included. Time series data from each of these studies was sought. Each dataset was re-analysed using six statistical methods. Point and confidence interval estimates for level and slope changes, standard errors, p-values and estimates of autocorrelation were compared between methods. ResultsFrom the 200 ITS studies, including 230 time series, 190 datasets were obtained. We found that the choice of statistical method can importantly affect the level and slope change point estimates, their standard errors, width of confidence intervals and p-values. Statistical significance (categorised at the 5% level) often differed across the pairwise comparisons of methods, ranging from 4% to 25% disagreement. Estimates of autocorrelation differed depending on the method used and the length of the series. ConclusionsThe choice of statistical method in ITS studies can lead to substantially different conclusions about the impact of the interruption. Pre-specification of the statistical method is encouraged, and naive conclusions based on statistical significance should be avoided.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction distillée sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

score de la tête « metaresearch » (Codex)0,022
score de la tête « metaresearch » (Gemma)0,030
Version: codex-gemma-dda1882f352aStatut de validation: machine_predicted_unvalidated
Catégories candidatesMétarecherche, Méta-épidémiologie (sens strict), Intégrité de la recherche, Charge utile insuffisante (le modèle a refusé de juger)
Catégories consensuellesaucune
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Sans objet · Signal consensuel: aucune
GenreSignal candidat: Empirique · Signal consensuel: Empirique
Score de désaccord entre enseignants0,351
Score d'incertitude au seuil1,000

Scores Codex et Gemma par catégorie

CatégorieCodexGemma
Métarecherche0,0220,030
Méta-épidémiologie (sens strict)0,0000,000
Méta-épidémiologie (sens large)0,0020,000
Bibliométrie0,0010,001
Études des sciences et des technologies0,0000,001
Communication savante0,0000,000
Science ouverte0,0010,002
Intégrité de la recherche0,0010,002
Charge utile insuffisante (le modèle a refusé de juger)0,0050,000

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,720
Tête enseignante GPT0,741
Écart entre enseignants0,022 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.

Devis d'étudeSans objet
Domainenon disponible
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations9
Publié2020
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueResearch SquareMême sujetMental Health Research TopicsTravaux en français237 207