Statistical models for multilevel data with “Don’t know” category: implication for program evaluation
Notice bibliographique
Résumé
Background: “Don’t know (DK)” category has been increasingly used in surveys of longitudinal research. This creates unique challenges in data analysis and program evaluation. Strategies applying missing data methods may lead to biased and inaccurate estimations and lose valuable information. Objectives: (i) To illustrate advantages of the proposed two-part mixed effects model over other methods for longitudinal outcomes with DKs through simulation; (ii) to apply the proposed model to a mental health program (Project 11) to evaluate the program effects on participants’ awareness and level of connectedness. Methods: We applied a two-part mixed effects model for longitudinal outcome containing DKs. A simulation study was designed to illustrate the advantages of our proposed model over other methods, where different conditions including sample size, DK proportion, correlation strength between DKs and non-DK responses were considered under different DK mechanisms. We also compared the proposed model with other approaches by applying them to a mental health program (Project 11). In the data analysis of Project 11, we further extended the two-part model to account for within-cluster correlations among students within schools and to explore gender differences in program effects. Results: The proposed two-part mixed effects model outperformed other methods (i.e., CCA, SI, and ML) in estimating both intervention and random effects under all DK mechanisms. In contrast, methods disregarding DKs as missing experienced issues in at least some scenarios. Application of the two-part model to Project 11 data suggested significant intervention effects on improving the connectedness among boys (β ̂_11: -0.071, p = 0.049), whereas no significant improvements were observed among girls. Significant correlations were also found between the likelihood of DKs and connectedness level at both student level and school level. Conclusions: The proposed two-part mixed effects model is highly recommended for analyzing data with DK responses, based on the results of both simulations and empirical data analysis. Missing data techniques should be avoided due to potentially biased and/or imprecise estimates and the loss of information conveyed by DK responses.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,005 | 0,013 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,001 | 0,001 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,002 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».