Evaluating sport-for-development outcome measures used in a living lab setting: Process, improvements, and insights
Notice bibliographique
Résumé
BACKGROUND: Sport-for-development (SFD) is an innovative approach utilizing sport to foster positive physical, mental, and social outcomes among children and youth, particularly those from underserved backgrounds. Living labs, which emphasize participant-centered research conducted in natural, real-world environments, present unique challenges for outcome measurement, including reduced control over conditions, variability in participant engagement, and logistical issues that complicate standardized data collection. Further, there are few outcome measures that are developed for SFD measurement in living lab settings. For these reasons, outcome measurement in a living lab setting remains challenging. OBJECTIVE: Our objective was to evaluate a set of outcome measures that have been administered in a living lab setting to better understand their performance, reliability, and areas for improvement. METHODS: SFD programming was delivered in a living lab setting at a large facility located in an urban center in Toronto, Canada. We evaluated 11, self-reported, Likert-style outcome measures against 8 key metrics used in Classical Test Theory to understand (for example) floor-and-ceiling effects, inter-item correlations, internal consistency, and test-retest reliability. Data were collected from 2019 to 2024 across multiple cohorts aged 6-29 years, involving diverse SFD programs. RESULTS: Our analysis of 2656 questionnaire completions demonstrated strengths in data collection, including complete response rates with minimal missing data (91 % of outcome measures met missingness thresholds), yet also highlighted issues primarily related to single-item-endorsement and inter-item correlations (with 38 % and 19 % of outcome measures meeting these thresholds, respectively). These insights prompted iterative improvements to the evaluation tools, such as modifying Likert scale response formats to include more response categories (and thereby reducing the impact of binning of responses). CONCLUSIONS: Evaluating our outcome measures provided insight into how they can be improved for administration in a living-lab setting. The results emphasize the need for context-appropriate tools to effectively capture nuanced SFD program impacts and underscore the importance of ongoing validation to improve both research quality and practical implementation in living lab environments.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,074 | 0,076 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,002 |
| Bibliométrie | 0,002 | 0,002 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,002 | 0,001 |
| Science ouverte | 0,001 | 0,002 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».