Capturing 'what works' in complex process evaluation research: the use of calendar instruments
Notice bibliographique
Résumé
Calendar or timeline techniques have developed in parallel and are used in life course research, and health behaviour and treatment studies. Both types of research seek to reconstruct histories or events in order to understand phenomena. Unsurprisingly a research strategy that seeks to represent events from memory is fraught with recall error thereby influencing consistency, completeness, and accuracy of data. Strategies can be employed to improve data quality so informants can more accurately access long term memory. One such strategy involves producing a graphical timeframe against which historical information can be represented. This is said to stimulate memory facilitating accuracy of recall and fidelity of data. There are minor variations in the application of calendar techniques, unsurprising given the different methodological heritage, nevertheless there are common characteristics. These include: graphical display of the dimension of time, use of one or more thematic axis (representing the data domains) and event or landmark cues that temporally bound the research. \nThe Department of Health (England) in 2008 funded a series of public health initiatives in nine ‘Healthy Towns’. These initiatives were targeted on facilitating healthier lifestyles in local populations and importantly learning from projects about “what works”. One “Healthy Town” – Healthy Halifax – funded ten embedded project streams all designed to encourage adoption of health lifestyles by the population living in four wards with poorest health outcomes. The challenge presented to the local evaluation team was capturing which, if any, of the projects made a difference to health lifestyles of local populations. Calendar technique were incorporated in research design to accurately represent the life history of each project and capture the antecedents, attributes and consequences of project delivery that might illuminate ‘what works’. This presentation will offer a critical appraisal of the utility of calendar technique as a methodological approach for capturing process evaluation.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,498 | 0,658 |
| Méta-épidémiologie (sens strict) | 0,003 | 0,003 |
| Méta-épidémiologie (sens large) | 0,003 | 0,004 |
| Bibliométrie | 0,014 | 0,019 |
| Études des sciences et des technologies | 0,005 | 0,024 |
| Communication savante | 0,027 | 0,026 |
| Science ouverte | 0,004 | 0,011 |
| Intégrité de la recherche | 0,004 | 0,006 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,004 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».