Validation of a framework for evaluating knowledge mobilization strategies: A Delphi method approach.
Notice bibliographique
Résumé
Background: A growing number of knowledge-oriented organizations, such as granting agencies, governments, public organizations, universities, and health authorities, are investing considerable resources to increase the use of research knowledge to improve professional practice, decision making, and public policy. The proliferation of research on knowledge mobilization (KMb) over the past two decades has deepened our understanding of the dynamics of this process and of the factors that can impede its deployment, such as knowledge users’ capabilities (their beliefs, capacity to absorb knowledge, etc.), contextual conditions (resources, leadership, facilitating factors, etc.), and the availability of effective mobilization strategies (frequency, implementation, fit with context). However, yet, few good-quality studies have evaluated the impacts of KMb, such that we still know too little about the effectiveness of the different strategies and the contextual conditions in which they may be effective. This is problematic, in that their development cannot be fully grounded in empirical evidence. In fact, their evaluation is complicated by the virtual absence of evaluation tools and validated indicators that would allow organizations to assess the impacts of their KMb strategies. Moreover, the difficulty that these organizations experience in relation to evaluation (due to lack of expertise and resources) is a concern that has been raised many times. Aims: This study will address this expressed need to improve organizations’ capacity to conduct KMb evaluation studies. Using a collaborative co-construction approach with key actors in KMb, our aim is to design and validate an integrative and operational framework for the evaluation of KMb strategies in the social domain. Design/approach: a first step in this project, we conducted a scoping review of frameworks and theories commonly used to evaluate KMb strategies. 71 articles were selected from this scoping review. Our analyses of these articles, we identified four potentially relevant dimensions for planning and evaluation: the context, implementation process, effects, and impacts of these strategies. Using the Delphi approach, a consultation has been undertaken to enrich and validate the dimensions of this framework developed after a scoping review. Results: This paper presents the results of the Delphi consultation with an international panel of experts working in the field of knowledge mobilization. This evaluation exercise should lead to a validation of the framework components and potential indicators to be considered when evaluating knowledge mobilization strategies.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,221 | 0,178 |
| Méta-épidémiologie (sens strict) | 0,003 | 0,002 |
| Méta-épidémiologie (sens large) | 0,002 | 0,003 |
| Bibliométrie | 0,015 | 0,009 |
| Études des sciences et des technologies | 0,006 | 0,007 |
| Communication savante | 0,006 | 0,005 |
| Science ouverte | 0,005 | 0,013 |
| Intégrité de la recherche | 0,003 | 0,003 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,005 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».