Content validation of the information assessment method for delivery of educational material: a mixed methods study
Notice bibliographique
Résumé
La mise en ligne d’outils pédagogiques représente une belle occasion d’engager les médecins dans un processus de formation continue.. La Méthode d’évaluation des informations (MEI) est fondée sur le modèle théorique ‘Acquisition, Cognition, Application – Niveaux de résultats’ (ACA-NR). La MEI est un outil unique et populaire pour promouvoir l’application des connaissances; cette méthode est utilisée par plus de 10000 médecins et pharmaciens à travers le Canada dans le cadre de multiples programmes de formation continue. Mon objectif général est d’évaluer la validité de contenu (validité de contenu logique et écologique) de la MEI-v2011 dans un contexte de diffusion des informations via des courriels éducatifs. Mes objectifs spécifiques sont (i) de mesurer la pertinence, et (ii) d’évaluer la représentativité des items de la MEI-v2011. Plan de l’étude En ayant recours aux méthodes mixtes qui combinent et intègrent des résultats quantitatifs et qualitatifs. Dans un premier temps, j’ai utilisé des méthodes quantitatives pour mesurer la pertinence des 23 items de MEI-v2011. Dans un second temps, j’ai utilisé des méthodes qualitatives pour évaluer la représentativité de chaque item de MEI-v2011 Dans un troisième temps, les résultats des analyses quantitatives et qualitatives ont été examinés, combinés, intégrés et discutés avec des experts.Participants et Cadre de l’étudePartie 1 (quantitative): Ont participé les 5596 membres de l’association Médicale Canadienne (AMC) qui ont utilisé MEI-v2011 pour évaluer des synopsis de recherche appelés « Daily POEMs » (Patient-Oriented Evidence that Matters). Partie 2 (qualitative): 15 médecins de famille du département de médecine familiale de l’Université McGill ont participé. Part 3: Sept membres du Groupe de recherche en technologies de l’information en soins de santé primaires (ITPCRG), ont été consultés au sujet de l’analyse des données quantitatives and qualitatives, de l’intégration des résultats quantitatifs et qualitatifs, et des résultats finaux. Collecte et analyse des donnéesPartie 1 (quantitative): 234,194 évaluations (questionnaires MEI complétés) ont été recueillies, à partir de 270 courriels éducatifs “Daily POEM” en 2012. Pour calculer la pertinence de chaque item de la MEI, j’ai utilisé des statistiques descriptives. Partie 2 (qualitative): je les ai invité à participer à un entretien individuel semi dirigé. J’ai enregistré, transcrit et synthétisé 15 entretiens. Pour évaluer la représentativité de chaque item, j’ai codé et analysé les données issues des entretiens (analyse thématique inductive-déductive). Partie 3 (mixte): J’ai combiné et intégré les résultats des parties 1 et 2 pour évaluer la validité de contenu écologique. RésultatsSur les 23 items de la MEI, 21 ont été validés (validité de contenu), deux ont été retirés. Partie 1 (résultats quantitatifs - Pertinence): 21 items ont été jugés pertinents et ont été gardés dans la nouvelle version du questionnaire MEI, deux items ont été jugés non pertinents et ont été retirés du questionnaire. Partie 2 (résultats qualitatifs - Représentativité): 22 items ont étaient représentatifs, un ne l’était pas. Partie 3 (résultats mixtes): J’ai combiné et intégré les résultats quantitatifs et qualitatifs dans le but de mettre au point une nouvelle version de la MEI (MEI-v2014), en accord avec les discussions que j’ai eu avec les experts de l’ITPCRG.Contributions pour l’avancement des connaissancesles médecins et pharmaciens pourront utiliser une méthode validée pour évaluer l’information clinique qu’ils lisent dans les programmes de formation continue. Au niveau organisationnel des fournisseurs d’information, l’analyse des données qui sont collectées avec la MEI-v2014 fournira des résultats valides pour évaluer et améliorer l’information.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,173 | 0,263 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,002 | 0,002 |
| Bibliométrie | 0,004 | 0,003 |
| Études des sciences et des technologies | 0,003 | 0,002 |
| Communication savante | 0,005 | 0,003 |
| Science ouverte | 0,002 | 0,003 |
| Intégrité de la recherche | 0,002 | 0,002 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».