Content validation of the information assessment method for delivery of educational material: a mixed methods study
Bibliographic record
Abstract
La mise en ligne d’outils pédagogiques représente une belle occasion d’engager les médecins dans un processus de formation continue.. La Méthode d’évaluation des informations (MEI) est fondée sur le modèle théorique ‘Acquisition, Cognition, Application – Niveaux de résultats’ (ACA-NR). La MEI est un outil unique et populaire pour promouvoir l’application des connaissances; cette méthode est utilisée par plus de 10000 médecins et pharmaciens à travers le Canada dans le cadre de multiples programmes de formation continue. Mon objectif général est d’évaluer la validité de contenu (validité de contenu logique et écologique) de la MEI-v2011 dans un contexte de diffusion des informations via des courriels éducatifs. Mes objectifs spécifiques sont (i) de mesurer la pertinence, et (ii) d’évaluer la représentativité des items de la MEI-v2011. Plan de l’étude En ayant recours aux méthodes mixtes qui combinent et intègrent des résultats quantitatifs et qualitatifs. Dans un premier temps, j’ai utilisé des méthodes quantitatives pour mesurer la pertinence des 23 items de MEI-v2011. Dans un second temps, j’ai utilisé des méthodes qualitatives pour évaluer la représentativité de chaque item de MEI-v2011 Dans un troisième temps, les résultats des analyses quantitatives et qualitatives ont été examinés, combinés, intégrés et discutés avec des experts.Participants et Cadre de l’étudePartie 1 (quantitative): Ont participé les 5596 membres de l’association Médicale Canadienne (AMC) qui ont utilisé MEI-v2011 pour évaluer des synopsis de recherche appelés « Daily POEMs » (Patient-Oriented Evidence that Matters). Partie 2 (qualitative): 15 médecins de famille du département de médecine familiale de l’Université McGill ont participé. Part 3: Sept membres du Groupe de recherche en technologies de l’information en soins de santé primaires (ITPCRG), ont été consultés au sujet de l’analyse des données quantitatives and qualitatives, de l’intégration des résultats quantitatifs et qualitatifs, et des résultats finaux. Collecte et analyse des donnéesPartie 1 (quantitative): 234,194 évaluations (questionnaires MEI complétés) ont été recueillies, à partir de 270 courriels éducatifs “Daily POEM” en 2012. Pour calculer la pertinence de chaque item de la MEI, j’ai utilisé des statistiques descriptives. Partie 2 (qualitative): je les ai invité à participer à un entretien individuel semi dirigé. J’ai enregistré, transcrit et synthétisé 15 entretiens. Pour évaluer la représentativité de chaque item, j’ai codé et analysé les données issues des entretiens (analyse thématique inductive-déductive). Partie 3 (mixte): J’ai combiné et intégré les résultats des parties 1 et 2 pour évaluer la validité de contenu écologique. RésultatsSur les 23 items de la MEI, 21 ont été validés (validité de contenu), deux ont été retirés. Partie 1 (résultats quantitatifs - Pertinence): 21 items ont été jugés pertinents et ont été gardés dans la nouvelle version du questionnaire MEI, deux items ont été jugés non pertinents et ont été retirés du questionnaire. Partie 2 (résultats qualitatifs - Représentativité): 22 items ont étaient représentatifs, un ne l’était pas. Partie 3 (résultats mixtes): J’ai combiné et intégré les résultats quantitatifs et qualitatifs dans le but de mettre au point une nouvelle version de la MEI (MEI-v2014), en accord avec les discussions que j’ai eu avec les experts de l’ITPCRG.Contributions pour l’avancement des connaissancesles médecins et pharmaciens pourront utiliser une méthode validée pour évaluer l’information clinique qu’ils lisent dans les programmes de formation continue. Au niveau organisationnel des fournisseurs d’information, l’analyse des données qui sont collectées avec la MEI-v2014 fournira des résultats valides pour évaluer et améliorer l’information.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.173 | 0.263 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.002 | 0.002 |
| Bibliometrics | 0.004 | 0.003 |
| Science and technology studies | 0.003 | 0.002 |
| Scholarly communication | 0.005 | 0.003 |
| Open science | 0.002 | 0.003 |
| Research integrity | 0.002 | 0.002 |
| Insufficient payload (model declined to judge) | 0.003 | 0.001 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".