An investigation into the quality of clinical practice guidelines, the developers who produced them, and an inside look into the guideline development process of regulatory bodies
Bibliographic record
Abstract
Des décisions cliniques sont prises dans divers milieux de soins de la santé tous les jours. Contrairement aux manuels de procédures qui offrent des instructions concises sur les dépistages diagnostiques, les interventions appropriées, la durée du traitement et les processus approuvés, les guides de pratique clinique (GPC) fournissent des recommandations qui servent à informer les décisions du clinicien. Bien qu'il s’agisse d’une ressource utile pour les professionnels de la santé mentale et des services sociaux, la valeur et l’utilité des GPCs sont dépendantes de leur qualité. En médecine, l’évaluation de la qualité des GPC est courante alors que ces efforts tardent dans le domaine de la psychologieMacQueen et al., 2016). Par conséquent, il est primordial d’évaluer davantage la qualité des recommandations psychologiques. De surcroît, peu d'attention a été accordée aux développeurs de guides, en particulier à la composition des groupes d'élaboration des guides cliniques et à la nature de l'expertise des personnes impliquées dans le développement des GPCs. L'Ordre des psychologues du Québec (OPQ), le producteur de GPC le plus important au Canada, a publié cinq GPCs actuellement disponibles pour les psychologues: L’évaluation de la dyslexie chez les enfants (2014), Les troubles du spectre de l’autisme l’évaluation clinique: Lignes directrices (2012), Lignes directrices pour l’évaluation du retard mental (2007), Lignes directrices pour l’évaluation d’un enfant en vue d’une demande de dérogation à l’âge d’admission à l’école (2006), et les Lignes directrices pour l’expertise en matière de garde d’enfants et des droits d’accès (2006). Ceux-ci ont pour but de fournir aux psychologues des recommandations pratiques empiriques dans les domaines de l’évaluation, du diagnostic, et du fonctionnement général. La première étude décrite ici visait à évaluer la qualité de ces guides cliniques à l'aide d'un outil d'évaluation reconnu, le Appraisal of Guidelines for Research and Evaluation II (AGREE II). Nos résultats ont montré la nécessité d’une plus grande rigueur méthodologique dans l’élaboration de guides cliniques. La deuxième étude a examiné la composition des groupes de développement ainsi que l'expertise des membres des comités d'élaboration de guide publiés par l’OPQ, tel que défini par la productivité académique en recherche des membres des comités de rédaction de guides. Nous avons analysé la productivité des membres des comités en matière de publications examinées par des pairs par l’entremise de PsycINFO et MEDLINE, et nous avons récupéré leur indice-h à l’aide de Scopus et Web of Knowledge. Les résultats ont révélé un important déséquilibre entre l'expertise clinique et l'expertise en recherche des membres où seul un faible pourcentage de chercheurs ont participé sur ces comités. Cela souligne la nécessité d'améliorer la composition des groupes pour l'élaboration de guides cliniques futurs. Pour l'étude 3, nous avons interrogé 40 membres siégeant sur divers comités de développement et ayant travaillé sur l'un des 17 GPC publiées par six organismes de réglementation en sciences sociales au Québec. Nous avons examiné leurs connaissances en matière de méthodologie, leurs connaissances relatives à l'élaboration de guides cliniques, et avons sollicité leur avis sur la qualité des guides qu'ils ont élaboré. Les résultats montrent que la connaissance des développeurs en lien aux méthodologies de développement devrait être améliorée; que la composition des comités devrait être plus diversifiée; que les procédures permettant la gestion des points de vue divergents au cours du processus de développement étaient vagues ou inexistantes; que les conflits d'intérêts étaient signalés de manière inadéquate; et que es guides devraient être mises à jour. Ces trois études montrent qu'une planification plus minutieuse et des méthodologies plus rigoureuses devraient être mises en place lors du processus d'élaboration des lignes directrices
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.692 | 0.883 |
| Meta-epidemiology (narrow) | 0.001 | 0.003 |
| Meta-epidemiology (broad) | 0.002 | 0.002 |
| Bibliometrics | 0.015 | 0.014 |
| Science and technology studies | 0.007 | 0.011 |
| Scholarly communication | 0.031 | 0.026 |
| Open science | 0.009 | 0.010 |
| Research integrity | 0.009 | 0.014 |
| Insufficient payload (model declined to judge) | 0.003 | 0.001 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; the direct Gemma label and the distilled Codex classifier agree on what is shown here.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".