Un outil novateur pour hiérarchiser l'évaluation des traitements expérimentaux contre la COVID-19 : un projet pilote
Notice bibliographique
Résumé
Contexte : Des centaines de traitements expérimentaux contre la COVID-19 ont émergé pendant que la pandémie de COVID-19 sévissait.Maintenir une bonne connaissance de la situation à l'égard de ce vaste paysage thérapeutique qui évoluait rapidement représentait un défi sans précédent pour l'Agence de la santé publique du Canada, qui s'efforçait de promouvoir et de protéger la santé des Canadiens.Il fallait un outil permettant de trier et de hiérarchiser l'évaluation de ces traitements.Méthodes : L'objectif était d'élaborer et d'effectuer une validation initiale d'un outil visant à identifier les traitements expérimentaux contre la COVID-19 en vue d'un examen plus approfondi fondé sur une évaluation préliminaire efficace, à l'aide d'un processus systématique et fiable qui serait pratique à valider, à mettre en œuvre et à mettre à jour.La phase 1 de ce projet pilote a consisté en une recherche documentaire pour déterminer les outils existants de hiérarchisation de l'évaluation thérapeutique de la COVID-19, l'élaboration de l'Outil de notation rapide (ONR) et la validation initiale de l'outil.Résultats : Aucun outil conçu pour classer les traitements expérimentaux contre la COVID-19 afin de hiérarchiser leurs évaluations n'a été identifié.Toutefois, quelques publications ont fourni des critères à considérer et des méthodes de classement thérapeutique, ce qui a contribué à façonner l'élaboration de l'ONR.L'ONR comprend huit critères et plusieurs descripteurs (« caractéristiques »).Une échelle universelle de notation des caractéristiques de -10 à 10 a été élaborée.La somme de toutes les cotes des caractéristiques a produit une cote globale de bénéfice pour chaque traitement.L'ONR a classé de façon appropriée les traitements au moyen d'une approche systématique, fiable et pratique. Conclusion :La phase 1 a été réalisée avec succès.L'ONR présente plusieurs aspects distincts comparativement à d'autres outils, y compris son échelle de notation et sa méthode, ainsi que la capacité de tenir compte de l'information incomplète ou en attente.On prévoit que le cadre utilisé pour l'ONR se prêtera à d'autres situations dynamiques comportant de nombreuses interventions.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,055 | 0,071 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,001 |
| Méta-épidémiologie (sens large) | 0,002 | 0,002 |
| Bibliométrie | 0,001 | 0,001 |
| Études des sciences et des technologies | 0,002 | 0,002 |
| Communication savante | 0,002 | 0,002 |
| Science ouverte | 0,003 | 0,003 |
| Intégrité de la recherche | 0,002 | 0,003 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,014 | 0,004 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».