Un outil novateur pour hiérarchiser l'évaluation des traitements expérimentaux contre la COVID-19 : un projet pilote
Bibliographic record
Abstract
Contexte : Des centaines de traitements expérimentaux contre la COVID-19 ont émergé pendant que la pandémie de COVID-19 sévissait.Maintenir une bonne connaissance de la situation à l'égard de ce vaste paysage thérapeutique qui évoluait rapidement représentait un défi sans précédent pour l'Agence de la santé publique du Canada, qui s'efforçait de promouvoir et de protéger la santé des Canadiens.Il fallait un outil permettant de trier et de hiérarchiser l'évaluation de ces traitements.Méthodes : L'objectif était d'élaborer et d'effectuer une validation initiale d'un outil visant à identifier les traitements expérimentaux contre la COVID-19 en vue d'un examen plus approfondi fondé sur une évaluation préliminaire efficace, à l'aide d'un processus systématique et fiable qui serait pratique à valider, à mettre en œuvre et à mettre à jour.La phase 1 de ce projet pilote a consisté en une recherche documentaire pour déterminer les outils existants de hiérarchisation de l'évaluation thérapeutique de la COVID-19, l'élaboration de l'Outil de notation rapide (ONR) et la validation initiale de l'outil.Résultats : Aucun outil conçu pour classer les traitements expérimentaux contre la COVID-19 afin de hiérarchiser leurs évaluations n'a été identifié.Toutefois, quelques publications ont fourni des critères à considérer et des méthodes de classement thérapeutique, ce qui a contribué à façonner l'élaboration de l'ONR.L'ONR comprend huit critères et plusieurs descripteurs (« caractéristiques »).Une échelle universelle de notation des caractéristiques de -10 à 10 a été élaborée.La somme de toutes les cotes des caractéristiques a produit une cote globale de bénéfice pour chaque traitement.L'ONR a classé de façon appropriée les traitements au moyen d'une approche systématique, fiable et pratique. Conclusion :La phase 1 a été réalisée avec succès.L'ONR présente plusieurs aspects distincts comparativement à d'autres outils, y compris son échelle de notation et sa méthode, ainsi que la capacité de tenir compte de l'information incomplète ou en attente.On prévoit que le cadre utilisé pour l'ONR se prêtera à d'autres situations dynamiques comportant de nombreuses interventions.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.055 | 0.071 |
| Meta-epidemiology (narrow) | 0.002 | 0.001 |
| Meta-epidemiology (broad) | 0.002 | 0.002 |
| Bibliometrics | 0.001 | 0.001 |
| Science and technology studies | 0.002 | 0.002 |
| Scholarly communication | 0.002 | 0.002 |
| Open science | 0.003 | 0.003 |
| Research integrity | 0.002 | 0.003 |
| Insufficient payload (model declined to judge) | 0.014 | 0.004 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".