The Development and Implementation of an Outcome Monitoring System for Addiction Treatment
Why this work is in the frame
A frame that forgets how it found something cannot be audited. These are the routes that admitted this work.
Bibliographic record
Abstract
Objectives: Routine outcome monitoring is critical for evaluating quality and effectiveness of mental health and addiction (MHA) services. This paper describes the development, design and implementation of an outcome monitoring system (OMS) within an inpatient addiction treatment program, presents feasibility findings from pilot testing and early implementation, and shares lessons learned. Methods: A logic model, as well as data collection tools and protocols, were developed collaboratively with stakeholders including staff, former patients, and external experts. Pilot testing assessed the reliability of the tool's items. Following implementation, preliminary participation rates were evaluated and early lessons were documented. Results: The logic model classified recovery outcomes into eleven domains. The OMS was designed to routinely collect self-reported data on each recovery domain from patients (19+ years) at admission and discharge (self-administered tool using electronic software), and post-discharge at 1-, 3-, 6-, and 12-month intervals (via telephone or email). The average time for tool completion via tablet was 20.5 minutes, while telephone was 18.1 minutes. Test-retest analysis of key outcome measures ranged from 0.36 to 0.94 (poor to excellent agreement) for categorical items and 0.55 to 0.82 (good to excellent agreement) for dichotomous items. At admission, 41.8% of patients consented to participate and 98% completed the tool. Lessons learned relating to stakeholder commitment; system and tool development; standardized baseline measurement; and use of electronic questionnaires are shared. Conclusions: Sharing approaches used and lessons learned may inform the development and implementation of similar systems that can be used to evaluate MHA services within other settings. Objectifs: Le suivi systématique des résultats est essentiel dans l’évaluation de la qualité et l'efficacité des services de toxicomanie en santé mentale (MHA). Cet article décrit le développement, la conception et la mise en œuvre d'un système de suivi des résultats (OMS) dans un programme de traitement de la toxicomanie en milieu hospitalier. Il présente les résultats de faisabilité de tests pilotes et leur mise en œuvre préliminaire, en plus de partager les leçons apprises. Méthodes: Un modèle logique, ainsi que des outils et des protocoles de collectes de données, ont été élaborés en collaboration avec les parties prenantes, comprenant le personnel, des anciens patients et des experts externes. L'essai pilote a évalué la fiabilité des éléments de l'outil. Suite à sa mise en œuvre, des taux préliminaires de participation ont été évalués et les premiers apprentissages ont été documentés. Résultats: Le modèle logique a classifié les résultats de rétablissement dans onze domaines. L'OMS a été conçu pour recueillir régulièrement des données auto-déclarées des patients (19 ans et plus) dans chaque domaine de rétablissement, à l'admission et au congé (en utilisant un logiciel électronique autogéré), et après congé à des intervalles de 1, 3, 6, et 12 mois (par téléphone ou par courriel). Le temps moyen pour l'achèvement du logiciel par l'intermédiaire de la tablette était de 20,5 minutes, alors que par téléphone, il était de 18,1 minutes. L'analyse des principales mesures des résultats variait 0,36 à 0,94 (médiocre à excellent) pour les articles catégoriques et 0,55 à 0,82 (bon à excellent) pour les articles dichotomiques. À l'admission, 41,8% des patients ont accepté de participer et 98% ont terminé l'outil. Les enseignements tirés avaient trait à l'engagement des parties prenantes; le système et le développement du logiciel; la mesure normalisée de référence; et l'utilisation de questionnaires électroniques qui ont été partagés. Conclusions: Le partage des approches utilisées et des leçons apprises peuvent aider à l’élaboration et la mise en œuvre des systèmes similaires qui pourront être utilisés pour évaluer les services de MHA dans d'autres contextes. Mots clés: Dépendance, traitement de l'alcoolisme, le traitement médicamenteux, résidentiel ou en milieu hospitalier, le suivi des résultats
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
Full frame distilled prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. Learned from the 10,348 direct Codex labels and 10,348 direct Gemma labels. Candidate is the union of thresholded teacher heads; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels or direct frontier model labels.
Codex and Gemma teacher scores by category
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.001 | 0.000 |
| Meta-epidemiology (narrow) | 0.000 | 0.000 |
| Meta-epidemiology (broad) | 0.000 | 0.000 |
| Bibliometrics | 0.000 | 0.000 |
| Science and technology studies | 0.000 | 0.000 |
| Scholarly communication | 0.000 | 0.000 |
| Open science | 0.000 | 0.000 |
| Research integrity | 0.000 | 0.000 |
| Insufficient payload (model declined to judge) | 0.000 | 0.000 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from it