CPCSSN Data Quality: An Opportunity for Enhancing Canadian Primary Care Data
Notice bibliographique
Résumé
Context: Building a source for pan-Canadian EMR data, which has a complex and geographically varied healthcare system, is challenging. For more than a decade, the Canadian Primary Care Sentinel Surveillance Network (CPCSSN) has been working to develop and standardize primary care data to ensure it is sufficient quality to be a valuable source for clinicians, researchers, and policy makers. A data quality (DQ) framework was developed to evaluate the CPCSSN database. Objective: to assess two DQ dimensions (1) accuracy and reliability; and (2) comparability and coherence, using evidence-based indicators. Study Design and Analysis: Three indicators were used: (a) element presence-the completeness of common data elements expected to be present or ‘not null’; (b) data source agreement-how information derived from CPCSSN compared to other sources of information; and (c) data across jurisdictions and sources- the prevalence of common data elements across sites, EMR type and province. We used data that included records up until June 30, 2022. Outcome measure: (a) % present of common data elements within the database; (b) prevalence of common chronic diseases; and (c) prevalence of common ICD-9 codes, medication codes and lab codes. Results: Coded fields within CPCSSN are ≥93% complete for demographic elements. Diagnostic data is highly present in uncoded fields (<6% null) but shows some missingness in coded fields (~75% present). Medication and lab names are well captured (> 99% present) but medication specifications (ex. duration, frequency) need standardization. The prevalence of common chronic diseases estimated using CPCSSN data are reasonable and comparable to estimates from administrative and survey data. Comparing common diagnostic, medication, and lab codes across site, EMR type and province shows that there is a great degree of variation in the use of these common codes at each site, which is influenced by EMR type and province. Conclusions: The CPCSSN database has reasonable DQ in terms of accuracy and reliability, and comparability and coherence when it is used for epidemiological research. The indicators highlight the extensive work CPCSSN has done to create coded, standardized information. We recommend CPCSSN operations continues to develop cleaning and processing tools to reduce missingness in coded fields. It is recommended that users request identification of site, EMR and province so that clustering can be accounted for in the analysis.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,419 | 0,638 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,002 |
| Méta-épidémiologie (sens large) | 0,003 | 0,003 |
| Bibliométrie | 0,019 | 0,029 |
| Études des sciences et des technologies | 0,010 | 0,009 |
| Communication savante | 0,023 | 0,013 |
| Science ouverte | 0,012 | 0,024 |
| Intégrité de la recherche | 0,003 | 0,006 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,008 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».