MétaCan
Menu
Retour à la cohorte
Enregistrement W7132959475

Rethinking Clinical De-identification

2022· dissertation· W7132959475 sur OpenAlexfundno aff
Mohamed Mohamed Saad Atia Abdalla

Notice bibliographique

RevueTSpace · 2022
Typedissertation
Langue
DomaineComputer Science
ThématiqueAuthorship Attribution and Profiling
Établissements canadiensnon disponible
Organismes subventionnairesVector Institute
Mots-clésFocus (optics)ConfidentialityTask (project management)Scope (computer science)BottleneckIdentity (music)RecallIdentification (biology)
DOInon disponible

Résumé

récupéré en direct d'OpenAlex

The restricted availability of free-text clinical notes and embedding-models trained on clinical notes is a bottleneck in deploying machine learning in clinical settings. To ameliorate concerns regarding the confidentiality of patient data, researchers are developing methods which automatically remove sensitive personal information from notes. While these methods appear to perform exceedingly well, often with reported precision and recall well above 95%, automated approaches for de-identification are still not trusted by clinicians because there remains non-zero risk. In this work, we present fundamental limitations associated with current approaches to de-identification that cannot be solved by incremental improvements to model performance. These limitations stem from the fact that current approaches are all trained in a supervised manner. To address these limitations, this thesis proposes the first unsupervised approach to the de-identification on free-text clinical notes. The proposed algorithm replaces all tokens with other tokens pseudo-randomly sampled from trained embeddings and is most useful for tasks where humans are not required to read the de-identified notes (e.g., training word embeddings for public release, piloting the feasibility of end-to-end machine learning models). Our approach successfully side-steps the issues facing supervised approaches (e.g., having to decide what constitutes sensitive personal information). The second part of the thesis argues for an expansion to the scope of clinical de-identification. Whereas existing de-identification approaches focus solely on protecting patients’ identities, we argue that de-identification should also focus on protecting the identity of healthcare providers. First, we demonstrate that authorship attribution in clinical notes is a very easy task when compared to many traditional author attribution datasets. Despite the need for specialized and improved author obfuscation techniques, the data to develop such techniques is difficult to obtain due to privacy concerns; it is impractical to manually label paired sentences and difficult to crowd-source the task given data-sharing limitations. To enable the development of automated means of evaluating semantic relatedness, we developed a novel sentence-pair dataset ordered by semantic relatedness. This dataset can serve as a catalyst for future author obfuscation evaluation, and we draw insights from this dataset to better understand existing work.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction distillée sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

score de la tête « metaresearch » (Codex)0,010
score de la tête « metaresearch » (Gemma)0,001
Version: codex-gemma-dda1882f352aStatut de validation: machine_predicted_unvalidated
Catégories candidatesMéta-épidémiologie (sens strict), Études des sciences et des technologies, Intégrité de la recherche, Charge utile insuffisante (le modèle a refusé de juger)
Catégories consensuellesCharge utile insuffisante (le modèle a refusé de juger)
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Qualitatif · Signal consensuel: aucune
GenreSignal candidat: Empirique · Signal consensuel: aucune
Score de désaccord entre enseignants0,639
Score d'incertitude au seuil1,000

Scores Codex et Gemma par catégorie

CatégorieCodexGemma
Métarecherche0,0100,001
Méta-épidémiologie (sens strict)0,0000,001
Méta-épidémiologie (sens large)0,0010,000
Bibliométrie0,0000,001
Études des sciences et des technologies0,0020,000
Communication savante0,0010,000
Science ouverte0,0020,000
Intégrité de la recherche0,0010,003
Charge utile insuffisante (le modèle a refusé de juger)0,0030,001

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,130
Tête enseignante GPT0,467
Écart entre enseignants0,337 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; les deux têtes enseignantes s’accordent sur ce qui est montré ici.

Devis d'étudeQualitatif
Domainenon disponible
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations0
Publié2022
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueTSpaceMême sujetAuthorship Attribution and ProfilingTravaux en français237 207