Notice bibliographique
Résumé
The restricted availability of free-text clinical notes and embedding-models trained on clinical notes is a bottleneck in deploying machine learning in clinical settings. To ameliorate concerns regarding the confidentiality of patient data, researchers are developing methods which automatically remove sensitive personal information from notes. While these methods appear to perform exceedingly well, often with reported precision and recall well above 95%, automated approaches for de-identification are still not trusted by clinicians because there remains non-zero risk. In this work, we present fundamental limitations associated with current approaches to de-identification that cannot be solved by incremental improvements to model performance. These limitations stem from the fact that current approaches are all trained in a supervised manner. To address these limitations, this thesis proposes the first unsupervised approach to the de-identification on free-text clinical notes. The proposed algorithm replaces all tokens with other tokens pseudo-randomly sampled from trained embeddings and is most useful for tasks where humans are not required to read the de-identified notes (e.g., training word embeddings for public release, piloting the feasibility of end-to-end machine learning models). Our approach successfully side-steps the issues facing supervised approaches (e.g., having to decide what constitutes sensitive personal information). The second part of the thesis argues for an expansion to the scope of clinical de-identification. Whereas existing de-identification approaches focus solely on protecting patients’ identities, we argue that de-identification should also focus on protecting the identity of healthcare providers. First, we demonstrate that authorship attribution in clinical notes is a very easy task when compared to many traditional author attribution datasets. Despite the need for specialized and improved author obfuscation techniques, the data to develop such techniques is difficult to obtain due to privacy concerns; it is impractical to manually label paired sentences and difficult to crowd-source the task given data-sharing limitations. To enable the development of automated means of evaluating semantic relatedness, we developed a novel sentence-pair dataset ordered by semantic relatedness. This dataset can serve as a catalyst for future author obfuscation evaluation, and we draw insights from this dataset to better understand existing work.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,010 | 0,001 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,000 | 0,001 |
| Études des sciences et des technologies | 0,002 | 0,000 |
| Communication savante | 0,001 | 0,000 |
| Science ouverte | 0,002 | 0,000 |
| Intégrité de la recherche | 0,001 | 0,003 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,003 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; les deux têtes enseignantes s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».