Generating actionable insights from free-text care experience survey data using qualitative and computational text analysis: A study protocol
Notice bibliographique
Résumé
Introduction: The National Care Experience Programme (NCEP) conducts national surveys that ask people about their experiences of care in order to improve the quality of health and social care services in Ireland. Each survey contains open-ended questions, which allow respondents to comment on their experiences. While these comments provide important and valuable information about what matters most to service users, there is to date no unified approach to the analysis and integration of this detailed feedback. The objectives of this study are to analyse qualitative responses to NCEP surveys to determine the key care activities, resources and contextual factors related to positive and negative experiences; to identify key areas for improvement, policy development, healthcare regulation and monitoring; and to provide a tool to access the results of qualitative analyses on an ongoing basis to provide actionable insights and drive targeted improvements. Methods: Computational text analytics methods will be used to analyse 93,135 comments received in response to the National Inpatient Experience Survey and National Maternity Experience Survey. A comprehensive analytical framework grounded in both service management literature and the NCEP data will be employed as a coding framework to underpin automated analyses of the data using text analytics and deep learning techniques. Scenario-based designs will be adopted to determine effective ways of presenting insights to knowledge users to address their key information and decision-making needs. Conclusion: This study aims to use the qualitative data collected as part of routine care experience surveys to their full potential, making this information easier to access and use by those involved in developing quality improvement initiatives. The study will include the development of a tool to facilitate more efficient and standardised analysis of care experience data on an ongoing basis, enhancing and accelerating the translation of patient experience data into quality improvement initiatives.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,144 | 0,151 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,003 |
| Méta-épidémiologie (sens large) | 0,002 | 0,003 |
| Bibliométrie | 0,006 | 0,006 |
| Études des sciences et des technologies | 0,006 | 0,005 |
| Communication savante | 0,006 | 0,005 |
| Science ouverte | 0,005 | 0,007 |
| Intégrité de la recherche | 0,005 | 0,007 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,048 | 0,014 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».