Development and validation of the QASSH scale: a tool for assessing the quality of simulation scenarios in healthcare education
Notice bibliographique
Résumé
Simulation-based education has become essential for pre- and post-graduate training of healthcare professionals. However, there is no tool to help simulation educators or program managers in assessing the educational quality of simulation scenario scripts for team-based immersive simulation (IS), simulated participants (SP) and procedural simulation (PS). To that end, we developed the Quality Assessment of Simulation Scenario in Healthcare (QASSH) tool. This study aims at providing validity evidence for QASSH. We set up a francophone group of experts within the French-speaking Society for Simulation in Healthcare (SoFraSimS) network and designed this scale based on recently published best practices and our long experience in conceiving simulation scenarios. We tested it by submitting three scenarios of high, borderline and low quality for assessment to a group of experts, a third of which were involved in its development. Analysis of reliability and validity of the QASSH was done using the Standards for educational and psychological testing. Generalizability theory (GT) was used to assess the internal structure and reliability of the tool. The absolute reliability coefficients (G coefficients) calculated through GT were: 0.97 (IS), 0.96 (SP), and 0.98 (PS). G-facet analyses showed that no removal of a single item of QASSH significantly increased the G coefficient above 0.01 for any of the three variants. Cronbach's alpha coefficients were 0.94 (IS), 0.94 (SP) and 0.97 (PS). Estimating the impact of the number of raters on reliability (i.e. D-studies) showed that two raters were enough to achieve a G coefficient above 0.85. The G study shows a high generalizability coefficient (≥0.90), which demonstrates high reliability. The response process evidence for validity provides evidence that no error was associated with using the instrument and its reliability was high with two raters. The QASSH is a tool to assess the quality of healthcare simulation scenarios and will be helpful to instructors wishing to build effective IS, PS and SPs scenarios.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,002 | 0,005 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,001 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».