Evaluating a zero-shot GenAI assistant for clinical record writing in nursing education
Notice bibliographique
Résumé
Objective: This study pilot-tested a zero-shot prompting approach for generating pedagogically appropriate AI feedback to support nursing students’ reflective record writing. A generative AI system was developed using GPT-4o, with prompts carefully designed to align with ethical, instructional, and contextual principles relevant to clinical practicum education. Following the ADDIE framework, this evaluation examined the feasibility and instructional applicability of the AI-generated feedback rather than aiming to establish generalizable effects. Methods: Three nursing faculty members independently reviewed 126 AI-generated responses using a 5-point scale based on clarity, relevance, and educational appropriateness. Items scoring less than 5 were revised, and a second round of evaluation was conducted. Results: The proportion of responses rated 5 increased from 69% to 96% after prompt refinement, confirming that even minor adjustments—such as clarifying vague instructions or reinforcing ethical boundaries—had a measurable impact. Inter-rater reliability was moderate, reflecting diverse faculty perspectives—a feature aligned with the contextual complexity of nursing education. The conservative scoring approach, in which the lowest score was adopted per item, ensured that potential pedagogical risks were not overlooked. Conclusions: These findings suggest that zero-shot prompting offers a practical and scalable method for aligning generative AI systems with educational goals, even without training data or programming expertise. Rather than positioning AI as a replacement for instructors, this study frames GenAI as a formative support tool shaped by educator input. The study is limited by its use of simulated student inputs and a small, single-institution faculty sample; therefore, future work should assess implementation with real students to examine usability, personalization, and effectiveness in authentic practicum environments.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,050 | 0,153 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,001 | 0,001 |
| Études des sciences et des technologies | 0,001 | 0,001 |
| Communication savante | 0,002 | 0,002 |
| Science ouverte | 0,002 | 0,003 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,004 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».