Comparison of Generative Artificial Intelligence and Student-Generated Veterinary Handouts
Notice bibliographique
Résumé
Generative artificial intelligence (gAI) is becoming increasingly prevalent in our daily lives. Students across multiple disciplines are using gAI for writing assessments and completing projects. This leads to the question: could gAI platforms perform similarly, worse, or better than veterinary students when asked to create discharge handouts for select veterinary neurological conditions? A total of 24 professionals and educators graded handouts based on content, clarity, client education, empathy, and professionalism for two canine neurological conditions (seizures and intervertebral disc disease). Each condition had handouts created by a high-performing student, a random/unknown student whose work was deemed to represent the average student at our institution, ChatGPT 4.0, and Google Bard. The high-performing student's handout scored higher in several categories compared with AI-generated handouts and scored statistically higher overall. Specifically, the high-performing student's seizure handout scored significantly higher in accuracy/completeness and client education than the Bard handout. Both student handouts scored significantly higher for empathy and client support than the AI tools. For the intervertebral disc disease handouts, the AI-generated handouts scored higher in clarity and organization than the random student handout, with the high-performing student's handout scoring higher in empathy and client support over the Bard-generated handout. Upon the conclusion of grading, reviewers completed a survey asking them to guess the authorship of each handout. Veterinary educators and professionals could not distinguish between gAI- and student-developed client handouts. However, the findings suggest that students have the potential to outperform current gAI technology in multiple areas, including conveying empathy.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,010 | 0,088 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,002 | 0,001 |
| Études des sciences et des technologies | 0,000 | 0,001 |
| Communication savante | 0,003 | 0,001 |
| Science ouverte | 0,001 | 0,002 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,004 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».