Can medical students use artificial intelligence to learn transfusion? Evaluating <scp>ChatGPT</scp> responses to the American Society of Hematology medical student transfusion learning objectives
Notice bibliographique
Résumé
BACKGROUND AND OBJECTIVES: Chat generative pretrained transformer (ChatGPT) is a large language model that is already in wide use among medical students as a means of learning. Many papers have evaluated ChatGPT as a presenter of medical knowledge for the general public and as a test-taking engine. For students who rely on ChatGPT to learn transfusion medicine, it is important to understand the limitations of the application. MATERIALS AND METHODS: Transfusion content from the American Society of Hematology 'medical student learning objectives' was edited into questions for the ChatGPT interface. The answers generated by ChatGPT were then marked by three experienced transfusion medicine physicians. RESULTS: ChatGPT scored on average 2.27 ± 0.21 on a 4-point scale. Two-thirds of its answers scored A, B or C, representing excellent, good or satisfactory achievement, respectively. One-third of ChatGPT's answers were assigned a failing grade. Simple questions of basic transfusion science performed the best; more complex questions as well as questions where clinical practice has evolved substantially over the last several years performed the worst. Some answers were assessed to be unsafe in clinical practice. CONCLUSION: As a resource for medical students learning transfusion medicine, ChatGPT has significant limitations. A considerable proportion of its answers to transfusion questions are unreliable, inaccurate and even unsafe. These incorrect answers are presented with the same authoritative tone as its correct answers, and an inexperienced learner would be challenged to differentiate between true and untrue responses. At the present time, it is not recommended for medical students to use ChatGPT to learn transfusion medicine.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,004 | 0,012 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,000 | 0,002 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,001 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».