Evaluating large language models vs residents in cataract and refractive surgery: comparative analysis using the American Academy of Ophthalmology Self-Assessment Program
Notice bibliographique
Résumé
PURPOSE: To assess the accuracy of leading large language models (LLMs) in answering cataract and refractive surgery questions, determine whether prompt complexity affects performance, and compare their accuracy with ophthalmology residents. SETTING: Not applicable. DESIGN: Randomized questionnaire-based study using 100 questions from the cataract and refractive surgery section of the Basic and Clinical Science Course (BCSC) Self-Assessment Program. METHODS: 5 LLMs (ChatGPT-4, ChatGPT-4o, Gemini, Gemini Advanced, and Copilot-Precise Mode) were tested. Data from 1983 BCSC Self-Assessment Program users served as a comparison. Each LLM underwent 2 sessions: one with a simple prompt and another with a contextualized prompt. Accuracy was defined as the proportion of correct answers. RESULTS: Using the simple prompt, ChatGPT-4o achieved the highest accuracy at 84% (95% CI 77%-91%), followed by Gemini Advanced at 82%, Copilot at 78%, ChatGPT-4 at 77%, and Gemini at 62% ( P < .05). With the contextualized complex prompt, ChatGPT-4o again led (86%; 95% CI 79%-93%). Performance differences between simple and complex prompts were not statistically significant ( P > .05). Except for Gemini, all models' lower 95% CIs exceeded the 60% passing threshold. The mean resident score was 77% (95% CI 75%-79%). Only ChatGPT-4o significantly ( P = .04) outperformed residents, while Gemini Advanced and Copilot trended higher ( P ∼ .10). CONCLUSIONS: ChatGPT-4o consistently outperformed ChatGPT-4, Gemini, Gemini Advanced, and Copilot, and was the only model to significantly surpass residents. Prompt complexity did not affect LLM performance. All models except Gemini exceeded the 60% accuracy threshold, indicating the potential of LLMs as tools for knowledge assessment in refractive surgery.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,005 | 0,001 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,002 | 0,000 |
| Bibliométrie | 0,001 | 0,002 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,001 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».