Is DeepSeek Capable of Passing the UK Radiology Fellowship Examinations?
Notice bibliographique
Résumé
Objective: This study evaluates the capability of DeepSeek, a large language model-based Artificial intelligence (AI) system, in passing the UK Fellowship of the Royal College of Radiologists (FRCR) examination by assessing its performance on text-based components. Methods: DeepSeek R1, a publicly available AI chatbot, was tested using standardised prompts on 200 Part 1 physics questions and two sets of 120 single-best-answer questions from Part 2A of the FRCR examination. The AI’s performance was compared against the 2024 FRCR pass marks (57%-75% for Part 1 and 55%-60% for Part 2A). Due to its inability to analyse images, DeepSeek was not assessed on the anatomy or Part 2B components. Results: DeepSeek achieved an accuracy of 82% on the Part 1 physics section and 81.67% and 80% on the two Part 2A papers, surpassing the required pass thresholds for all tested sections. Discussion: These findings demonstrate that DeepSeek possesses substantial knowledge relevant to the FRCR examination and suggest potential applications in radiology education. However, its current inability to process image-based questions limits its applicability in practical radiological assessments. Future advancements integrating image analysis capabilities may enhance its role in radiology training and clinical practice. Conclusion: DeepSeek demonstrates high accuracy in answering text-based FRCR questions, highlighting its potential as an AI-driven educational tool. However, further development is required to enable comprehensive AI integration into radiology training and diagnostic workflows.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,010 | 0,055 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,000 |
| Bibliométrie | 0,001 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,001 |
| Communication savante | 0,002 | 0,003 |
| Science ouverte | 0,001 | 0,002 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,007 | 0,007 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».