From diagnostics to education: Multi-domain evaluation of LLM chatbots in neurology
Notice bibliographique
Résumé
أظهرت النماذج اللغوية الضخمة تقدّمًا ملحوظًا في دعم عمليات البحث العلمي، وتحليل البيانات، وتعزيز الاتصال في مختلف فروع علوم الأعصاب. تهدف هذه الدراسة إلى إجراء مراجعة منهجية وتجميع الأدلة الحالية حول تطبيقات النماذج اللغوية الضخمة في تقييم واضطراب وتشخيص ومتابعة الاضطرابات العصبية. تم البحث في ثلاثة قواعد بيانات هي: قاعدة بيانات العلوم الطبية الحيوية، وقاعدة بيانات سكوبس، وقاعدة بيانات العلوم. جرى اختيار الدراسات وفقًا لإرشادات "بيزما"، كما تم استخدام مقياس "نيوكاسل–أوتاوا" لتقييم جودة الدراسات من حيث الصلة والمنهجية وقابلية التطبيق. شملت المراجعة تسع دراسات في التحليل النهائي. تشير النتائج إلى توظيف النماذج اللغوية الضخمة في مجالات متعددة من علوم الأعصاب، بما في ذلك توليد الفرضيات، ودعم اتخاذ القرار السريري، والنمذجة الإدراكية. يمكن لهذه النماذج معالجة مجموعات ضخمة من البيانات، واستخلاص الأنماط، ودعم الطب الشخصي. ومع ذلك، ما تزال تحديات مثل قابلية التفسير، والاعتبارات الأخلاقية، والحاجة إلى تدريب متخصص تمثّل نقاطًا حرجة. من خلال تسهيل سير العمل وكشف رؤى جديدة، تمتلك النماذج اللغوية الضخمة القدرة على إحداث تحول جذري في مختلف مجالات علوم الأعصاب. ومع ذلك، تظل الحاجة قائمة لمزيد من الدراسات التي تبحث في موثوقيتها، وآثارها الأخلاقية، ومدى تكيفها مع المتطلبات الخاصة لعلم الأعصاب. The development of large language models (LLMs) has shown promising results in enhancing research processes, data analysis, and communication in various domains of neurology. In this work, we systematically review and synthesize current evidence on the applications of LLMs in the assessment, diagnosis, and monitoring of neurological disorders. Three databases, namely PubMed, Scopus, and Web of Science, were considered for document search. Article selection was according to PRISMA guidelines, and Newcastle–Ottawa Scale (NOS) was used to assess the article quality based on relevance, quality, and applicability. Nine studies were included in the final analysis. Based on the findings, LLMs have been utilized in diverse areas of neuroscience including hypothesis generation, clinical decision support, and cognitive modeling. LLMs can process large datasets, identify trends, and support personalized medicine. However, challenges such as interpretability, ethical considerations, and domain-specific training remain critical. By facilitating workflows and uncovering new insights, LLMs can revolutionize different domains of neurology. Nevertheless, further research on their reliability, ethical implications, and adaptation to the unique demands of neuroscience is needed.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,002 | 0,004 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,001 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».