Bibliographic record
Abstract
Letter to: Große Sprachmodelle zur schnellen Vereinfachung der Eingabe von Qualitätssicherungsdaten: Kommentar Aktuelle Urol 2025; 56(02): 190-190 DOI: 10.1055/a-2315-3530 10.1055/a-2315-3530 vielen Dank, dass Sie sich die Zeit genommen haben, uns ein Feedback zu unserer Veröffentlichung „Große Sprachmodelle zur schnellen Vereinfachung der Eingabe von Qualitätssicherungsdaten: Feldversuch mit realen Daten im Kontext der Tumordokumentation in der Urologie“ zu geben. Wir bedanken uns für Ihre Kritik und möchten auf die von Ihnen angesprochenen Bedenken eingehen. Was zunächst die begrenzte Stichprobengröße von 25 Patienten betrifft, so erkennen wir an, dass größere Stichprobengrößen in diesem Fall wünschenswert wären. Uns ist jedoch wichtig, darauf hinzuweisen, dass unsere Studie als erste Untersuchung der Machbarkeit und des potenziellen Nutzens der Anwendung von KI, insbesondere von ChatGPT 4.0, bei der Tumordokumentation in der Urologie konzipiert war. Sie liefert aus unserer Sicht daher trotzdem wertvolle Einblicke in die Anwendung von KI in diesem Bereich und könnte als Grundlage für künftige Untersuchungen mit größeren Kohorten dienen. In Bezug auf Ihre Bedenken bezüglich des fehlenden Vergleichs zwischen KI-generierten Befunden und menschlicher Leistung stimmen wir zu, dass solche Vergleiche für die Bewertung der Wirksamkeit von KI-Systemen wertvoll sind. Wie von uns beschrieben, dient insbesondere unsere Kostenkalkulation als Anhaltsmodell, die jedoch als grobe Abschätzung der Wirtschaftlichkeit zu verstehen ist. Zukünftige Iterationen unserer Forschung könnten vergleichende Analysen beinhalten, um ein umfassenderes Verständnis der KI-Fähigkeiten im Verhältnis zur menschlichen Expertise zu erhalten. Was mögliche Verzerrungen in den vom KI-System verwendeten Trainingsdaten betrifft, so haben wir strenge Vorverarbeitungs- und Validierungsverfahren durchgeführt, um diese zu minimieren und die Integrität der Daten zu gewährleisten. Bezüglich der Einschränkungen und Nachteilen bei der Nutzung von KI im medizinischen Kontext haben wir uns bewusst sehr fokussiert und kurz mit dem Thema auseinandergesetzt und eher auf eine in weiteren Arbeiten zu führende Diskussion verwiesen. Auch wenn unsere Studie vereinzelte Probleme mit KI-generierten Antworten aufgezeigt hat, sind wir der Meinung, dass diese Probleme in der Anfangsphase der KI-Einführung inhärent sind und durch eine kontinuierliche Verfeinerung und Optimierung der KI-Algorithmen gelöst werden können. Abschließend möchten wir sagen, dass wir Ihr Feedback zu schätzen wissen und die in Ihrem Schreiben aufgezeigten verbesserungswürdigen Bereiche anerkennen. Wir danken Ihnen nochmals für Ihren wertvollen Beitrag und freuen uns auf den weiteren Dialog und die Zusammenarbeit in diesem wichtigen Forschungsbereich. Publication History Article published online: 03 April 2025 © 2025. Thieme. All rights reserved. Georg Thieme Verlag KG Oswald-Hesse-Straße 50, 70469 Stuttgart, Germany
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.001 | 0.003 |
| Meta-epidemiology (narrow) | 0.002 | 0.000 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.001 | 0.001 |
| Science and technology studies | 0.002 | 0.001 |
| Scholarly communication | 0.003 | 0.002 |
| Open science | 0.001 | 0.004 |
| Research integrity | 0.003 | 0.005 |
| Insufficient payload (model declined to judge) | 0.454 | 0.515 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".