The Silent Author in Urology: Quantifying Large Language Model Influence at the Corpus Level
Notice bibliographique
Résumé
Introduction The recent increasing use of large language models (LLMs) such as ChatGPT in scientific writing raises concerns about authenticity and accuracy in biomedical literature. This study aims to quantify the prevalence of Artificial Intelligence (AI)-generated text in urology abstracts from 2010 to 2024 and assess its variation across journal categories and impact factor quartiles. Methods A retrospective analysis was conducted on 64,444 unique abstracts from 38 journals in the field of urology published between 2010-2024 and retrieved via the Entrez API from PubMed. Abstracts were then categorized by subspecialty and stratified by impact factor (IF). A synthetic reference corpus of 10,000 abstracts was generated using GPT-3.5-turbo. A mixture model estimated the proportion of AI-generated text annually, using maximum likelihood estimation with Laplace smoothing. Calibration and specificity of the estimator were assessed using pre-LLM abstracts and controlled mixtures of real and synthetic text. Statistical analyses were performed using Python 3.13. Results The proportion of AI-like text was negligible from 2010 to 2019, rising to 1.8% in 2020 and 5.3% in 2024. In 2024, Men’s Health journals showed the highest AI-like text, while Oncology journals had the lowest. Journals in the highest and lowest IF quartiles showed a higher proportion of AI-like text than mid-quartiles. Type-Token Ratio (TTR) remained stable across the study period. Our validation calibration set showed an area under the curve of 0.5326. Conclusion Textual patterns similar to AI-generated language has risen sharply in urology abstracts since ChatGPT’s release in late 2022, and this trend varies by journal type and IF. Patient summary We looked at whether large language models (LLM) such as ChatGPT are influencing the way urology research is written. We found that signs of LLM-like text were rare in abstracts before 2020 but increased in recent years, especially after the release of ChatGPT. Some journal types use these tools more than others. These findings help raise awareness about the growing role of artificial intelligence in scientific communication.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,027 | 0,163 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,006 | 0,005 |
| Études des sciences et des technologies | 0,001 | 0,002 |
| Communication savante | 0,004 | 0,003 |
| Science ouverte | 0,001 | 0,002 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,004 | 0,002 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».