(169) The Silent Author? Measuring ChatGPT’s Early Impact on Sexual Medicine Scientific Writing
Notice bibliographique
Résumé
Abstract Introduction The emergence of large language models (LLMs) such as ChatGPT has begun to influence academic writing across biomedical disciplines. Prior studies have identified measurable linguistic shifts following ChatGPT’s release, including increased usage of stylistic enhancer terms often associated with LLM-generated text. However, the extent to which generative AI tools have impacted scientific writing within sexual medicine and fertility literature remains unstudied. Objective To evaluate the early linguistic influence of ChatGPT on sexual medicine and fertility journal abstracts by quantifying deviations in ChatGPT-associated vocabulary through counterfactual trend analysis. Methods Abstracts published between 2010 and 2024 were retrieved from 15 major sexual medicine and fertility journals via PubMed (n = 34,471). After exclusion of empty entries, 29,670 abstracts were included for analysis. A predefined list of 118 ChatGPT-associated marker terms was applied. Annual frequencies from 2010–2020 were used to model expected term usage had ChatGPT not been introduced (counterfactual projection). Observed frequencies for 2023–2024 were compared to projections using excess frequency gap (absolute difference) and excess ratio (relative increase). Results Counterfactual modeling using 2010–2020 data established baseline expectations for ChatGPT-associated vocabulary. In 2024, among 118 tracked ChatGPT-associated terms, 39 terms exhibited ≥2-fold excess ratios, and 7 terms exceeded 4-fold increases relative to projection. The leading terms by excess ratio were unparalleled (9.98-fold), intricate (6.77), intersection (4.69), elevate (4.44), underscore (4.15), delve (4.08), and valuable (4.07). The top terms by absolute excess frequency included comprehensive (+5.24%), additionally (+4.18%), valuable (+3.15%), crucial (+3.11%), and explore (+2.29%). While absolute frequencies for some of these stylistic terms remain modest, several (e.g. comprehensive, valuable, crucial) have reached usage rates exceeding 4–10% of abstracts in 2024, reflecting their growing integration into the narrative style of recent publications. In parallel, the prevalence of abstracts containing ≥1 ChatGPT-associated term rose from 5–8% during 2010–2019 to 9.5% in 2023 and 9.7% in 2024. By contrast, common control phrases demonstrated only minor changes over time, supporting the specificity of the observed linguistic shifts. Conclusions This counterfactual analysis provides early evidence that generative AI tools are introducing recognizable stylistic shifts into sexual medicine and fertility academic writing. Although absolute prevalence remains modest relative to broader biomedical literature, the direction and timing of change parallel global trends seen in AI-assisted scientific writing. These results underscore the need for ongoing monitoring, ethical guidelines, and transparent disclosure regarding the use of LLMs in academic publishing. Disclosure No
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,051 | 0,327 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,005 | 0,006 |
| Études des sciences et des technologies | 0,001 | 0,003 |
| Communication savante | 0,004 | 0,004 |
| Science ouverte | 0,001 | 0,004 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,006 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».