A peek behind the curtain: Peer review and editorial decision making at <i><scp>S</scp>troke</i>
Notice bibliographique
Résumé
Editor's Note The mechanisms of peer review and editorial decision making often appear opaque to junior academic neurologists, especially those who have not yet published many papers or served as journal referees themselves. Previous entries in the NeuroGenesis career development series from the Editor‐in‐Chief have reviewed some of the reasons why faculty should participate as peer reviewers when given the opportunity and the factors that authors should consider in choosing appropriate journals for their own manuscripts. In this article, Sposato et al present the results of a systematic analysis of the editorial process at a leading neurology subspecialty journal; their findings will be of interest to readers at all stages of their careers who seek a better understanding of what goes on “behind the scenes” in journal decisions. — Bernard Chang, MD, NeuroGenesis Editor Objective A better understanding of the manuscript peer‐review process could improve the likelihood that research of the highest quality is funded and published. To this end, we aimed to assess consistency across reviewers' recommendations, agreement between reviewers' recommendations and editors' final decisions, and reviewer‐ and editor‐level factors influencing editorial decisions at the journal Stroke. Methods We analyzed all initial original contributions submitted to Stroke from January 2004 through December 2011. All submissions were linked to the final editorial decision (accept vs reject). We assessed the level of agreement between reviewers (intraclass correlation coefficient). We compared the initial editorial decision (accept, minor revision, major revision, and reject) across reviewers' recommendations. We performed a logistic regression analysis to identify reviewer‐ and editor‐related factors associated with acceptance as the final decision. Results Of 12,902 original submissions to Stroke during the 8‐year study period, the level of agreement between reviewers was between fair and moderate (intraclass correlation coefficient = 0.55, 95% confidence interval [CI] = 0.09–0.75). Likelihood of acceptance was <5% if at least 1 reviewer recommended a rejection. In the multivariate analysis, higher reviewer‐assigned priority scores were related to greater odds of acceptance (odds ratio [OR] = 26.3, 95% CI = 23.2–29.8), whereas higher number of reviewers (OR = 0.54 per additional reviewer, 95% CI = 0.50–0.59) and suggestions for reviewers by authors versus no suggestions (OR = 0.83, 95% CI = 0.73–0.94) had lesser odds of acceptance. Interpretation This analysis of the peer‐review process at Stroke identified several factors that might be targeted to improve the consistency and fairness of the overall process. Ann Neurol 2014;76:151–158
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,207 | 0,676 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,002 |
| Méta-épidémiologie (sens large) | 0,003 | 0,002 |
| Bibliométrie | 0,007 | 0,006 |
| Études des sciences et des technologies | 0,008 | 0,011 |
| Communication savante | 0,025 | 0,010 |
| Science ouverte | 0,005 | 0,004 |
| Intégrité de la recherche | 0,005 | 0,010 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,006 | 0,004 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».