MétaCan
Menu
Retour à la cohorte
Enregistrement W4293420146 · doi:10.1111/medu.14932

‘For the most part it works’: Exploring how authors navigate peer review feedback

2022· article· en· W4293420146 sur OpenAlexaff
Christopher Watling, Jennifer Shaw, Emily Field, Shiphra Ginsburg

Notice bibliographique

RevueMedical Education · 2022
Typearticle
Langueen
DomaineSocial Sciences
ThématiqueStudent Assessment and Feedback
Établissements canadiensUniversity of TorontoWestern University
Organismes subventionnairesnon disponible
Mots-clésCredibilityContext (archaeology)AutonomyProcess (computing)Peer feedbackPeer reviewConsistency (knowledge bases)PsychologyGrounded theorySocial psychologyKnowledge managementPublic relationsComputer scienceQualitative researchPedagogySociologyPolitical science

Résumé

récupéré en direct d'OpenAlex

BACKGROUND: Peer review aims to provide meaningful feedback to research authors so that they may improve their work, and yet it constitutes a particularly challenging context for the exchange of feedback. We explore how research authors navigate the process of interpreting and responding to peer review feedback, in order to elaborate how feedback functions when some of the conditions thought to be necessary for it to be effective are not met. METHODS: Using constructivist grounded theory methodology, we interviewed 17 recently published health professions education researchers about their experiences with the peer review process. Data collection and analysis were concurrent and iterative. We used constant comparison to identify themes and to develop a conceptual model of how feedback functions in this setting. RESULTS: Although participants expressed faith in peer review, they acknowledged that the process was emotionally trying and raised concerns about its consistency and credibility. These potential threats were mitigated by factors including time, team support, experience and the exercise of autonomy. Additionally, the perceived engagement of reviewers and the cultural norms and expectations surrounding the process strengthened authors' willingness and capacity to respond productively. Our analysis suggests a model of feedback within which its perceived usefulness turns on the balance of threats and countermeasures. CONCLUSIONS: Feedback is a balancing act. Although threats to the productive uptake of peer review feedback abound, these threats may be neutralised by a range of countermeasures. Among these, opportunities for autonomy and cultural normalisation of both the professional responsibility to engage with feedback and the challenge of doing so may be especially influential and may have implications beyond the peer review setting.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction machine sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.

score de la tête « metaresearch » (Codex)0,269
score de la tête « metaresearch » (Gemma)0,576
Version: metacan-v3-hybrid-931329e0061cStatut de validation: machine_predicted_unvalidated
Catégories candidatesMétarecherche
Catégories consensuellesMétarecherche
DomaineSignal candidat: Évaluation · Signal consensuel: aucune
Devis d'étudeSignal candidat: Qualitatif · Signal consensuel: Qualitatif
GenreSignal candidat: Empirique · Signal consensuel: Empirique
Score de désaccord entre enseignants0,731
Score d'incertitude au seuil0,901

Scores du classifieur distillé par catégorie (deux têtes)

CatégorieCodexGemma
Métarecherche0,2690,576
Méta-épidémiologie (sens strict)0,0010,001
Méta-épidémiologie (sens large)0,0010,001
Bibliométrie0,0060,004
Études des sciences et des technologies0,0180,026
Communication savante0,0330,026
Science ouverte0,0050,015
Intégrité de la recherche0,0080,008
Charge utile insuffisante (le modèle a refusé de juger)0,0020,001

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,105
Tête enseignante GPT0,417
Écart entre enseignants0,312 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; l’étiquette directe de Gemma et le classifieur distillé Codex s’accordent sur ce qui est montré ici.

Devis d'étudeQualitatif
DomaineÉvaluation
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations4
Publié2022
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueMedical EducationMême sujetStudent Assessment and FeedbackTravaux en français237 207