Enregistrement W2594171765 · doi:10.1016/j.annemergmed.2016.12.025

Individual Gestalt Is Unreliable for the Evaluation of Quality in Medical Education Blogs: A METRIQ Study

2017· article· en· W2594171765 sur OpenAlexaff

Brent Thoma, Stefanie S. Sebok‐Syer, Keeth Krishnan, Marshall Siemens, N. Seth Trueger, Isabelle N Colmers-Gray, Rob Woods, Emil Petrusa, Teresa M. Chan, Charlotte Alexander, Mohammed Alkhalifah, Saeed Alqahtani, Scott Anderson, Shelaina Anderson, Colin Andrews, Jocelyn Andruko, Felix Ankel, Nikytha Antony, Diptesh Aryal, Barbra E. Backus, Jennifer Baird, Andrew Baker, Sarah Batty, Jared Baylis, Braeden Beaumont, Chris Belcher, Brent Benavides, Michael D. Benham, Elyse Berger Pelletier, Julian Botta, Nicholas Bouchard, Victoria Brazil, Emily Brumfield, Anthony Bryson, Wisarut Bunchit, Kat Butler, Lindy Buzikievich, David Calcara, Rob Carey, Stephen Carroll, Casey Lyons, Louise Cassidy, Kirsty Challen, Timothy Chaplin, Natasha Chatham-Zvelebil, Eric Chen, Lucy Chen, Sushant Chhabra, Alvin Chin, Eric Chochi, Tina Choudhri, Jeremy Christensen, Kimberly Connors, Veronica Coppersmith, Abby Cosgrove, Gregory Costello, Kevin Cullison, Andrew D. D’Alessandro, Kerstin de Wit, Marie Decock, Rayan Delbani, William Denq, Julianna Deutscher, Brendan Devine, Maia Dorsett, Taylor Duda, Justin Dueweke, Teresa Dunphy, Sean Dyer, Kathryn Eastley, Marcia L. Edmonds, Ken Edwards, Robert R. Ehrman, Youness Elkhalidy, Preston J. Fedor, Brian Ficiur, Caley Flynn, Bill Fraser, Meagan Fu, James Fukakusa, Eric Funk, Damjan Gaco, Viktor Gawlik, Kenn Ghaffarian, Laleh Gharahbaghian, Phil Griffith, Andrew Griffith, Andrew Grock, Tanner Gronowski, Cathy Grossman, Jaroslaw Gucwa, Pawan Kumar Gupta, Alexandra Gustafson, Andrew Guy, Mary R. Haas, Stanislaw Haciski, Emina Hajdinjak, Andrew K. Hall, Regina Hammock, Jan Hansel, Alexander Hart, Larissa Hattin, Brandon Herb, SueLin Hilbert, Jesse Hill, Jeff Hill, Emily House, Nina House, James L. Huffman, Alex Ireland, Mohammed Ali Jamal, Victor Jansen, Zach Jarou, Vivian Jia, Levi Johnston, Drew Kalnow, Puneet Kapur, Seth Kelly, Kyle Kelson, William Kent, Rishi Khakhkhar, Jaasmit Khurana, Ashley Kilp, Scott Knapp, Sebastian Köhler, Ivanna Kruhlak, Nadim Lalani, Samantha Lam, Patrick M. Lank, Zander Laurie, Kristina Lea, Ernest Leber, Ching-Hsing Lee, Haakon Lenes, Nilantha Lenora, Jesse Leontowicz, Kelly Lien, Ying‐Chun Lin, Michelle Lin, Andrew Little, Ivy Liu, Harry Liu, Steve Liu, Stephanie Louka, Elise Lovell, David Lowe, Ashley Lubberdink, Jessica G.Y. Luc, Sheng‐Hsiang Ma, Hugh MacLeod, Nick Mancuso, Anali Maneshi, Dra. Maria Rosa Carrillo, Jesse May, John Mayo, M. M. McDonnell, Susan McLellan, Carolyn McQuarrie, Julia Nood, Therese Mead, Cory Meeuwisse, Patrick Meloy, Perry J. C. Menzies, Anne Messman, Stephen Miazga, Logan Mills, Ken Milne, Allan Mix, Steve Montag, Brendon Moore, Justin Morgenstern, Sarah Mott, P. Mukherj, Ali Mulla, Sheena Nandalal, Taylor Nikel, Sean Nugent, Morgan Oakland, Werner Oberholzer, Onyeka Otugo, Taofiq Segun Oyedokun, Mike Paddock, Alim Pardhan, Kinjal Patel, Quinten S. Paterson, Catherine Patocka, Christine Patterson, James Pearlman, Alexis Pelletier‐Bui, Marc Phan, Zafrina Poonja, Aubrey Powell, Kamini Premkumar, Gregor Prosen, Vishal Puri, Tanis Quaife, Ryan Raffel, Ali S. Raja, Randi Ramunno, Louise Rang, Suzanne Rannazzisi, Shauna Regan, Milan L. Ridderikhof, Vanessa L. Rogers, Christine Roh, Keith Rosenberg, Marina Roure, Sherri L Rudinsky, Joshua Rudner, Adeeb Saleh, Will Sanderson, Owen Scheirer, Paul N. Schofield, Paul Schunk, Evan S. Schwarz, Parisa Shahrabadi, Eric Shappell, Julia M. Sheffield, Jonathan Sherbino, Manpreet Singh, Hector C. Singson, Dave Slessor, Sam Smith, Paula Sneath, Robert Sobehart, Kerry Spearing, James Stempien, Britni Sternard, Tara Stratton, Katherine Stuart, Bob Stuntz, Michael Susalla, Colleen Sweeney, Loice Swisher, Henry Swoboda, Shahbaz Syed, Taku Taira, Nikhil Tambe, Richard Tang, Elisha Targonsky, Rachel Taylor, Alan G. Taylor, Todd B. Taylor, Paxton Ting, Gerhard Tiwald, Kelvin Tran, Evelyn Tran, Jason Trickovic, Paul Trinquero, Seth Trueger, Aaron Tyagi, Manrique Umana, Patrick Vallance, Patricia van den Berg, Luis Vargas, René Verbeek, Sandra Viggers, Zlata Vlodaver, M Wagner, Noorin Walji, Joe Walter, Miranda Wan, Rachel Wang, Gregory K. Wanner, Wyatt Warawa, Mike Ward, Jennifer Weekes, Kristen Weersink, Cara Weessies, Anna Whalen-Browne, Brian Whiteside, Matthew Willis, Jonas Wilmer, Nelson Wong, Mark W. Woodcroft, Lawrence Yau, Jessica Yee, Calvin H. Yeh, Simon Huang, Katherine Yurkiw, Fareen Zaver, Alexander Zozula

Notice bibliographique

RevueAnnals of Emergency Medicine · 2017

Typearticle

Langueen

DomainePsychology

ThématiqueChild Therapy and Development

Établissements canadiensMcMaster UniversityUniversity of TorontoWestern UniversityUniversity of AlbertaUniversity of Saskatchewan

Organismes subventionnairesnon disponible

Mots-clésGeneralizability theoryIntraclass correlationGestalt psychologyMedicineLikert scalePearson product-moment correlation coefficientReliability (semiconductor)CorrelationFamily medicineClinical psychologyStatisticsPsychometricsPsychology

DOI10.1016/j.annemergmed.2016.12.025

Résumé

récupéré en direct d'OpenAlex

Aucun résumé dans les sources couvertes. Son absence est consignée, pas traitée comme un négatif.

Aucun résumé. Ce n'est pas une lacune de cette base de données : OpenAlex n'en a pas non plus. 23,3 % de la base est dans cet état, et le tri y repère MOITIÉ moins de métarecherche ; l'absence est donc un biais mesuré, et non un champ manquant.

Comment cette classification a été obtenuedéplier

Prédiction machine sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.

score de la tête « metaresearch » (Codex)0,032

score de la tête « metaresearch » (Gemma)0,219

Version: metacan-v3-hybrid-931329e0061cStatut de validation: machine_predicted_unvalidated

Catégories candidatesMétarecherche

Catégories consensuellesaucune

DomaineSignal candidat: Évaluation · Signal consensuel: aucune

Devis d'étudeSignal candidat: Observationnel · Signal consensuel: Observationnel

GenreSignal candidat: Empirique · Signal consensuel: Empirique

Score de désaccord entre enseignants0,968

Score d'incertitude au seuil0,167

Scores du classifieur distillé par catégorie (deux têtes)

Catégorie	Codex	Gemma
Métarecherche	0,032	0,219
Méta-épidémiologie (sens strict)	0,000	0,000
Méta-épidémiologie (sens large)	0,001	0,001
Bibliométrie	0,003	0,002
Études des sciences et des technologies	0,002	0,003
Communication savante	0,004	0,005
Science ouverte	0,001	0,003
Intégrité de la recherche	0,002	0,002
Charge utile insuffisante (le modèle a refusé de juger)	0,005	0,001

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,476

Tête enseignante GPT0,596

Écart entre enseignants0,120 · la distance entre les deux têtes enseignantes sur ce seul travail

Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle