Book Review-Science Fictions: Exposing Fraud, Bias, Negligence and Hype in Science
Notice bibliographique
Résumé
A shocking and captivating book about a topic every researcher, educator and decision maker should know, it first shakes you to the core, then explains all that is objectively known to be wrong with how we currently conduct scientific research, finally suggesting some possible solutions.Many of the problems identified will be known to a seasoned researcher: publication bias, p-hacking, and hyping correlation from observational studies that does not equal causation, while many researchers are also working collectively to solve these issues (e.g., Open Science Framework, n.d.).Nevertheless, having virtually all that is wrong with science summarized in one book is sure to move, inspire, and compel every scientist to take action.However, this book should not get into the hands of the public, for it will inject fear and despair, washing away the boundary between science and pseudoscience.The book has had an incredible reception.In 2021, it was short-listed for the Royal Society Prize for Science Books (Bookseller, 2021), although it lost to another excellent book.The author, Stuart James Ritchie, is a lecturer at King's College London, currently with 8022 citations and an h-index of 43 (Ritchie, n.d.).As a researcher in psychology, he experienced early in his career that many journals (used to) refuse replication studies, the core of what makes science, science, embarking on a quest to change it (Ritchie, 2021).The book supports its arguments exceptionally well.Every chapter consists of several flawed research papers, followed by other researcher papers rebutting those papers, and sometimes followed by papers refuting the rebuttal!Incredible.A quarter of the whole book consists of explanatory notes and references to literature, which is placed at the end, so as not to disturb the flow of reading.At one point, Ritchie criticizes a Nobel prize winner, Daniel Kahneman, for relying too much in his best-selling book (2012), on some work that was later discredited.Yet, the same could go for this book, too.In the author's own words: "... even if you read a seemingly devastating critique of a piece of research, the critique itself might be mistaken, and so might be the critiques of the critique.That also goes for everything I've written in this book."He offers a 5-pound reward for every minor mistake found in the book, and a 50-pound reward for a major mistake; this book shows that science is full of mistakes.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,002 | 0,024 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,005 | 0,005 |
| Études des sciences et des technologies | 0,002 | 0,003 |
| Communication savante | 0,006 | 0,004 |
| Science ouverte | 0,002 | 0,001 |
| Intégrité de la recherche | 0,009 | 0,005 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,045 | 0,017 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».