La necesaria discusión sobre las consecuencias de la Cienciometría sobre la construcción de las políticas de Ciencia y Tecnología
Notice bibliographique
Résumé
The continuous changes in journal impact measurement systems should generate many types of debates. The first one should take place among those in charge of evaluation policies for academic production, researchers, publications, research group activity, and institutions that support these structures and that undergo accreditation processes, and of course, of the rankings that end up playing an increasingly influential role in the academic marketing of institutions.Frequently, decision-makers have no expertise in measurement processes derived from scientometrics and bibliometrics, and discussions are consequently disconnected between editors and researchers, developers of scientometric indicators and policy makers in institutions and countries. On the other hand, indicator developers have economic interests because they are usually associated with information companies and lobby governments and organizations that set the evaluation criteria of academics and researchprojects.The various statements made by researchers and academics (San Francisco, Leiden, among others), as well as numerous articles by scientometrics researchers, have pointed out to the problems of impact factor indicators such as IFJ, SINP, SJR, CS and H, which among the best known. In all cases, these indicators are inadequate because they do not allow for an equitable measurement of real impact, the uses of knowledge and cannot account for the volume of articles to citation ratio. In fact, it is problematic to compare a journal that publishes 500 articles with one that publishes 10, and even more so to classify journals in quartiles – inequitable and wrong.These problems are made worse if one considers how systems measure journals supported by a 50-year-old community against others with only 10 years of existence and undergoing consolidation. Likewise, pretending that journals edited by still-consolidating journals are the same as regional journals creates an asymmetry.The unfortunate consequence of using indicators plagued with these issues in science and technology systems is the removal of incentives to scientific production. In fact, years of academic output that group invested resources end up disappearing for this reason. Clearly, the effects of decisions based on these indicators are not good for the consolidation of academic communities.The discussion will surely have to include these defective measurement systems, but also the consequences they have for the consolidation of national and regional academic communities. The interests of the parties involved will also need to be made explicit, and the discussion will have to offer inclusive spaces of participation, so that every actor involved can have a voice. The current dynamics of the regional academic community merits a thorough discussion of this issue and its solution.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,045 | 0,152 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,002 | 0,002 |
| Bibliométrie | 0,009 | 0,014 |
| Études des sciences et des technologies | 0,006 | 0,023 |
| Communication savante | 0,027 | 0,024 |
| Science ouverte | 0,005 | 0,006 |
| Intégrité de la recherche | 0,011 | 0,016 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,013 | 0,004 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».