Um Guia Prático para Implementar uma Avaliação Responsável da Pesquisa em Organizações Realizadoras de Pesquisa
Bibliographic record
Abstract
O "Guia Prático para Implementar uma Avaliação Responsável da Pesquisa em Organizações Realizadoras de Pesquisa" oferece orientações práticas, recursos e exemplos ilustrativos para instituições de pesquisa que buscam moldar e implementar práticas de avaliação responsável da pesquisa (ARP). Isso inclui instituições que desejam criar uma estratégia de ARP, organizações que querem reformular práticas existentes e organizações que simplesmente desejam adotar abordagens mais holísticas e inclusivas para a avaliação da pesquisa. Uma única abordagem para a avaliação da pesquisa certamente não serve para todos, portanto, o Guia foi concebido como uma ferramenta inspiradora. Ele é agnóstico em relação à disciplina, flexível e adaptável a diversos contextos organizacionais e disciplinares. Prevemos que o Guia Prático será modificado e atualizado ao longo do tempo, e especialmente enriquecido com exemplos reais e por meio do feedback de instituições de pesquisa à medida que começarem a utilizá-lo. O Guia Prático foi desenvolvido em conjunto com as partes interessadas que se reuniram em 31 de janeiro de 2025 em Maryland, EUA, cujas valiosas contribuições reconhecemos com gratidão. Agradecemos também o valioso feedback dos membros do Comitê Diretivo do DORA, Sean Sapcariu e Bernd Pulverer. Somos gratos a Janet Catterall por sua ajuda na compilação e organização das referências e recursos de apoio mencionados no Guia. A tradução deste Guia para o Português contou com a ajuda do Instituto de Ciências Biomédicas, do Projeto Métricas e da Rede Brasileira de Reprodutibilidade. Muito obrigada a Patrícia Gama, Justin Axel-Berg, Eduarda Centeno, Olavo Amaral, Ricardo Ceneviva, Isis Trajano e Juliana Fernandes. O Guia Prático foi criado como parte do Projeto TARA e, juntamente com o Reformscape, os Building Blocks for Impact e a Debiasing Committee Composition, forma um conjunto de ferramentas desenvolvido para auxiliar organizações que buscam reformar as práticas de avaliação de pesquisa. O Projeto TARA é apoiado pela Arcadia, uma fundação familiar beneficente que ajuda pessoas a registrar o patrimônio cultural, conservar e restaurar a natureza e promover o acesso aberto ao conhecimento, a quem agradecemos. Desde 2002, a Arcadia concedeu mais de US$ 1,2 bilhão a organizações em todo o mundo. Em maio de 2026, o Guia Prático para Organizações Realizadoras de Pesquisa (ORP) passou a contar com um guia complementar para Organizações Financiadoras de Pesquisa (OFP), desenvolvido em colaboração com o Grupo de Trabalho em Avaliação Responsável da Pesquisa (RRA) do Global Research Council e a Science Europe. Ele foi traduzido para o Português e está disponível aqui. O Guia Prático para OFPs foi concebido para ser utilizado em conjunto com a Ferramenta de Autoavaliação em Avaliação Responsável da Pesquisa para Financiadores (RRA Self-Assessment Tool for Funders), uma ferramenta diagnóstica que permite às organizações financiadoras avaliar seus próprios processos e planejar uma implementação mais estruturada da Avaliação Responsável da Pesquisa, alinhada às práticas globais. Essa ferramenta foi desenvolvida pelo Grupo de Trabalho em ARP do Global Research Council em colaboração com a DORA. Esta publicação está licenciada sob a Licença Creative Commons Atribuição-NãoComercial CC BY-NC. Esta informação pode ser livremente usada, copiada e adaptada para fins não comerciais, desde que a fonte seja citada. Os autores estão ordenados alfabeticamente por sobrenome.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.008 | 0.010 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.002 | 0.002 |
| Science and technology studies | 0.004 | 0.006 |
| Scholarly communication | 0.011 | 0.009 |
| Open science | 0.002 | 0.009 |
| Research integrity | 0.004 | 0.004 |
| Insufficient payload (model declined to judge) | 0.023 | 0.008 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".