Um Guia Prático para Implementar uma Avaliação Responsável da Pesquisa em Organizações Realizadoras de Pesquisa
Bibliographic record
Abstract
O "Guia Prático para Implementar uma Avaliação Responsável da Pesquisa em Organizações Realizadoras de Pesquisa" oferece orientações práticas, recursos e exemplos ilustrativos para instituições de pesquisa que buscam moldar e implementar práticas de avaliação responsável da pesquisa (ARP). Isso inclui instituições que desejam criar uma estratégia de ARP, organizações que querem reformular práticas existentes e organizações que simplesmente desejam adotar abordagens mais holísticas e inclusivas para a avaliação da pesquisa. Uma única abordagem para a avaliação da pesquisa certamente não serve para todos, portanto, o Guia foi concebido como uma ferramenta inspiradora. Ele é agnóstico em relação à disciplina, flexível e adaptável a diversos contextos organizacionais e disciplinares. Prevemos que o Guia Prático será modificado e atualizado ao longo do tempo, e especialmente enriquecido com exemplos reais e por meio do feedback de instituições de pesquisa à medida que começarem a utilizá-lo. O Guia Prático foi desenvolvido em conjunto com as partes interessadas que se reuniram em 31 de janeiro de 2025 em Maryland, EUA, cujas valiosas contribuições reconhecemos com gratidão. Agradecemos também o valioso feedback dos membros do Comitê Diretivo do DORA, Sean Sapcariu e Bernd Pulverer. Somos gratos a Janet Catterall por sua ajuda na compilação e organização das referências e recursos de apoio mencionados no Guia. A tradução deste Guia para o Português contou com a ajuda do Instituto de Ciências Biomédicas, do Projeto Métricas e da Rede Brasileira de Reprodutibilidade. Muito obrigada a Patrícia Gama, Justin Axel-Berg, Eduarda Centeno, Olavo Amaral, Ricardo Ceneviva, Isis Trajano e Juliana Fernandes. O Guia Prático foi criado como parte do Projeto TARA e, juntamente com o Reformscape, os Building Blocks for Impact e a Debiasing Committee Composition, forma um conjunto de ferramentas desenvolvido para auxiliar organizações que buscam reformar as práticas de avaliação de pesquisa. O Projeto TARA é apoiado pela Arcadia, uma fundação familiar beneficente que ajuda pessoas a registrar o patrimônio cultural, conservar e restaurar a natureza e promover o acesso aberto ao conhecimento, a quem agradecemos. Desde 2002, a Arcadia concedeu mais de US$ 1,2 bilhão a organizações em todo o mundo. Esta publicação está licenciada sob a Licença Creative Commons Atribuição-NãoComercial CC BY-NC. Esta informação pode ser livremente usada, copiada e adaptada para fins não comerciais, desde que a fonte seja citada. Os autores estão ordenados alfabeticamente por sobrenome.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame distilled prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. Learned from the 10,348 direct Codex labels and 10,348 direct Gemma labels. Candidate is the union of thresholded teacher heads; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels or direct frontier model labels.
Codex and Gemma teacher scores by category
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.006 | 0.006 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.000 |
| Bibliometrics | 0.001 | 0.005 |
| Science and technology studies | 0.010 | 0.001 |
| Scholarly communication | 0.005 | 0.001 |
| Open science | 0.004 | 0.003 |
| Research integrity | 0.000 | 0.001 |
| Insufficient payload (model declined to judge) | 0.123 | 0.009 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; both teacher heads agree on what is shown here.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".