Bibliographic record
Abstract
Tässä väitöskirjassa tarkastellaan mitä vastuullisuus tutkimuksen arvioinnissa tarkoittaa, miksi sitä tarvitaan ja miten sitä toteutetaan käytännössä. Lisäksi tutkimus käy läpi vastuullisen tutkimuksen arvioinnin kohtaamia haasteita sekä arvioi sen tulevaisuuden näkymiä. Vastuullisessa tutkimuksen arvioinnissa huomio siirtyy tutkimuksen arviointiin liittyvien ongelmien kuvaamisesta ratkaisujen kehittämiseen ja toteuttamiseen. Sen näkökulmasta keskeinen ratkaistava ongelma on liian kapeiden kriteerien ja indikaattorien käyttö arvioinnissa, minkä nähdään aiheuttavan muun muassa vääristyneitä kannustimia ja kestämättömiä paineita tutkijoille. Vastuullisempaa tutkimuksen arviointia korostava kansainvälinen liike sai alkunsa 2010-luvun alussa. Väitöskirja pyrkii selvittämään, miten viimeisen reilun kymmenen vuoden aikana julkaistuissa vastuullisen tutkimuksen arvioinnin julistuksissa ja periaatteissa ehdotetaan ratkaistavan tutkimuksen arviointiin liittyviä haasteita, toisin sanoen mikä on vastuullisen tutkimuksen arvioinnin lupaus. Tutkimuksen arviointiin liittyviä haasteita tarkastellaan kolmen arviointiin keskeisesti liittyvän elementin kautta: arvioinnin konteksti, arviointikriteerit ja arvioinnissa käytetyt menetelmät. Haasteisiin ehdotetut ratkaisut määritellään käyttäen viittä kansainvälisesti tunnettua julkaisua: San Franciscon julistus tutkimuksen arvioinnista (nk. DORA-julistus), Leidenin manifesti, Metric Tide, Hongkongin periaatteet ja eurooppalainen sopimus tutkimuksen arvioinnin uudistamisesta. Näiden asiakirjojen voidaan katsoa vaikuttaneen eniten siihen, miten vastuullinen tutkimuksen arviointi ymmärretään, erityisesti Euroopassa. Väitöskirjassa tutkitaan myös, kuinka hyvin vastuullinen tutkimuksen arviointi lunastaa lupauksensa. Tätä tutkitaan tarkastelemalla vastuullisen tutkimuksen arvioinnin nykytilannetta: kuinka hyvin se ratkaisee tunnistettuja haasteita, ja kohtaako se vai luoko se jopa omia uusia haasteitaan. Tutkimuksen arviointiin liittyviä haasteita ja vastuullisen tutkimuksen arvioinnin nykytilannetta tarkastellaan tämän väitöskirjan osana julkaistujen artikkeleiden pohjalta. Artikkelit käydään läpi esimerkkitapauksina, jotka korostavat väitöskirjan yhteenvetoluvussa esiin nostettuja aiheita, ja niiden tuloksia käsitellään yhteenvetoluvun tutkimuskysymysten valossa. Tutkimus päätyy siihen, että vastuullisen tutkimuksen arvioinnin lupaus muodostuu sen pyrkimyksestä kattaa ja ratkaista ensimmäistä kertaa useita tutkimuksen arviointiin liittyviä tunnettuja haasteita sen sijaan, että niitä tarkasteltaisiin yksittäisten menetelmien, tieteenalojen tai käytäntöjen näkökulmasta. Vastuullisen tutkimuksen arvioinnin julistuksissa ja periaatteissa huomioidaan kaikki kolme tutkimuksen arvioinnin keskeistä elementtiä ja ehdotetaan ratkaisuja näihin haasteisiin. Kontekstiin ja kriteereihin liittyvien haasteiden osalta keskeinen ratkaisu on tutkimuksen ja tutkijoiden monimuotoisuuden tunnustaminen ja kunnioittaminen. Menetelmiin liittyvien haasteiden osalta keskeinen ratkaisu on laadullisen arvioinnin käyttäminen ensisijaisena menetelmänä vastuullisesti käytettyjen määrällisten menetelmien tukemana. Mitä tulee siihen, kuinka hyvin vastuullinen tutkimuksen arviointi lunastaa lupauksensa, tutkimuksessa osoitetaan, että se samanaikaisesti ratkaisee, kohtaa ja luo haasteita. Ratkaisee siinä mielessä, että sen esiin nostamat haasteet heijastavat hyvin tutkijoiden kokemuksia eri arviointitilanteista. Se kohtaa haasteita siinä mielessä, että joitakin haitallisia mutta vakiintuneita arviointikäytäntöjä ei voida ratkaista pelkästään vastuullisen tutkimuksen arvioinnin avulla. Ja se luo omia uusia haasteitaan siinä mielessä, että vastuullinen tutkimuksen arviointi vaatii uudistusta tutkimuksen vakiintuneisiin arviointitapoihin, mutta järjestelmä ei ole (vielä) kaikilta osin valmis tähän. Vastataksemme siihen, lunastaako vastuullinen tutkimuksen arviointi lupauksensa, tarvitaan lisää tutkimusta pidemmällä aikaperspektiivillä kuin tällä hetkellä on mahdollista. Sen käsittelemät haasteet ovat osuvia, mutta vastuullisempien arviointikäytäntöjen toteuttamiseksi tarvitaan vielä paljon yhteistyötä koko tutkimusyhteisön kesken. Suurimmat esteet vastuullisemmille arviointikäytännöille ovat syvälle tutkimuskulttuuriin juurtuneet vakiintuneet tavat: kapea ymmärrys laadusta ja vaikuttavuudesta sekä vielä kapeammat tavat arvioida niitä.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame distilled prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. Learned from the 10,348 direct Codex labels and 10,348 direct Gemma labels. Candidate is the union of thresholded teacher heads; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels or direct frontier model labels.
Codex and Gemma teacher scores by category
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.006 | 0.002 |
| Meta-epidemiology (narrow) | 0.000 | 0.000 |
| Meta-epidemiology (broad) | 0.000 | 0.000 |
| Bibliometrics | 0.001 | 0.001 |
| Science and technology studies | 0.002 | 0.001 |
| Scholarly communication | 0.000 | 0.000 |
| Open science | 0.001 | 0.000 |
| Research integrity | 0.000 | 0.001 |
| Insufficient payload (model declined to judge) | 0.000 | 0.000 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one teacher head, not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".