MétaCan
Menu
Retour à la cohorte
Enregistrement W3128211694 · doi:10.5281/zenodo.3725868

SSHOC D8.2 Certification plan for SSHOC repositories

2020· article· en· W3128211694 sur OpenAlexaff
Mari Kleemola, Tuomas J. Alaterä, N.L. Koski, Birger Jerlehag, Hervé L’Hours, Franciska de Jong, Dieter Van Uytvanck, Tomasz Parkoła, Emiliano Degl’Innocenti, Roberta Giacomi, Maurizio Sanesi, René van Horik

Notice bibliographique

RevueKNAW Research Portal (The Royal Netherlands Academy of Arts and Sciences) · 2020
Typearticle
Langueen
DomaineComputer Science
ThématiqueResearch Data Management Practices
Établissements canadiensCanarie
Organismes subventionnairesEuropean Commission
Mots-clésDeliverableCertificationComputer scienceQuality (philosophy)Quality assuranceTrustworthinessWork (physics)Data qualityProcess managementEngineering managementBusinessComputer securityEngineeringService (business)Systems engineeringPolitical science

Résumé

récupéré en direct d'OpenAlex

This report is the first deliverable of Task 8.2 “Trust & Quality Assurance” within WP8 of the SSHOC project. The distributed character of data infrastructures within the SSHOC communities requires developing an agreed approach to assessing the trustworthiness and quality of data repositories. This deliverable provides an overview of Trusted Digital Repository (TDR) standards offering a certification framework for communities represented in the SSHOC project (CESSDA, CLARIN, DARIAH, E-RIHS). Moreover, the deliverable lays the ground for the SSHOC trust work that is needed in order to facilitate the adoption of TDR standards and the FAIR principles in SSH data repositories across the board. In this report, ‘trust’ refers to the landscape of issues, standards and processes related to trustworthy digital repositories. Trust between all parties in the quality of data and services is critical for research infrastructure in terms of people, processes and technologies. The level of trustworthiness can be assessed through evaluation against agreed requirements. The SSHOC project unites 20 partner organisations and a further 25 linked third parties. When this report refers to the SSHOC repositories, it means the research data repositories within CESSDA ERIC, CLARIN ERIC, DARIAH ERIC and E-RIHS communities regardless of their participation in the SSHOC project. It is also important to note that in the context of this report, the term ‘quality’ refers to the technical quality of the repositories i.e. their compliance with the Trusted Digital Repository standards, not to the scientific quality of their digital assets. In line with the aims of Task 8.2, the report specifies modes of support in building trust and helping repositories reach TDR certification. The report charts the current trust landscape within the SSHOC communities and selects the repositories that will be the main focus of the support activities provided by Task 8.2 at later stages in the project. In addition, the report outlines a certification plan for these repositories. All repositories within the SSHOC communities are potential recipients of support from Task 8.2, but the efforts must be aligned with realistic expectations of progress during the project timeframe. CoreTrustSeal is selected as the standard TDR certification reference within the task. Due to the diversity of repositories within the SSHOC communities, a flexible yet sustainable approach to trust is needed that is adaptable to a wide variety of data infrastructures. The CoreTrustSeal provides a demonstrable approach to internal and external review, providing a means to determine the strengths and weaknesses of data stewards and a basis for comparison between them. However, certain types of organisations for which the CoreTrustSeal requirements are not applicable are also identified. Task 8.2 helps identify these cases and thus develop the CoreTrustSeal framework to better support a variety of repositories. Further work for Task 8.2 includes the provision of recommendations for sustainably maintaining trust across the SSH ERICs beyond the lifetime of the SSHOC project. This document is relevant to the SSH ERICs and to repositories across the SSHOC communities. There are no direct dependencies with other SSHOC tasks, but Task 8.2 aligns itself as necessary with both SSHOC tasks and existing EOSC-related efforts promoting trust and the FAIR principles.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction machine sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.

score de la tête « metaresearch » (Codex)0,024
score de la tête « metaresearch » (Gemma)0,031
Version: metacan-v3-hybrid-931329e0061cStatut de validation: machine_predicted_unvalidated
Catégories candidatesScience ouverte
Catégories consensuellesaucune
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Sans objet · Signal consensuel: Sans objet
GenreSignal candidat: Méthodes · Signal consensuel: aucune
Score de désaccord entre enseignants0,997
Score d'incertitude au seuil0,144

Scores du classifieur distillé par catégorie (deux têtes)

CatégorieCodexGemma
Métarecherche0,0240,031
Méta-épidémiologie (sens strict)0,0010,001
Méta-épidémiologie (sens large)0,0000,001
Bibliométrie0,0040,002
Études des sciences et des technologies0,0030,001
Communication savante0,0070,006
Science ouverte0,0030,005
Intégrité de la recherche0,0050,003
Charge utile insuffisante (le modèle a refusé de juger)0,0430,043

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,306
Tête enseignante GPT0,422
Écart entre enseignants0,116 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.

Devis d'étudeSans objet
Domainenon disponible
GenreMéthodes

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations1
Publié2020
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueKNAW Research Portal (The Royal Netherlands Academy of Arts and Sciences)Même sujetResearch Data Management PracticesTravaux en français237 207