Unapređenje upotrebljivosti otvorenih podataka definisanjem metode kategorizacije zasnovane na metapodacima portala otvorenih podataka
Notice bibliographique
Résumé
Due to numerous data transparency and open government initiatives, a large volume of data was published on open data portals. To make it more accessible and visible, these portals have introduced data filtering by category, tags, format, organization, etc. This information is stored as metadata and provided when publishing the data. However, the metadata is not always complete. The lack of data categories has a great impact on the data visibility, accessibility, and usability of information. As the data increases on the portals, it becomes harder to find and identify the wanted information when the category is missing. Within this doctoral dissertation, an analysis of metadata on open data portals, as well as an analysis of categories and tags usage, and their connections on open data portals was performed. Afterward, the problem of missing data categories was addressed by proposing a methodology for data categorization based on the combination of tags. Within the methodology, the hierarchical organization of tags in a category was defined based on their usage in categorized data. Then, a tool was presented for visual analysis of the hierarchical organization of tags, and a proposal was given for the data categorization based on the combination of tags. The presented categorization relies on the way tags are used in categorized data, i.e. their hierarchical organization. The approach calculates the similarity between two tags, and two combinations of tags, as well as defines the parameters for categorizing the combination of tags with categories on the portal. Afterward, an algorithm was defined that proposes the categories for a dataset with a given combination of tags. For the proposed categorization, an evaluation was performed using the data from the Canadian open data portal. Lastly, within the doctoral dissertation, a model was proposed for supplementing the datasets’ metadata on open data portals.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,004 | 0,012 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,002 |
| Bibliométrie | 0,005 | 0,006 |
| Études des sciences et des technologies | 0,003 | 0,004 |
| Communication savante | 0,017 | 0,016 |
| Science ouverte | 0,002 | 0,006 |
| Intégrité de la recherche | 0,002 | 0,004 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,018 | 0,005 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».