Common Pitfalls with Data Deduplication Parameters and Metrics
Notice bibliographique
Résumé
Content-defined chunking (CDC) based data deduplication is a complex process, leading to the use of rule-of-thumb approaches and standardized parameter values. However, our work challenges these standard approaches which can lead to worse deduplication ratios, and reemphasizes that parameters need to be optimized for each dataset. We expose new pitfalls, analyze the behaviour of the underlying deduplication process, and provide solutions to aid future deduplication work.Deduplication research often solely reports the expected chunk length of their system without providing the low-level parameters. Our results show that expected chunk length is inadequate for properly describing deduplication, making empirical reproducibility challenging. In fact, different parameter sets with the same expected chunk length can yield different deduplication ratios. We further show that this discrepancy can be explained by chunk length variance.We find that because expected average and standard deviation of chunk length do not account for file boundaries and fingerprint value noise, they can significantly differ from observed values. We show that these phenomena can also cause the same parameter set to give different chunk length distributions on different datasets, explaining why parameters must be tuned to each dataset. However, we find on our datasets that the maximum chunk length parameter does not need to be tuned, and that a rule-of-thumb value of 216is a reasonable selection. We provide our datasets in full to promote reproducibility and further work.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,049 | 0,240 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,002 |
| Méta-épidémiologie (sens large) | 0,002 | 0,001 |
| Bibliométrie | 0,005 | 0,006 |
| Études des sciences et des technologies | 0,002 | 0,003 |
| Communication savante | 0,007 | 0,010 |
| Science ouverte | 0,004 | 0,005 |
| Intégrité de la recherche | 0,002 | 0,004 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».