Round Table Brazil - PARSEC Project - Workflow management and reproducibility
Notice bibliographique
Résumé
As a forum for experience exchange, the ROUND TABLE BRAZIL - Workflow management and reproducibility, invites data scientist and data professionals to discuss experiences on the subject. <br> <br> It was published in 2016 the ‘FAIR Guiding Principles for scientific data management and stewardship’ which became a standard for workflow management to create replicable and reproducible data experiments. <br> <br> How these ideas are implemented on daily data science experiments? <br> And what challenges are faced? <br> <br> March, 25th 2021 <br> 1:00pm to 3:00pm (Brazilian Time) <br> Escola Politécnica - Videoconference <strong>Round Table Website:</strong> http://wds.poli.usp.br/round-table-brazil-2021/ <strong>Recording:</strong> https://www.youtube.com/watch?v=0UGNaKOV6Ss This workshop is part of the PARSEC project generously funded by the Belmont Forum. <strong>Resources:</strong> National Academies of Sciences, Engineering, and Medicine. 2019. <em>Reproducibility and Replicability in Science</em>. Washington, DC: The National Academies Press. https://doi.org/10.17226/25303. Victoria Stodden, Marcia McNutt, David H. Bailey, Ewa Deelman, Yolanda Gil, Brooks Hanson, Michael A. Heroux, John P.A. Ioannidis and Michela Taufer (December 8, 2016)<br> <em>Science </em><strong>354 </strong>(6317), 1240-1241. [doi: 10.1126/science.aah6168] Wilkinson, MD, Dumontier, M, Aalbersberg, IjJ, et al. 2016. The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 3: 160018. DOI: https://doi.org/10.1038/sdata.2016.18 https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970 Pineau, J., Vincent-Lamarre, P., Sinha, K., Larivière, V., Beygelzimer, A., d’Alché-Buc, F., & Larochelle, H. (2020). Improving reproducibility in machine learning research (a report from the NeurIPS 2019 Reproducibility Program). arXiv preprint arXiv :2003.12206. Harris, Jenine K.; Johnson, Kimberly J.; Carothers, Bobbi J.; Combs, Todd B.; Luke, Douglas A.; Wang, Xiaoyan (2018). "Use of reproducible research practices in public health: A survey of public health analysts". PLOS ONE. 13 (9): e0202447. Hartley, M., & Olsson, T. S. (2020). dtoolAI : Reproducibility for Deep Learning. Patterns, 1(5), 100073. https://the-turing-way.netlify.app/welcome Reproducible Research in Computational Science, R. Peng, Science, Dec. 2011:1226-1227 www.cs.mcgill.ca/~jpineau/ReproducibilityChecklist.pdf
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,010 | 0,006 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,002 |
| Études des sciences et des technologies | 0,002 | 0,000 |
| Communication savante | 0,005 | 0,000 |
| Science ouverte | 0,001 | 0,005 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,007 | 0,004 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; les deux têtes enseignantes s’accordent sur ce qui est montré ici.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».