Syntax and Stack Overflow: A methodology for extracting a corpus of\n syntax errors and fixes
Notice bibliographique
Résumé
One problem when studying how to find and fix syntax errors is how to get\nnatural and representative examples of syntax errors. Most syntax error\ndatasets are not free, open, and public, or they are extracted from novice\nprogrammers and do not represent syntax errors that the general population of\ndevelopers would make. Programmers of all skill levels post questions and\nanswers to Stack Overflow which may contain snippets of source code along with\ncorresponding text and tags. Many snippets do not parse, thus they are ripe for\nforming a corpus of syntax errors and corrections. Our primary contribution is\nan approach for extracting natural syntax errors and their corresponding human\nmade fixes to help syntax error research. A Python abstract syntax tree parser\nis used to determine preliminary errors and corrections on code blocks\nextracted from the SOTorrent data set. We further analyzed our code by\nexecuting the corrections in a Python interpreter. We applied our methodology\nto produce a public data set of 62,965 Python Stack Overflow code snippets with\ncorresponding tags, errors, and stack traces. We found that errors made by\nStack Overflow users do not match errors made by student developers or random\nmutations, implying there is a serious representativeness risk within the\nfield. Finally we share our dataset openly so that future researchers can\nre-use and extend our syntax errors and fixes.\n
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,008 | 0,043 |
| Méta-épidémiologie (sens strict) | 0,002 | 0,001 |
| Méta-épidémiologie (sens large) | 0,001 | 0,002 |
| Bibliométrie | 0,021 | 0,014 |
| Études des sciences et des technologies | 0,002 | 0,003 |
| Communication savante | 0,003 | 0,006 |
| Science ouverte | 0,003 | 0,008 |
| Intégrité de la recherche | 0,003 | 0,003 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,009 | 0,012 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».