A large-scale empirical study of just-in-time quality assurance

2012· article· en· 699 citations· W2147386665 sur OpenAlex· 10.1109/tse.2012.70

Pourquoi ce travail est-il dans la base ?

Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.

Affiliation canadienneUne personne signataire a déclaré un établissement canadien. C'est la seule voie dont dispose la base habituelle.

Prédiction distillée sur la base complète

Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

Catégories candidates: Méta-épidémiologie (sens strict)
Catégories consensuelles: aucune
Domaine: Signal candidat: aucuneSignal consensuel: aucune
Devis d'étude: Signal candidat: ObservationnelSignal consensuel: aucune
Genre: Signal candidat: EmpiriqueSignal consensuel: aucune
Score de désaccord entre enseignants: 0,563
Score d'incertitude au seuil: 1,000
Statut de validation: machine_predicted_unvalidated · codex-gemma-dda1882f352a

Scores Codex et Gemma par catégorie

Catégorie	Codex	Gemma
Métarecherche	0,001	0,000
Méta-épidémiologie (sens strict)	0,000	0,000
Méta-épidémiologie (sens large)	0,000	0,000
Bibliométrie	0,000	0,001
Études des sciences et des technologies	0,000	0,000
Communication savante	0,000	0,001
Science ouverte	0,001	0,000
Intégrité de la recherche	0,000	0,001
Charge utile insuffisante (le modèle a refusé de juger)	0,000	0,000

Scores machine (provisoires)

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Tête enseignante Opus0,034

Tête enseignante GPT0,319

Écart entre enseignants: 0,285 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validation: score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Résumé

Defect prediction models are a well-known technique for identifying defect-prone files or packages such that practitioners can allocate their quality assurance efforts (e.g., testing and code reviews). However, once the critical files or packages have been identified, developers still need to spend considerable time drilling down to the functions or even code snippets that should be reviewed or tested. This makes the approach too time consuming and impractical for large software systems. Instead, we consider defect prediction models that focus on identifying defect-prone (“risky”) software changes instead of files or packages. We refer to this type of quality assurance activity as “Just-In-Time Quality Assurance,” because developers can review and test these risky changes while they are still fresh in their minds (i.e., at check-in time). To build a change risk model, we use a wide range of factors based on the characteristics of a software change, such as the number of added lines, and developer experience. A large-scale study of six open source and five commercial projects from multiple domains shows that our models can predict whether or not a change will lead to a defect with an average accuracy of 68 percent and an average recall of 64 percent. Furthermore, when considering the effort needed to review changes, we find that using only 20 percent of the effort it would take to inspect all changes, we can identify 35 percent of all defect-inducing changes. Our findings indicate that “Just-In-Time Quality Assurance” may provide an effort-reducing way to focus on the most risky changes and thus reduce the costs of developing high-quality software.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

La notice

Revue: IEEE Transactions on Software Engineering
Thématique: Software Engineering Research
Domaine: Computer Science
Établissements canadiens: Queen's UniversityPolytechnique Montréal
Organismes subventionnaires: non disponible
Mots-clés: Computer scienceSoftware quality assuranceQuality assuranceSource lines of codeQuality (philosophy)Software qualityCode reviewScale (ratio)SoftwareEmpirical researchSoftware quality analystSoftware bugData scienceSoftware engineeringSoftware developmentOperations managementEngineering
Résumé présent dans OpenAlex: oui
API: /api/v1/works/W2147386665