Community Engagement and Quality Knowledge with Stackoverflow’s Reputation System: Applications to Bullipedia
Notice bibliographique
Résumé
Bullipedia, the online gastronomic encyclopedia, is an idea yet to be developed. In this work, we analyze Stack Overflow (SO) and extract some good practices from this popular question-and-answer (Q&A) site to incorporate them into the future Bullipedia. SO is an online forum in which users ask and answer questions related to programming, web development, operating systems, and other technical topics. Expertise is rewarded through a detailed reputation system: questions and answers can receive up and downvotes from other members of the community so that their authors (askers and answerers) gain reputation for posing good questions and providing helpful solutions. Besides this, the asker may mark (accept) one of the answers as the best one at any point. In this paper, we present a study on how this reputation system can be used to predict the likely accepted answer (from a set of candidate answers) for a yet unresolved question. In our approach, we selected a subset of questions with their respective answers, and for each answer we created a question-answer pair (quan). Then we extracted a set of key features from every quan, and applied supervised machine learning techniques to train a classifier that learnt, based on those features, whether or not a quan contained the accepted answer for that question. Finally, we made use of the trained classifier to predict if, given a quan (related to a question with no marked answer), its answer might potentially be the accepted one for the question. Our findings show that the model previously obtained predicted the possible answer correctly for every question with high accuracy (88 percent of the time). A question and its accepted answer constitutes a source of quality knowledge, as it provides the solution to a specific problem. We propose to adopt a similar Q&A forum and reputation system for Bullipedia, and then apply a similar classification model to identify the best answer for unsolved questions. L’encyclopédie gastronomique en ligne Bullipedia est une idée qui reste encore à développer. Dans ce travail, nous analysons le forum 'Stack Overflow (SO)' et soutirons de bonnes pratiques à partir de ce site populaire de questions-réponses afin de les incorporer dans le futur Bullipedia. SO est un forum en ligne dans lequel les utilisateurs posent et répondent à des questions reliées à la programmation, au développement web, aux systèmes d’exploitation, et autres sujets techniques. L’expertise est récompensée au moyen d’un système de réputation détaillé : les questions et les réponses peuvent recevoir des votes pour ou contre des autres membres de la communauté de sorte que leurs auteurs (demandeurs et répondeurs) acquièrent une réputation pour avoir posé de bonnes questions et avoir fourni des solutions utiles. À part cela, le demandeur peut marquer (accepter) l’une des réponses comme étant la meilleure à n’importe quel moment. Dans cet article, nous présentons une étude de la façon dont ce système de réputation peut être utilisé pour prédire la réponse susceptible d’être 'acceptée' (à partir d’une série de réponses) en ce qui concerne une question encore non résolue. Notre approche consiste à choisir un sous-ensemble de questions avec leurs réponses respectives, et pour chaque réponse, nous avons créé une paire question-réponse ('quan'). Nous avons ensuite extrait un ensemble de caractéristiques clés à partir de chaque quan, et avons appliqué des techniques supervisées d’apprentissage automatique pour entraîner un classificateur qui a appris, en fonction de ces caractéristiques, peu importe si la réponse acceptée pour cette question était contenue dans un quan. Enfin, nous avons utilisé le classificateur entraîné pour prédire si, selon un quan (relié à une question sans réponse marquée), sa réponse pouvait potentiellement être la réponse acceptée pour la question. Selon nos constatations, le modèle obtenu précédemment a prédit correctement la réponse possible pour chaque question avec une grande exactitude (88 pour cent du temps). Une question et sa réponse acceptée constituent une source de connaissances de qualité, car elle fournit la solution à un problème précis. Nous proposons d’adopter un forum de questions-réponses semblable pour Bullipedia, et d’appliquer ensuite un modèle de classification semblable pour cerner la meilleure réponse à des questions non résolues. Mots clés: Site de questions-réponses; Stack Overflow; apprentissage automatique; classification; Linéaire SVC; connaissance; communaut
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,001 |
| Études des sciences et des technologies | 0,002 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».