MétaCan
Menu
Back to cohort
Record W2770846537 · doi:10.16995/dscn.293

Community Engagement and Quality Knowledge with Stackoverflow’s Reputation System: Applications to Bullipedia

2018· article· en· W2770846537 on OpenAlexaffvenue
Antonio Jiménez-Mavillard, Juan Luis Suárez

Bibliographic record

VenueDigital Studies / Le champ numérique · 2018
Typearticle
Languageen
FieldSocial Sciences
TopicWikis in Education and Collaboration
Canadian institutionsWestern University
Fundersnot available
KeywordsReputationQuestions and answersComputer scienceEncyclopediaSet (abstract data type)Quality (philosophy)World Wide WebAsk priceQuestion answeringArtificial intelligenceSociologyEpistemologyLibrary science

Abstract

fetched live from OpenAlex

Bullipedia, the online gastronomic encyclopedia, is an idea yet to be developed. In this work, we analyze Stack Overflow (SO) and extract some good practices from this popular question-and-answer (Q&A) site to incorporate them into the future Bullipedia. SO is an online forum in which users ask and answer questions related to programming, web development, operating systems, and other technical topics. Expertise is rewarded through a detailed reputation system: questions and answers can receive up and downvotes from other members of the community so that their authors (askers and answerers) gain reputation for posing good questions and providing helpful solutions. Besides this, the asker may mark (accept) one of the answers as the best one at any point. In this paper, we present a study on how this reputation system can be used to predict the likely accepted answer (from a set of candidate answers) for a yet unresolved question. In our approach, we selected a subset of questions with their respective answers, and for each answer we created a question-answer pair (quan). Then we extracted a set of key features from every quan, and applied supervised machine learning techniques to train a classifier that learnt, based on those features, whether or not a quan contained the accepted answer for that question. Finally, we made use of the trained classifier to predict if, given a quan (related to a question with no marked answer), its answer might potentially be the accepted one for the question. Our findings show that the model previously obtained predicted the possible answer correctly for every question with high accuracy (88 percent of the time). A question and its accepted answer constitutes a source of quality knowledge, as it provides the solution to a specific problem. We propose to adopt a similar Q&A forum and reputation system for Bullipedia, and then apply a similar classification model to identify the best answer for unsolved questions. L’encyclopédie gastronomique en ligne Bullipedia est une idée qui reste encore à développer. Dans ce travail, nous analysons le forum 'Stack Overflow (SO)' et soutirons de bonnes pratiques à partir de ce site populaire de questions-réponses afin de les incorporer dans le futur Bullipedia. SO est un forum en ligne dans lequel les utilisateurs posent et répondent à des questions reliées à la programmation, au développement web, aux systèmes d’exploitation, et autres sujets techniques. L’expertise est récompensée au moyen d’un système de réputation détaillé : les questions et les réponses peuvent recevoir des votes pour ou contre des autres membres de la communauté de sorte que leurs auteurs (demandeurs et répondeurs) acquièrent une réputation pour avoir posé de bonnes questions et avoir fourni des solutions utiles. À part cela, le demandeur peut marquer (accepter) l’une des réponses comme étant la meilleure à n’importe quel moment. Dans cet article, nous présentons une étude de la façon dont ce système de réputation peut être utilisé pour prédire la réponse susceptible d’être 'acceptée' (à partir d’une série de réponses) en ce qui concerne une question encore non résolue. Notre approche consiste à choisir un sous-ensemble de questions avec leurs réponses respectives, et pour chaque réponse, nous avons créé une paire question-réponse ('quan'). Nous avons ensuite extrait un ensemble de caractéristiques clés à partir de chaque quan, et avons appliqué des techniques supervisées d’apprentissage automatique pour entraîner un classificateur qui a appris, en fonction de ces caractéristiques, peu importe si la réponse acceptée pour cette question était contenue dans un quan. Enfin, nous avons utilisé le classificateur entraîné pour prédire si, selon un quan (relié à une question sans réponse marquée), sa réponse pouvait potentiellement être la réponse acceptée pour la question. Selon nos constatations, le modèle obtenu précédemment a prédit correctement la réponse possible pour chaque question avec une grande exactitude (88 pour cent du temps). Une question et sa réponse acceptée constituent une source de connaissances de qualité, car elle fournit la solution à un problème précis. Nous proposons d’adopter un forum de questions-réponses semblable pour Bullipedia, et d’appliquer ensuite un modèle de classification semblable pour cerner la meilleure réponse à des questions non résolues. Mots clés: Site de questions-réponses; Stack Overflow; apprentissage automatique; classification; Linéaire SVC; connaissance; communaut

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.

How this classification was reachedexpand

Full frame distilled prediction

Teacher imitation

Not calibrated prevalence, not ground truth. Human validation pending. Learned from the 10,348 direct Codex labels and 10,348 direct Gemma labels. Candidate is the union of thresholded teacher heads; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels or direct frontier model labels.

metaresearch head score (Codex)0.001
metaresearch head score (Gemma)0.000
Version: codex-gemma-dda1882f352aValidation status: machine_predicted_unvalidated
Candidate categoriesScience and technology studies
Consensus categoriesnone
DomainCandidate signal: none · Consensus signal: none
Study designCandidate signal: Qualitative · Consensus signal: Qualitative
GenreCandidate signal: Empirical · Consensus signal: Empirical
Teacher disagreement score0.152
Threshold uncertainty score0.999

Codex and Gemma teacher scores by category

CategoryCodexGemma
Metaresearch0.0010.000
Meta-epidemiology (narrow)0.0000.000
Meta-epidemiology (broad)0.0000.000
Bibliometrics0.0000.001
Science and technology studies0.0020.000
Scholarly communication0.0000.000
Open science0.0000.000
Research integrity0.0000.000
Insufficient payload (model declined to judge)0.0000.000

Machine scores (provisional)

The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.

Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.

Opus teacher head0.116
GPT teacher head0.396
Teacher spread0.279 · how far apart the two teachers sit on this one work
Validation statusscore_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from it

Classification

machine, unvalidated

Machine predicted; a candidate call from one teacher head, not a consensus.

Study designQualitative
Domainnot available
GenreEmpirical

How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".

Quick stats

Citations1
Published2018
Admission routes2
Has abstractyes

Explore more

Same venueDigital Studies / Le champ numériqueSame topicWikis in Education and CollaborationFrench-language works237,207