The Matthews correlation coefficient (MCC) should replace the ROC AUC as the standard metric for assessing binary classification

2023· article· en· 513 citations· W4321214126 sur OpenAlex· 10.1186/s13040-023-00322-4

Pourquoi ce travail est-il dans la base ?

Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.

Affiliation canadienneUne personne signataire a déclaré un établissement canadien. C'est la seule voie dont dispose la base habituelle.

Prédiction distillée sur la base complète

Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

Catégories candidates: Études des sciences et des technologies, Communication savante
Catégories consensuelles: aucune
Domaine: Signal candidat: aucuneSignal consensuel: aucune
Devis d'étude: Signal candidat: Sans objetSignal consensuel: aucune
Genre: Signal candidat: MéthodesSignal consensuel: aucune
Score de désaccord entre enseignants: 0,935
Score d'incertitude au seuil: 1,000
Statut de validation: machine_predicted_unvalidated · codex-gemma-dda1882f352a

Scores Codex et Gemma par catégorie

Catégorie	Codex	Gemma
Métarecherche	0,005	0,002
Méta-épidémiologie (sens strict)	0,000	0,000
Méta-épidémiologie (sens large)	0,000	0,000
Bibliométrie	0,000	0,002
Études des sciences et des technologies	0,002	0,000
Communication savante	0,001	0,001
Science ouverte	0,003	0,001
Intégrité de la recherche	0,000	0,000
Charge utile insuffisante (le modèle a refusé de juger)	0,000	0,000

Scores machine (provisoires)

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Tête enseignante Opus0,110

Tête enseignante GPT0,363

Écart entre enseignants: 0,253 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validation: score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Résumé

Binary classification is a common task for which machine learning and computational statistics are used, and the area under the receiver operating characteristic curve (ROC AUC) has become the common standard metric to evaluate binary classifications in most scientific fields. The ROC curve has true positive rate (also called sensitivity or recall) on the y axis and false positive rate on the x axis, and the ROC AUC can range from 0 (worst result) to 1 (perfect result). The ROC AUC, however, has several flaws and drawbacks. This score is generated including predictions that obtained insufficient sensitivity and specificity, and moreover it does not say anything about positive predictive value (also known as precision) nor negative predictive value (NPV) obtained by the classifier, therefore potentially generating inflated overoptimistic results. Since it is common to include ROC AUC alone without precision and negative predictive value, a researcher might erroneously conclude that their classification was successful. Furthermore, a given point in the ROC space does not identify a single confusion matrix nor a group of matrices sharing the same MCC value. Indeed, a given (sensitivity, specificity) pair can cover a broad MCC range, which casts doubts on the reliability of ROC AUC as a performance measure. In contrast, the Matthews correlation coefficient (MCC) generates a high score in its [Formula: see text] interval only if the classifier scored a high value for all the four basic rates of the confusion matrix: sensitivity, specificity, precision, and negative predictive value. A high MCC (for example, MCC [Formula: see text] 0.9), moreover, always corresponds to a high ROC AUC, and not vice versa. In this short study, we explain why the Matthews correlation coefficient should replace the ROC AUC as standard statistic in all the scientific studies involving a binary classification, in all scientific fields.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

La notice

Revue: BioData Mining
Thématique: Imbalanced Data Classification Techniques
Domaine: Computer Science
Établissements canadiens: University of Toronto
Organismes subventionnaires: non disponible
Mots-clés: Receiver operating characteristicMatthews correlation coefficientBinary classificationStatisticsConfusion matrixFalse positive rateArtificial intelligenceCorrelationMathematicsBinary numberSensitivity (control systems)Metric (unit)Classifier (UML)Computer sciencePattern recognition (psychology)Machine learningSupport vector machineArithmetic
Résumé présent dans OpenAlex: oui
API: /api/v1/works/W4321214126