MétaCan
Menu
Retour à la cohorte
Enregistrement W7009631941

Explaining black box algorithms: epistemological challenges and machine learning solutions

2021· dissertation· en· W7009631941 sur OpenAlexfundno aff

Notice bibliographique

RevueOxford University Research Archive (ORA) (University of Oxford) · 2021
Typedissertation
Langueen
DomaineComputer Science
ThématiqueExplainable Artificial Intelligence (XAI)
Établissements canadiensnon disponible
Organismes subventionnairesYork University
Mots-clésCounterintuitiveBlack boxCounterfactual conditionalIntersection (aeronautics)Feature (linguistics)Thought experimentAlgorithmic learning theoryIndependence (probability theory)Interpretation (philosophy)
DOInon disponible

Résumé

récupéré en direct d'OpenAlex

<p>This dissertation seeks to clarify and resolve a number of fundamental issues surrounding algorithmic explainability. What constitutes a satisfactory explanation of a supervised learning model or prediction? What are the basic units of explanation and how do they vary across agents and contexts? Can reliable methods be designed to generate model-agnostic algorithmic explanations? I tackle these questions over the course of eight chapters, examining existing work in interpretable machine learning (iML), developing a novel theoretical framework for comparing and developing iML solutions, and ultimately implementing a number of new algorithms that deliver global and local explanations with statistical guarantees. At each turn, I emphasise three crucial desiderata: algorithmic explanations must be causal, pragmatic, and severely tested.</p>\n\n<p>In Chapter 1, I introduce the topic through real world examples that vividly demonstrate the ethical and epistemological imperative to better understand the behaviour of black box models. A literature review follows in Chapters 2 and 3, where I situate the project at the intersection of critical data studies, philosophy of information, and computational statistics. In Chapter 4, I examine conceptual challenges for iML that result in misleading, counterintuitive explanations. In Chapter 5, I propose a formal framework for iML – the explanation game – in which players collaborate to find the best solution(s) to explanatory questions through a gradual procedure of iterative refinements. In Chapter 6, I introduce a novel test of conditional independence that doubles as a flexible measure of global variable importance. In Chapter 7, I combine feature attributions and counterfactuals into a single method that retains and extends the axiomatic guarantees of Shapley values while rationalising results for agents with well-defined preferences and beliefs. I conclude in Chapter 8 with a review of my results and a discussion of their significance for data scientists, policymakers, and end users.</p>

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

Comment cette classification a été obtenuedéplier

Prédiction distillée sur la base complète

Imitation des enseignants

Ni prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

score de la tête « metaresearch » (Codex)0,002
score de la tête « metaresearch » (Gemma)0,000
Version: codex-gemma-dda1882f352aStatut de validation: machine_predicted_unvalidated
Catégories candidatesMéta-épidémiologie (sens strict), Études des sciences et des technologies
Catégories consensuellesaucune
DomaineSignal candidat: aucune · Signal consensuel: aucune
Devis d'étudeSignal candidat: Qualitatif · Signal consensuel: aucune
GenreSignal candidat: Empirique · Signal consensuel: aucune
Score de désaccord entre enseignants0,514
Score d'incertitude au seuil1,000

Scores Codex et Gemma par catégorie

CatégorieCodexGemma
Métarecherche0,0020,000
Méta-épidémiologie (sens strict)0,0000,001
Méta-épidémiologie (sens large)0,0010,000
Bibliométrie0,0010,001
Études des sciences et des technologies0,0020,001
Communication savante0,0000,001
Science ouverte0,0030,003
Intégrité de la recherche0,0000,002
Charge utile insuffisante (le modèle a refusé de juger)0,0000,000

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Tête enseignante Opus0,084
Tête enseignante GPT0,290
Écart entre enseignants0,205 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validationscore_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Classification

machine, non validée

Prédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.

Devis d'étudeQualitatif
Domainenon disponible
GenreEmpirique

Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».

En bref

Citations0
Publié2021
Routes d'admission1
Résumé présentoui

Explorer davantage

Même revueOxford University Research Archive (ORA) (University of Oxford)Même sujetExplainable Artificial Intelligence (XAI)Travaux en français237 207