A closer look at memorization in deep networks

2017· article· en· 654 citations· W2963096987 sur OpenAlex

Pourquoi ce travail est-il dans la base ?

Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.

Affiliation canadienneUne personne signataire a déclaré un établissement canadien. C'est la seule voie dont dispose la base habituelle.

Organisme subventionnaire canadienUn organisme canadien l'a financé. Le travail peut ne porter aucune affiliation canadienne.

Prédiction distillée sur la base complète

Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

Catégories candidates: Méta-épidémiologie (sens strict), Études des sciences et des technologies
Catégories consensuelles: aucune
Domaine: Signal candidat: aucuneSignal consensuel: aucune
Devis d'étude: Signal candidat: Simulation ou modélisationSignal consensuel: aucune
Genre: Signal candidat: EmpiriqueSignal consensuel: aucune
Score de désaccord entre enseignants: 0,753
Score d'incertitude au seuil: 1,000
Statut de validation: machine_predicted_unvalidated · codex-gemma-dda1882f352a

Scores Codex et Gemma par catégorie

Catégorie	Codex	Gemma
Métarecherche	0,000	0,000
Méta-épidémiologie (sens strict)	0,000	0,001
Méta-épidémiologie (sens large)	0,001	0,000
Bibliométrie	0,001	0,001
Études des sciences et des technologies	0,003	0,000
Communication savante	0,000	0,003
Science ouverte	0,005	0,003
Intégrité de la recherche	0,000	0,001
Charge utile insuffisante (le modèle a refusé de juger)	0,000	0,000

Scores machine (provisoires)

Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Tête enseignante Opus0,006

Tête enseignante GPT0,188

Écart entre enseignants: 0,182 · la distance entre les deux têtes enseignantes sur ce seul travail
Statut de validation: score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Résumé

We examine the role of memorization in deep learning, drawing connections to capacity, generalization, and adversarial robustness. While deep networks are capable of memorizing noise data, our results suggest that they tend to prioritize learning simple patterns first. In our experiments, we expose qualitative differences in gradient-based optimization of deep neural networks (DNNs) on noise vs. real data. We also demonstrate that for appropriately tuned explicit regularization (e.g., dropout) we can degrade DNN training performance on noise datasets without compromising generalization on real data. Our analysis suggests that the notions of effective capacity which are dataset independent are unlikely to explain the generalization performance of deep networks when trained with gradient based methods because training data itself plays an important role in determining the degree of memorization.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

La notice

Revue: Jagiellonian University Repository (Jagiellonian University)
Thématique: Adversarial Robustness in Machine Learning
Domaine: Computer Science
Établissements canadiens: Polytechnique MontréalCanadian Institute for Advanced ResearchMcGill UniversityUniversité de MontréalConcordia University
Organismes subventionnaires: SamsungInstitut de Valorisation des DonnéesNatural Sciences and Engineering Research Council of CanadaSamsung Advanced Institute of TechnologyCanadian Institute for Advanced Research
Mots-clés: MemorizationDeep neural networksComputer scienceArtificial intelligenceGeneralizationDeep learningRobustness (evolution)Regularization (linguistics)Artificial neural networkMachine learningAdversarial systemNoise (video)MathematicsCognitive psychologyPsychology
Résumé présent dans OpenAlex: oui
API: /api/v1/works/W2963096987