Adaptive dropout for training deep neural networks

Pourquoi ce travail est-il dans la base ?

Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.

Prédiction distillée sur la base complète

Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.

Catégories candidates

Communication savante

Catégories consensuelles

aucune

Domaine

Signal candidat: aucuneSignal consensuel: aucune

Devis d'étude

Signal candidat: Simulation ou modélisationSignal consensuel: aucune

Genre

Signal candidat: MéthodesSignal consensuel: aucune

Score de désaccord entre enseignants

0,977

Score d'incertitude au seuil

1,000

Statut de validation

machine_predicted_unvalidated · codex-gemma-dda1882f352a

Scores Codex et Gemma par catégorie

Scores machine (provisoires)

Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.

Écart entre enseignants

0,230 · la distance entre les deux têtes enseignantes sur ce seul travail

Statut de validation

score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découle

Résumé

Recently, it was shown that deep neural networks can perform very well if the activities of hidden units are regularized during learning, e.g, by randomly dropping out 50% of their activities. We describe a method called 'standout' in which a binary belief network is overlaid on a neural network and is used to regularize of its hidden units by selectively setting activities to zero. This 'adaptive dropout network' can be trained jointly with the neural network by approximately computing local expectations of binary dropout variables, computing derivatives using back-propagation, and using stochastic gradient descent. Interestingly, experiments show that the learnt dropout network parameters recapitulate the neural network parameters, suggesting that a good dropout network regularizes activities according to magnitude. When evaluated on the MNIST and NORB datasets, we found that our method achieves lower classification error rates than other feature learning methods, including standard dropout, denoising auto-encoders, and restricted Boltzmann machines. For example, our method achieves 0.80% and 5.8% errors on the MNIST and NORB test sets, which is better than state-of-the-art results obtained using feature learning methods, including those that use convolutional architectures.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.

La notice

Revue

neural information processing systems

Thématique

Advanced Neural Network Applications

Domaine

Computer Science

Établissements canadiens

University of Toronto

Organismes subventionnaires

non disponible

Mots-clés

Dropout (neural networks)MNIST databaseComputer scienceArtificial intelligenceArtificial neural networkFeature (linguistics)Boltzmann machineDeep belief networkRestricted Boltzmann machineStochastic gradient descentPattern recognition (psychology)Convolutional neural networkMachine learningGradient descentDeep learningBackpropagation

Résumé présent dans OpenAlex

oui

API

/api/v1/works/W2136836265