On the difficulty of training Recurrent Neural Networks
Pourquoi ce travail est-il dans la base ?
Une base qui oublie comment elle a trouvé un travail ne peut pas être vérifiée. Voici les voies qui ont admis celui-ci.
Résumé
There are two widely known issues with properly training Recurrent Neural Networks, the vanishing and the exploding gradient problems detailed in Bengio et al. (1994). In this paper we attempt to improve the understanding of the underlying issues by exploring these problems from an analytical, a geometric and a dynamical systems perspective. Our analysis is used to justify a simple yet effective solution. We propose a gradient norm clipping strategy to deal with exploding gradients and a soft constraint for the vanishing gradients problem. We validate empirically our hypothesis and proposed solutions in the experimental section.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
La notice
- Revue
- arXiv (Cornell University)
- Thématique
- Neural Networks and Applications
- Domaine
- Computer Science
- Établissements canadiens
- Université de Montréal
- Organismes subventionnaires
- —
- Mots-clés
- Constraint (computer-aided design)Perspective (graphical)Computer scienceArtificial neural networkSimple (philosophy)Norm (philosophy)Artificial intelligenceGradient descentAlgorithmMathematical optimizationMathematicsGeometryEpistemology
- Résumé présent dans OpenAlex
- oui