Optimization of neural networks by reducing floating- point precision of weights during training

Deep learning is an iterative process with many tunable parameters.Repeated and long running executions benefit from optimizations that improve learning and testing performance, both in terms of time and power consumption.A popular approach to optimization focuses on faster learning by clipping weight values to a range (quantization) and converting them to fixed point precision.Quantization, however, results in significant loss of accuracy and requires further optimization to reach performance of full precision models, or use other resources, such as a lookup table [23] to compensate for the information loss.In this work we focus on reducing precision more within the spirit of the native IEEE 754 standard for the representation of float values.We propose a hierarchy of approaches that reduce the number of mantissa bits of a neural network weights based on the actual values at the end of every batch of training, as simulated through a manual mantissa reduction.At a coarse level we experiment with this approach applied to an entire learning network, extending the approach to a level-by-level precision adjustment to better adapt to the internal precision needs of different layers.We further propose a novel fine-grain approach, applying precision adjustment to groups of individual weights, dynamically clustered into "buckets," each having different precision.The approach performs almost as good as a full precision network in terms of training accuracy, but allowing for reduced space requirements, and a significantly lower prediction time.i Abrégé L'apprentissage en profondeur est un processus itératif avec de nombreux paramètres réglables.Les exécutions répétées et de longue durée bénéficient d'optimisations qui améliorent les performances d'apprentissage et de test, à la fois en termes de temps et de consommation d'énergie.Une approche populaire de l'optimisation se concentre sur un apprentissage plus rapide en découpant les valeurs de poids dans une plage (quantification) et en les convertissant en précision en virgule fixe.Cependant, la quantification entraîne une perte de précision significative et nécessite une optimisation supplémentaire pour atteindre les performances des modèles de précision totale, ou utiliser d'autres ressources, telles qu'une table de recherche [23] pour compenser la perte d'informations.Dans ce travail, nous nous concentrons sur la réduction de la précision davantage dans l'esprit de la norme native IEEE 754 pour la représentation des valeurs flottantes.Nous proposons une hiérarchie d'approches qui réduisent le nombre de bits de mantisse d'un poids de réseau neuronal basé sur les valeurs réelles à la fin de chaque lot d'entraînement, comme simulé par une réduction manuelle de la mantisse.À un niveau grossier, nous expérimentons cette approche appliquée à tout un réseau d'apprentissage, en étendant l'approche à un ajustement de précision niveau par niveau pour mieux s'adapter aux besoins de précision internes des différentes couches.Nous proposons en outre une nouvelle approche à grain fin, appliquant un ajustement de précision à des groupes de poids individuels, regroupés dynamiquement en " seaux ", chacun ayant une précision différente.L'approche fonctionne presque aussi bien qu'un réseau de précision complète en termes de précision d'entraînement, mais permet des besoins d'espace réduits et un temps de prédiction nettement plus court.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.