Hardware-aware pareto-optimal search for compressed transformers
Notice bibliographique
Résumé
BERT-based transformers are a type of large-scale deep neural networks (DNNs) that have been widely adopted to solve natural language understanding (NLU) tasks.Because of their huge architecture, it is a difficult task to deploy them on some resourceconstrained devices, including laptops and embedded systems.To solve this problem, recent research have focused on model compression to reduce model size without large drop in performance.Moreover, researchers also use hardware performance metrics, such as latency and throughput, to measure model inference performance on target devices and include the hardware feedback in the design phase of model compression techniques.In this thesis, we perform hardware-aware pareto-optimal search on compressed BERTbased transformers for different devices.First, we explore the relationship between the depth of BERT-based models and their model inference performance on CPU and GPU.We generate sub-networks with different depth using BERT base and DistilBERT.We measure their latency and throughput during model evaluation and analyze the results.Then, we extend our experiment to models with both adaptive depth and width and search for pareto-optimal model architecture on target devices.We define the search space to be task-specific sub-networks with different depth and width produced by DynaBERT.We evaluate the sub-networks' performance on the GLUE benchmark and measure their inference latency on CPUs and GPUs of three devices.We set the evaluation performance and inference latency as our search objectives.We search for pareto-optimal sub-networks for each GLUE task.In the end, we compare the results on the CPU and GPU of the same device and between different devices.We discover that there exists a linear relationship between inference latency and model depth.The throughput decreases as latency and model depth increases.We also notice i
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,004 |
| Méta-épidémiologie (sens strict) | 0,001 | 0,000 |
| Méta-épidémiologie (sens large) | 0,001 | 0,001 |
| Bibliométrie | 0,001 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,001 |
| Communication savante | 0,001 | 0,002 |
| Science ouverte | 0,001 | 0,001 |
| Intégrité de la recherche | 0,001 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,004 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».