Emotion Detection in Text using Mixup-Augmented BERT Representations
Notice bibliographique
Résumé
Emotion recognition in text is gaining significant applicative interest because of its potential applications in health care, social media analytics, and improving customer experiences. This work presented a transformer-based approach where BERT was combined with the mixup data augmentation technique, boosting human emotion classification. In this paper, the authors use the GoEmotions dataset comprising 58,000 Reddit comments labeled into 27 classes of emotions. Therefore, it can become a very challenging benchmark, due to class imbalance and semantic overlap. Preprocessing steps include tokenization, normalization, and encoding of labels. The embedding is done using BERT. Mixup, at the embedding level, changes how phrases and their labels are presented. The model then learns much knowledge from these fake examples. The BERT model that has been augmented using Mixup outperforms the BERT classifier that does not alter the data. The F1-score is 94.3%, the recall is 92.1%, and the precision is 98.0%. The results show an improvements in minority classes such as pride and grief, indicating the effectiveness of mixup in addressing imbalance. This methodology provides a lightweight, scalable, and robust solutions in contrast to current solutions that depend on alterations in the architectural or affect-enriched embeddings. These results led to the development of mixup-augmented transformers, which show promise for recognizing emotions in real-world situations like monitoring mental health and engaging users in personalized manner.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,001 | 0,004 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».