Multimodal Emotion Recognition Using Deep Learning for Audio and Visual Fusion
Notice bibliographique
Résumé
The study of emotion recognition leads to significant advances in affective computing, human-computer interaction and artificial intelligence. Traditional unimodal methods, which uses either facial expression or speech signal, do not give high accuracy due to various factors such as noise, occlusion or the limitations of one of the methods. To solve these problems, the proposed work introduces a multimodal emotion recognition framework that can identify human emotion through facial expression as well as speech-based emotion. The framework uses deep learning models for feature extractions. Convolutional Neural Networks that capture temporal features of facial expressions from the facial images and spectrogram-based CNN Long Short Term Memory model that deals with audio signal to get spectral features of speech. The results of audio and visual methods are combined into multimodal fusion layer followed by the classification into emotion. The work aims to improve on unimodal systems by combining both audio and visual modalities. The proposed multimodal framework has an overall accuracy of 88.6% and a macro F1-score of 87.9%. This is better than unimodal facial and speech-based systems by 6.4% and 4.8%, respectively. These quantitative findings validate enhanced robustness and reliability relative to single-modality methodologies, especially in noisy and real-world contexts. Some of the benefits that are expected to arise from the current study include more accurate and robust recognition in real-life situations as well as some interesting application area such as healthcare, e-learning and intelligent conversational agents.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,001 | 0,000 |
| Études des sciences et des technologies | 0,001 | 0,000 |
| Communication savante | 0,000 | 0,000 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,001 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,002 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».