Zero-Shot Multi-Task Cough Sound Analysis with Speech Foundation Model Embeddings
Notice bibliographique
Résumé
Supportive smart home systems with integrated personalized cough analysis can support independent living and aging in place by helping monitor the state of acute and chronic health conditions. The stages of recognizing coughs, associating them to an individual, and analyzing the cough characteristics have traditionally been handled independently, using task-specific networks or algorithms. In contrast, recent transformer-based neural network speech foundation models trained on internet-scale datasets have demonstrated strong performance across a wide range of tasks. Learning such a general-purpose cough representation has been hampered by the lack of large-scale cough-specific datasets. In this work we demonstrate that the embeddings from a speech foundation model (w2v BERT 2.0) can be used as a powerful multi-purpose cough representation. We show that cough information is well encoded in the model, despite it being trained on speech data with no cough-specific fine-tuning or adapters. Zero-shot linear classification on the cough embeddings achieves strong performance on cough/breathing/speech discrimination (100%), cougher verification (96.9%), cougher identification (84.4%), and wet/dry cough classification (93.8%) tasks. We also show that distance metrics between cough embeddings is meaningful and use that to conduct explainable analysis of an unlabelled sample with similarity-based retrieval from a labelled dataset. We note these capabilities emerge in the early layers of the network, and that the cough embeddings occupy a small region of the embedding space, motivating future work into lower-complexity cough-specific representations suitable for embedded cough analysis.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction distillée sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Apprise à partir de 10 348 étiquettes directes de Codex et de 10 348 étiquettes directes de Gemma. Le mode candidate est l'union des têtes enseignantes seuillées; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont ni des étiquettes humaines ni des étiquettes directes de modèles de pointe.
Scores Codex et Gemma par catégorie
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,000 | 0,000 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,000 |
| Bibliométrie | 0,000 | 0,002 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,000 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,000 | 0,001 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule tête enseignante, pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».