Novel interfaces for audio manipulation

In this work we investigate two novel methods for multi-parametric control of audio in the context of sound design and music creation.Both systems aim to improve user experience by leveraging mapping strategies from control input to synthesis parameters, extracting additional value from conventional and ubiquitous tools.A first engine uses landmark mapping of facial features and manipulation of basic, built-in plugins to effectively emulate spatial audio mapping using only hardware built into a standard laptop.A pilot experiment (N=4) shows that the system improves source location identification in users by 15% over baseline.We also propose an assistive engine for sound design, which leverages a simple statistical model based on expert domain presets to guide users in controlling a subtractive synthesizer.In a user study (N=11) the engine is shown to significantly improve user performance in a sound matching task (t(10) = 3.38, p = 0.01), boosting user performance by 0.89 standard deviations within-participant.We explain its effectiveness in terms of cognitive apprenticeship theory, where the engine, in offering suggestions in reaction to user movement in a tight feedback loop, acts as a mentor that exposes sound Abstract ii design thinking, and keeps the user in the zone of proximal development by making the task not too difficult nor too obvious.Taken together, these experiments prove that mapping alone can meaningfully augment the affordances of existing control and synthesis paradigms.iii Abrégé Dans ce mémoire, nous étudions deux nouvelles méthodes de contrôle multi-paramétrique de l'audio dans le contexte du design sonore et de la création musicale.Les deux systèmes visent à améliorer l'expérience utilisateur en exploitant des stratégies de mappage entre les entrées de contrôle et les paramètres de synthèse, extrayant ainsi une valeur ajoutée d'outils conventionnels et omniprésents.Un premier moteur utilise le mappage de points de repère des caractéristiques faciales et la manipulation de plugins intégrés de base pour émuler efficacement le mappage audio spatial en utilisant uniquement le matériel intégré dans un ordinateur portable standard.Une expérience pilote (N = 4) montre que le système améliore l'identification de la localisation des sources chez les utilisateurs de 15% par rapport à la référence.Nous proposons également un moteur d'assistance pour le design sonore, qui exploite un modèle statistique simple basé sur des presets d'experts du domaine pour guider les utilisateurs dans le contrôle d'un synthétiseur soustractif.Dans une étude utilisateur (N = 11), il est démontré que le moteur améliore significativement les performances des utilisateurs dans une tâche de correspondance sonore (t(10) = 3.38, Abrégé iv p = 0.01), augmentant les performances des utilisateurs de 0.89 écarts-types au sein des participants.Nous expliquons son efficacité en termes de théorie de l'apprentissage cognitif, où le moteur, en offrant des suggestions en réaction au mouvement de l'utilisateur dans une boucle de rétroaction serrée, agit comme un mentor qui expose la réflexion de design sonore et maintient l'utilisateur dans la zone de développement proximal en rendant la tâche ni trop difficile ni trop évidente.Ensemble, ces expériences prouvent que le mappage seul peut augmenter de manière significative les affordances des paradigmes de contrôle et de synthèse.v former system maps a head orientation control signal to stereo panning and filter cutoff parameters; the latter system maps eight synthesis parameter dials to each other, to visualize "suggested" dial adjustments to the user. Thesis StructureThis thesis consists of five chapters: an introduction covering the thesis topic, structure and summary of contributions, followed by a chapter of literature review; two chapters covering two systems for novel audio control developed by the author, including experiments (user studies) on these systems to validate their effectiveness; and a brief conclusion. Summary of ContributionsThis work presents two main contributions:1.A novel method to control a simple spatial audio engine by using facial landmarks from a pose-estimation algorithm running on a webcam feed.2. An assistant engine for a subtractive synthesizer that determines and displays parameter value suggestions to the user in realtime, that is statistically proven to improve user performance in sound design.

Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.