Direct manipulation for musical interfaces based on visual software: design and evaluation
Bibliographic record
Abstract
Grâce à la popularisation des plateformes d’informatique mobile et de distribution de logiciels, telles que l’Apple Store et Google Play, de nombreuses interfaces musicales basées sur des logiciels avec retour visuel sont en cours de conception. Des exemples récents tels que Loopy, Borderlands et Ocarina montrent que de puissantes interfaces logicielles visuelles sont capables de captiver autant les musiciens amateurs que les experts, tout en fournissant une manipulation musicale plus directe.Bien que certains exemples soient disponibles, il demeure difficile de conceptualiser de telles in- terfaces directes, puisque l’accent est porté davantage sur “l’art plutôt que la science”. Par exemple, contrairement aux instruments acoustiques, la production du son est physiquement découplée des commandes d’entrée, offrant ainsi des possibilités infinies de mappage. De plus, la facilité d’accès et d’utilisation grandissante pour les novices peut conduire à des applications ressemblant plutôt à des jouets, ce qui désintéresse les experts. Enfin, l’analyse des interfaces musicales existantes reste inhabituelle et peu de recherches sont menées afin de mieux comprendre ces interfaces.Cette thèse a pour objectif de mieux comprendre ces interfaces musicales dans le but de fournir des bases empiriques qui informeront les principes entourant leur conception et leur évaluation. Tout en me basant sur les recherches conduites dans le domaine de l’interaction personne-machine, je propose l’hypothèse qu’une stratégie efficace consiste à adopter un modèle d’interaction appelé manipulation directe (MD) caractérisé par une représentation visuelle continue de l’objet en ques- tion, des actions physiques pour manipuler les représentations visuelles, un retour visuel rapide, et des actions incrémentales facilement réversibles.Afin d’étudier cette hypothèse, je présente des études de cas exploratoires au sein desquelles la MD est conçue et évaluée selon trois contextes spécifiques reliés à des outils musicaux: a) outils de bouclage en temps réel; b) outils de création d’installations artistiques interactives; et c) outils de création musicale. En conséquence, je présente trois nouveaux outils logiciels de musique: le Voice Reaping Machine; le ZenStates; et le StateSynth. Enfin, je présente un ensemble de stratégies de conception d’interface et d’approches d’évaluation permettant de conceptualiser efficacement la MD pour les interfaces musicales logicielles
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.004 | 0.010 |
| Meta-epidemiology (narrow) | 0.001 | 0.001 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.001 | 0.001 |
| Science and technology studies | 0.000 | 0.001 |
| Scholarly communication | 0.002 | 0.001 |
| Open science | 0.002 | 0.002 |
| Research integrity | 0.001 | 0.001 |
| Insufficient payload (model declined to judge) | 0.010 | 0.001 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".