Esitysgrafiikka- ja puhe-esitys multimodaalisena tekstinä
Bibliographic record
Abstract
Esitysgrafiikkaesitysten hyödyntäminen on osa jokapäiväisiä rutiineja hyvin monenlaisissa organisaatioissa. Tutkimusta tällaisten puheen havainnollistamismateriaaliksi luotujen diaesitysten käytöstä on Suomessa tehty kuitenkin hyvin vähän suhteessa siihen, kuinka laajalti niitä eri yhteyksissä käytetään. Tässä tutkielmassa huomio kohdistetaan puhe-esityksen ja sen havainnollistamismateriaalina esitetyn esitysgrafiikkaesityksen yhteistoimintaan. Ensimmäinen tutkimuskysymykseni on, kuinka puhe ja sitä havainnollistava esitysgrafiikkaesitys rakentuvat yhdessä multimodaaliseksi tekstiksi. Tarkentavina alakysymyksinä ensimmäisessä tutkimuskysymyksessäni on, (1) millaisin kielellisin ja visuaalisin keinoin puhetta ja dioja rakennetaan yhdeksi kokonaisuudeksi sekä (2) millaisin muunlaisin keinoin yhtenäisyyttä rakennetaan. Toinen tutkimuskysymykseni käsittelee sitä, mikä on diaesityksen funktio esitystilanteessa. Ensimmäiseen tutkimuskysymykseen vastaan erittelemällä niitä keinoja, joilla yhtä aikaa esitettyjä visuaalisia, auditiivisia, kielellisiä ja ei-kielellisiä elementtejä rakennetaan ymmärrettäväksi, monikanavaiseksi kokonaisuudeksi. Multimodaalisuuden rakentumisen kartoittamisen jatkumona toiseen tutkimuskysymykseen vastaan analysoimalla, millaisissa tehtävissä diaesitys esitystilanteessa toimii. Tutkimus sijoittuu funktionaalisen kielentutkimuksen kenttään. Tutkimusmenetelminä käytän toisiinsa kietoutuvaa laadullista tekstianalyysia sekä systeemis-funktionaalisesta teoriasta ponnistavaa multimodaalisuuden tutkimusta. Aineistona tutkimuksessa on kuusi esitystilannetta: avoimen aikuisopiston oppitunti, yliopiston luento sekä neljän eri puhujan markkinointiseminaariesitykset. Puhe- ja esitysgrafiikkaesityksen multimodaaliseksi kokonaisuudeksi rakentamisen keinot aineistossani jakautuvat kolmeen luokkaan: 1) kielellisiin, 2) visuaalisiin sekä 3) muihin, kuten luokittelemattomiin tai useita ulottuvuuksia samanaikaisesti yhdisteleviin keinoihin. Luokkaan 1) kuuluvia kielellisiä yhtenäisyyden rakentamisen keinoja ovat dian ja puheen kielellisten ainesten sanastolliset ja semanttiset yhteneväisyydet sekä puheessa esiintyvät viittaukset diaan tai dialla näkyvään. Luokan 2) visuaalisin keinoin yhtenäisyyttä rakennetaan puhujaan liittyvillä tekijöillä, kuten puhujan eleillä, esimerkiksi kädellä viittaamalla diaa kohti sekä dialla näkyviä kuvia tai muita visuaalisia elementtejä eri tavoin käsittelemällä puhutussa aineksessa. Luokan 3) muita keinoja aineistossa oli kahta erilaista: yhtenäisyyden rakentaminen limittämällä eli käsittelemällä puheessa seuraavan dian elementtejä vielä edellisen dian ollessa näkyvillä sekä yhtenäisyyden rakentaminen esiintyjän vuoropuhelulla dian kanssa. Diaesityksen funktio hahmottuu kolmesta näkökulmasta: siitä, kuinka puhujat itse sanallistavat diaesityksen olemassaoloa ja tehtäviä, diaesityksen funktion suhteesta esityksen multimodaalisuuden rakentumiseen ja eri moodien välisiin suhteisiin sekä diaesityksen tehtävien ja sen tarjoamien hyötyjen suhteesta esitystilanteen ja sen kontekstin funktioihin. Diaesityksen tehtävissä on kolme ulottuvuutta: 1) Yleisölähtöiset diat vaikuttavat olevan ensisijaisesti tarjoamassa yleisölle valmiin rungon esityksestä ja pohjan muistiinpanoille. 2) Esiintyjälähtöiset diat taas ovat muistin tukena lähinnä esiintyjälle itselleen. 3) Esityslähtöiset diat eivät korostuneesti ole kumpaakaan edellä mainituista, vaan diat on tehty koko esityksen kokonaisuutta ajatellen ja sen tarpeista käsin. Esityslähtöisyyttä aineistossani on kahta erilaista: sellaista, jossa diaesityksen roolina on toimia jonkin puheen osan niin olennaisena havainnollistajana, ettei sitä olisi juuri mahdollista muuten ilmaista sekä sellaista, jossa dioja käytetään yleisön huomion kiinnittäjänä esimerkiksi korostamisen tai huumorin keinoin.
Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.
How this classification was reachedexpand
Full frame machine prediction
Teacher imitationNot calibrated prevalence, not ground truth. Human validation pending. The Gemma side is a direct model label for every work in the frame, read from the title-only record. The Codex side is a classifier learned from the 10,348 direct Codex labels and calibrated to design-weighted sample rates; fields without enough sample support carry no Codex call. Candidate is the union of the two sides; consensus is their intersection. These outputs are machine_predicted_unvalidated and are not human labels.
Distilled classifier scores by category (both heads)
| Category | Codex | Gemma |
|---|---|---|
| Metaresearch | 0.001 | 0.001 |
| Meta-epidemiology (narrow) | 0.001 | 0.000 |
| Meta-epidemiology (broad) | 0.001 | 0.001 |
| Bibliometrics | 0.000 | 0.000 |
| Science and technology studies | 0.001 | 0.001 |
| Scholarly communication | 0.002 | 0.002 |
| Open science | 0.001 | 0.002 |
| Research integrity | 0.001 | 0.002 |
| Insufficient payload (model declined to judge) | 0.037 | 0.007 |
Machine scores (provisional)
The two teacher heads of the student model, read on this work. A score orders the frame for review; it never asserts a category, and the validation status ships verbatim with every row.
Baseline scores from an immature model (maturity gate not passed, 7 training rounds). Scores rank; they never assert a category.
score_only:v0-immature-baseline · verbatim from the scoring run: score_only means the number may rank works, and no category label ships from itClassification
machine, unvalidatedMachine predicted; a candidate call from one source (direct Gemma or distilled Codex), not a consensus.
How this classification was reached, model by model and score by score, is at the end of the page under "How this classification was reached".