Видеоигры в мультимодальной оптике (размышления над книгой Hawreliak J. «Multimodal Semiotics and Rhetoric in Videogames»)

Представлена свободная рецензия-размышление над книгой современного канадского медиасемиотика и исследователя видеоигр Дж. Хавреляка «Мультимодальная семиотика и риторика в видеоиграх». Видеоигры, создавая и транслируя смыслы через сложные семиотические ансамбли, являются одним из самых мультимодальных медиа. Однако принципы применения мультимодальной методологии при анализе видеоигр разработаны сравнительно слабо, диссонируя с их мультимодальной сущностью. Монография Хавреляка вносит важный вклад в конвергенцию дискурсов game studies и multimodal studies, разрабатывая новый методологический инструментарий для адекватной экспликации семиотических режимов видеоигр. Основная цель статьи заключается в раскрытии концептуальных идей и исследовательских интуиций, содержащихся в книге Хавреляка, и – через их призму – актуализации значимости мультимодального подхода при рассмотрении видеоигр. Содержательно задачи статьи объединяются в два основных кластера: первый направлен на целостное изложение основных этапов работы Хавреляка и раскрытие хода его мысли; второй связан с контекстуальным расширением и критической интерпретацией наиболее значимых тем и сюжетов, рассматриваемых Хавреляком. В статье выделяется дискурсивная рамка основных научных работ, исследующих мультимодальность видеоигр. На основе структурного деления книги Хавреляка выделяются и проблемно ориентированно описываются центральные тематические сюжеты каждой смысловой части. Обращается внимание на релевантную базу эмпирических подтверждений при дескрипции модусов видеоигр. Подчёркивается важность «переоткрытия» идей классика современной медиасемиотики Д. Мюррей по вопросу определения роли процедурности в семиосфере перспективных медиатекстов. Во второй части монографии особую эвристическую ценность для multimodal studies имеет включение фактора пользовательского опыта в структуру мультимодального консонанса видеоигр, становящегося элементом «эмпирической риторики». Также акцентируется внимание на двух модусах интерпретации феномена «реализма» в видеоигровых виртуальных пространствах – сенсорном и процедурном, которые формируют две семиотические стратегии убеждения в контуре игровой реальности. Эксплицируется авторская новизна понятия «модальная ирония», которое переосмысливает семантико-семиотический статус лудонарративного диссонанса, создавая для него позитивную оптику интерпретации. В заключительной части книги раскрывается значение «семиотической нестабильности» видеоигр и принципов мультимодальности при перспективной реализации на новых технологических платформах. Полученные результаты призваны внести вклад в создание новых исследовательский топик и расширение предметного фокуса аналитики видеоигр. Video games, which create and convey meanings through complex semiotic ensembles, are one of the most multimodal media. However, the multimodal methodology per se is hardly ever used in the analysis of video games in the Russian game studies discourse. The article aims to introduce a multimodal approach to the Russian game studies discourse by presenting the key ideas and conclusions of Jason Hawreliak’s book Multimodal Semiotics and Rhetoric in Videogames. The work of the Canadian media semiotician seeks to solve two major problems: firstly, the development and explication of a theoretical approach to the semiotic definition of video games through the prism of multimodality and rhetorical analysis; secondly, the creation of a theoretical basis for a deep, sustainable dialogue between game studies and cognitive linguistics based on multimodality as a common denominator. Methodologically, Hawreliak uses an approach to multimodality based on discourse analysis and social semiotics. Structurally, Hawreliak’s monograph comprises three parts. The first part considers specific types of semiotic modalities realised in videogame media texts. Hawreliak pays special attention to the explication of procedurality as a particular semiotic mode of video games. Here the author refers to the book Hamlet on the Holodeck: The Future of Narrative in Cyberspace by Janet Murray, which adds novelty to the explication of the language of procedurality. Murray’s work still has heuristic value, containing a number of original insights about the dynamic interplay between cybertext and the process of its reading within the consolidating contour of language. Therefore, its rediscovery in the monograph by Hawreliak is important for contemporary media discourse. In addition, the Canadian media semiotician identifies the non-sensory nature of procedurality as the main factor accounting for its being underexplored within the framework of multimodal studies. The second part of the monograph investigates various modal configurations that result from combining different kinds of semiotic modes of video games. Hawreliak studies the phenomenon of multimodal consonance, i.e. the form of a special organisation of semiotic modes within a single ensemble, when they enhance each other’s influence, creating the effect of “rhetorical multiplication”. He introduces into modal consonance the element of user experience, which turns out to be a factor and the most important constituent of the “empirical rhetoric” of video games. Hawreliak expounds the mechanism of phenomenological persuasion in the video game space through the convergence of semiotic modes. The author proposes changing the traditionally negative understanding of game dissonances. He introduces the concept of “modal irony”, demonstrating how it contributes to the formation of new game options for the user through “positive tension”. In the final part of the book, the author empirically proves that video games are unstable semiotic objects. In the final chapter, which is predictive in character, Hawreliak models hypothetical scenarios of possible convergences of multimodality and promising technologies capable of creating new elements of the semiotic design of video games. In terms of style, the work strikes a good balance between comprehensibility and academic rigour. Hopefully, the consideration of multimodality in video games through the analysis of Hawreliak’s book Multimodal Semiotics and Rhetoric in Videogames will contribute to the practical convergence of game studies and multimodal studies.

Fetched live from OpenAlex and de-inverted. Abstracts are not stored in this database: the inverted indexes are 8.6 GB of the frame’s 9.3 GB of text, and the host has 13 GB free.