25 листопада 2020 року польський медіаартист Пйотр Мадей провів лекцію у рамках проєкту Pandemic Media Space. Він розповів про власні найцікавіші досягнення в мистецтві та як його досвід та орієнтири можуть стати у пригоді іншим композиторам.
Пйотр Мадей про себе:
Я — медіаартист, і найбільше зосереджуюсь на мистецтві звуку. Точніше — я композитор, звукорежисер, звукоімітатор в кіно, автор артінсталяцій та програміст. Що для мене найцікавіше у роботі? Питання взаємодії. В особистому житті я чоловік розумниці та красуні Беати, також артистки: ми підтримуємо один одного у своїх творіннях. Зараз я навчаюся на третьому курсі, працюю над кандидатським проєктом. Ця лекція не буде монографією на тему всіх можливих стратегій взаємодії у мистецтві, оскільки предмет перевищує встановлені часові межі, а також вимагає більш тривалих підготовчих досліджень. Я хочу поділитися своїми міркуваннями та досвідом з колегами-артистами — це може бути корисним у їхніх дослідженнях.
Інтеракція — це…
Феномен, що через пошук співпереживання учасників звертається до їхньої допитливості та провокує жагу до експерименту. Артист займається приготуванням набору інструментів, призначених для процесу обробки художньої матерії. Помістивши ці інструменти у потрібний контекст, він запрошує учасника до дії. І тоді розпочинається специфічна форма художньої співпраці: кожен учасник, незалежно від мистецької підготовки, має можливість пережити унікальний фрагмент твору. У світі звуків інтеракція набуває безлічі різних форм.
- Кожен музичний інструмент має силу, що надихає виконавця на пошук нових способів творення звуку. Основна відмінність — як ми контекстуалізуємо цей інструмент.
- Існує композиція алгоритму, під час якої композитор приймає деякі умови, параметризує їх і створює музичну структуру, що користується ними в особливий спосіб. Тоді можна говорити про внутрішню інтеракцію, яка відбувається всередині між параметрами композиції.
- Цікавим прикладом є інтуїтивна імпровізація, що спирається на натхненний зворотний зв’язок між усіма залученими музикантами та звуками, які вони відтворюють разом з усіма іншими умовами, що можуть впливати на них.
- У музиці для відеоігор існує варіант, у якому певні частини твору суворо регламентові, але кінцевий результат виникає безпосередньо завдяки рішенням, які гравець приймає під час гри.
- Я розумію інтеракцію більше інтуїтивно, ніж жорстко, тому намагаюся уникати глибокої філософії. У своїх практичних роботах я досліджую цілу сферу інтерактивності, і відшукую різні стратегії, які підходять до різних ситуаціях.
Інтерактивні стратегії в моїх творах
Ситуація, яку ми переживаємо зараз, дає змогу зробити огляд та аналіз наявних інтерактивних художніх стратегій. Ніхто не знає, як довго буде тривати пандемія.
Pandemic Media Space — чудовий проєкт, оскільки він намагається виявити гнучкість у ситуації та конструктивно використати нові обмеження. У роботах останніх років я використовував кілька інтерактивних стратегій. Більшість із них здалися мені марними в сучасних умовах, тому я вирішив піддати їх критичному аналізу. В останній частині своєї лекції я викладу висновки та постулати моєї нинішніх та майбутніх артстратегій, беручи до уваги поточні умови, що спостерігались за останні кілька місяців.
Більшість моїх творів можна розділити на дві категорії: інсталяції та аудіовізуальні перформанси. У перших я намагаюся «перейняти» глядача для потенційної участі. У перформансах аудиторія традиційно більш пасивна, але знаряддя, якими я користуюся — інструменти, контролери та елементи сценографії — я готую для надання мені ж максимуму інтерактивних можливостей. Зазвичай я готую якийсь музичний фон, а те, що я роблю (імпровізація з контролерами), відповідає основній формі твору.
Аудіовізуальний перфоманс Meetin’ був представлений на Audio Art Festival у 2013 році. З технічної сторони інтеракція базувалася на світлових паличках, які рухалися перед камерою. Кожна паличка мала інший колір, а патч в Max / MSP визначав положення заданого кольору в кадрі. Його позиція змінювалась на основі параметрів, що визначають властивості звуку. За допомогою 4 палиць я міг наживо й одночасно контролювати 8 параметрів. Я виконував сольну партію з фоновим треком, а Саня Родобольська брала участь як перформер.
«Мінотавр» — ще один мій перформанс: я посилаюсь на серію пізніх робіт Пабло Пікассо, де художник створює ескіз фігури бика, з ліхтариком у темній кімнаті перед фотокамерою, встановленою на тривалий час запису. У цьому творі я використовую світлові палички, камеру, мультимедійний проєктор та чотириканальну звукову систему. Я рухаю палички перед камерою, і світло від моїх рухів залишає слід на екрані позаду мене. Форма твору поділена серією картинок, які я малюю. У кожного з них свій звуковий малюнок.
Коли я роблю ескіз, мої рухи також утворюють звук і працюють кожен як сольна інструментальна партія. Завершивши малюнок, я видаляю його і починаю малювати наступний. І він пов’язаний із більшою кількістю параметрів, що піддаються мені для зміни у звуці, так і в картинках. Кожна картина щораз стає складнішою, і можемо почути рев Мінотавра, озлобленого тим, що ми наближаємось до центру лабіринту. Нарешті, з’являється чітка картина бика, намальованого Пабло Пікассо.
Складені карти часу, Львів, 2019, станція Лем
AYEE
Інший перформанс, Ayee, стосується основ спілкування. Ця робота пов’язана з твором великого польського медіаартиста Войцеха Брушевського — Yyaa. Якщо ми візьмемо звідти деякі частоти конкретних комбінацій, формант, ми починаємо чути голосні звуки, які утворюють певні значення. Використовуючи контролер Leap Motion, інструмент, призначений для точного відстеження руху рук, я змінюю свої жести на звук, який може нагадувати людський голос.
Частина перформансу в режимі реального часу відстежує числові дані із моїх жестів. У певний момент потік даних переривається ритмічно утворюваним шумом. Шум продукований типографічними знаками. Коли їх стає все більше, починається формування обличчя Войцеха Брушевського, що кричить на нас з екрана постійно, не переводячи подих. Твір закінчується моєю партією в дуеті із записаним Войцехом Брушевським.
Harp — це експериментальна робота зі доповненою реальністю, що вкладається у фізичний та збільшений простори. Частиною цього твору є своєрідна інсталяція з використанням стовбурів живих дерев із кольоровою пряжею, натягнутою у формі арфових струн. Збільшення прикріплюється до географічного місця, яке визначається координатами GPS. Візуальна частина збільшення — це тривимірна форма, що відповідає фізичній та перетинається з нею.
Переміщуючи пристрій, який може забезпечити збільшення, — як-от смартфон або планшет, ви також можете дослідити звукову частину збільшення. Вона складається з інтерактивних джерел звуку, розташованих топографічно навколо візуальної форми, і діє як віртуальний інструмент, заснований на гранульованому синтезі звуку. Коли пристрій проминає ці місця під час руху, він утворює просторове змішування та зміну цих віртуальних джерел звуку. Змінені звуки, засновані на голосах тварин, які можна чути одночасно зі справжньою, є природною соносферою місця.
Perception of spheres
Ця інсталяція сфокусована навколо спеціального об’єкта, який називається армілярна сфера. Ця куля початково була призначена для вимірювання руху небесних тіл. Одного разу я уявив: якщо ми зможемо використати цю дію у зворотному напрямку, використати її саме для руху небесних тіл, оскільки це може бути чудовим інструментом. Я підготував віртуальну імітаційну модель Сонячної системи. Кожен об’єкт мого моделювання — планети, Місяць Землі, Сонце та деякі астероїди мають генератори звуку, призначені для озвучення основних фізичних параметрів обраного об’єкта. Візуалізація може бути імерсивною, коли використовується система проєкції купола, але також може проєктуватися в панорамному вигляді.
Звук, утворений багатоканальною звуковою системою, змішується віртуальною консоллю на основі об’ємних об’єктів ICST у Max 8. Положення в моделюванні кожного небесного об’єкта відстежується як у відео-, так і в аудіопроєкції синхронно. Можемо використовувати модель Сфери для навігації по Сонячній системі, яка нас оточує. Кожне обертання Сфери «перекладається» на навігацію моделювання. Звук не відповідає реальним умовам, що склалися в космосі, як відомо, звук у вакуумі не поширюється. Але створене озвучення відповідає фактичним просторовим відношенням між об’єктами.
Генератори звуку налаштовані відповідно до основних відомих фізичних величин, які визначають небесні тіла, як маса, діаметр, щільність, швидкість виходу, період обертання, тривалість дня, середня відстань до Сонця, середній діаметр орбіти та період орбіти. Оскільки для всіх цих параметрів існує величезний діапазон значень, я використовував генератори синтезу частотної модуляції, які здатні видавати звук в акустичній смузі, навіть якщо частоти генератора або модулятора осцилярних частот налаштовані поза цим діапазоном. Підсумовуючи, віртуальний інструмент у формі аудіовізуальної інсталяції був створений шляхом реалізації алгоритмічної композиції, заснованої на озвученні параметрів Сонячної системи та інтеракції з фізичним контролером.
Reflections/Refractions — Paradox
Ця артінсталяція була створена під час міжнародної мистецької конференції Paradox у 2015 році в Познані. Процес гентрифікації можна чітко спостерігати на одній з найважливіших вулиць центру міста, Сент-Мартін. Багато вітрин та службових приміщень були безлюдними. Більшість приміщень, які все ще працюють, є представництвами банків.
Будівля підключених хмарочосів домінує в історичній перспективі архітектури вулиці. Я використовував вигляд цих хмарочосів як своєрідне мозаїчне полотно. Коли ми проходимо біля виду, мозаїка заповнена випадковими фрагментами фотографій, зроблених вздовж вулиці. Одночасно з цим з’являється звуковий, попередньо записаний колаж. Подібно до вулиці, яка колись кипіла життям, будівлі якої змінили власників, що остаточно покинули їх, — коли ми від’їжджаємо, залишається лише вид на хмарочоси.
Leyden Jar
Інсталяція була створена під час міжнародного артворкшопу в Гаазі у 2016 році. Під час нашого візиту до Нідерландів ми мали відвідати Лейден, і я мав бути гідом цієї подорожі. В рамках екскурсії я мав намір підготувати макет лейденської банки з доступних матеріалів (пристрій, що «зберігає» статичну електрику між двома електродами на внутрішній та зовнішній поверхнях скляної банки, перше відоме втілення електричного конденсатора — Д. С.).
На жаль, впродовж усієї поїздки ми не дістались до Лейдена, але лейденська банка надихнула мене на створення артінсталяції, яка й була представлена наприкінці семінару. Я створив інструмент, що містить уривки з польових записів наших поїздок до Нідерландів. Прилад має форму 16 пляшок, підключених до сенсорного контролера. Коли ми торкаємось окремих пляшок, з’являються звуки. Кожна пляшка містить власний набір звуків, що з’являються у довільному порядку. Деякі з них створюють звук клацання електрики, як розряд оригінальної банки Лейдена.
Електроакустичний фрагмент 2014 року — це дані про перебіг майбутніх астрономічних подій — через великі коливання гравітаційних взаємодій між об’єктами Сонячної системи ефективність точного прогнозування положення небесних тіл обмежена в часі. Ephemeris — етимологічно означав «щоденник» у Стародавній Греції.
У згаданих мною роботах представлений набір різних стратегій взаємодії. Деякі з них засновані на виявленні близькості, інші — на спілкуванні. Деякі з них використовують власні пристрої учасників, а інші, маю на увазі перформанси, базуються на моїй власній імпровізаційній взаємодії з підготовленими елементами твору. До кінця 2019 року здавалося, що можливості використання інтерактивних прийомів у художній діяльності збільшаться, але епідемічна ситуація змусила зменшити деякі можливості: спочатку ті, що засновані на безпосередньому контакті та дотику, а потім усі додаткові заходи в спільний фізичний соціальний простір.
Сіль землі
Обмеження, спричинені пандемією та локдауном, виникли саме тоді, коли я закінчував підготовку до захисту моєї випускної роботи. Її тема твору була наративною: я хотів розповісти історію свого прадіда Франциска Кшечковського, який 100 років тому працював у соляній шахті міста Величка, і його захоплення прекрасними кристалами солі, їхніми властивостями були заразними для його друзів. Я також заразився його інтересом. Тож вирішив, що найкраще скористатись форму живого аудіовізуального перформансу в просторі шахти, щоб забезпечити певне занурення. На жаль, локдаун розпочався за місяць до запланованої дати презентації.
Мені довелося переосмислити форму роботи. Я очікував, що другий термін захисту може бути оголошений, поки локдаун все ще триває, тому й вирішив застосувати кілька особливих елементів для компенсації того, що я не представляю цю роботу в шахті.
Я взяв мотор комп’ютерних ігор Unity, де розмістив фрагменти 3D-простору шахти (реконструйовані за планами та фотографіями), та інші абстрактні простори, пов’язані з темою роботи. Плануючи використати стратегії інтеракції, відомі з комп’ютерних ігор, я відразу зрозумів, що вони мають багато обмежень. Ігри FPS мають механіку руху в просторі, засновану на одночасному використанні миші та клавіатури.
Люди мого покоління, які грали в цей тип гри з середини 90-х років, знають, що система з’явилася не відразу, а еволюціонувала з розвитком графічних можливостей комп’ютерів. Нині стандартним є використання клавіш W, A, S та D для переміщення персонажу в просторі XY при вільному русі за допомогою миші, що дозволяє обертатися та озиратися. Інші рухи або фізична механіка за потреби активуються іншими клавішами. Це обумовлює необхідність засвоєння конкретної рухової координації між правою та лівою руками, що є спільною рисою при грі на музичному інструменті.
Це порівняння є настільки ж сміливим, наскільки виправданим, оскільки для оволодіння плавним рухом таким чином у тривимірному просторі потрібно багато годин практики, і освоєння цієї техніки таким чином, щоб «забути» про носій клавіатури та миші та відчути повне занурення 3D-середовища на екран комп’ютера, потрібно щонайменше кілька тижнів практики. Звичайно, я знаю, що часові рамки для оволодіння базовими знаннями музичного інструменту набагато довші. Але це створює серйозну перешкоду для вивчення цього створеного 3D-простору для людей, які ще не мали можливості навчитися рухатися в іграх FPS.
Отже, використання комп’ютерного ігрового середовища дозволило підготувати взаємодії у вигляді декількох цікавих механік:
- вже згадане вільне дослідження величезної системи,
- гравітаційна взаємодія з деякими об’єктами, як-от зіткнення або використання потоку сили,
- використання наближених перемикачів у різних комбінаціях залежностей,
- застосування всіх цих прийомів також на рівні звукореалізації, що дозволяє визначити певні фрагменти твору як віртуальні інструменти на основі семплів,
- використання інтерактивного графічного інтерфейсу з інформаційними та навігаційними функціями,
- використання штучного інтелекту для управління персонажа Франциска Кшечковського.
Незалежно від технічного аспекту, я розмістив графічні, аудіо- та відеоматеріали у приміщеннях, які становили документацію щодо підготовки до захисту, в початковій версії. Є також матеріали, що складають зміст художнього твору — музика, анімація, підготовлена в техніці stop-motion, та комп’ютерна 2D та 3D анімація.
Важливою частиною роботи були станції LAB, призначені для озвучення фізичних явищ, що стосуються солі, і які мали виконуватися в прямому ефірі під час презентації. Щоб забезпечити онлайн-доступ до цих станцій, а також живого простору моєї студії з рівня віртуального простору, я підготував систему моніторингу екранів у віртуальній шахті з використанням USB-камер, щоб жити, щоб спостерігати за ситуацією в моєму студія.
І от, вся презентація проводилася в Інтернеті. Завдяки цьому вдалося зберегти характер аудіовізуального перформансу, оскільки єдиною людиною, яка взаємодіяла з твором під час презентації, був я. Комісія та запрошені гості переглянули презентацію на платформі MS Teams та на YouTube. На практиці виявилося, що за вжитих заходів неможливо представити роботу в Інтернеті, щоб вона була загальнодоступною.
Перше обмеження пов’язане з розміром файлу проєкту — максимальний розмір 3D-сцени, яку можна розмістити в мережі, становить приблизно 300 Мб, мій проєкт близький до 3 Гб.
Іншим обмеженням є використання відеопрогравачів, які недоступні в Інтернеті.
Наступне випливає із системи моніторингу в реальному часі, яка використовується в роботі — цей елемент не застосовується з логічних причин:
- Або мені довелося б надавати в Інтернеті необмежений доступ до своїх камер,
- Або припустити, що кожен користувач матиме однакову кількість камер.
Це можна вирішити, замінивши живе зображення на записаний документальний матеріал, але це вже серйозне втручання в структуру твору.
Підсумовуючи: твір, підготовлений в епоху пандемії з припущеннями, що випливають із відомих обмежень, які виявились на практиці абсолютно непридатними для подальшої презентації в Інтернеті. Єдиним ефективним методом представлення роботи в реальному часі є використання сервера VNC. Такий сервер призначений для передачі відео та аудіо з робочого столу власника, а також надає клієнту можливість керувати клавіатурою та мишею.
Для цього потрібно запустити сервер VNC з програмою та підготувати камери до станцій LAB, які є її частиною. Крім того, також можна надати контроль за допомогою клавіатури та миші зацікавленим учасникам. Було зроблено кілька подібних презентацій. Незалежно, робота існує в Інтернеті у вигляді декількох ярликів для відео, що документують фрагменти презентації. Я також підготував 360° відеопрезентацію.
Які стратегії взаємодії видаються ефективними?
Обмежені можливості участі у живих мистецьких заходах, таких як концерти, виставки, фестивалі, вистави та інші форми художньої презентації, означають, що більша частина діяльності переміщується в Інтернет. Окрім форм презентації, які не залучають учасників до взаємодії, таких як портали, що представляють мультимедійний вміст (наприклад, Soundcloud, YouTube, Vimeo), існує кілька варіантів.
Створюйте інтерактивні інтерфейси, використовуючи інструменти веброзробки, такі як HTML5 та JavaScript. Участь у просторах, пристосованих для взаємодії з іншими учасниками, такими як Mozilla Hubs, Second Life, VR Chat. Можливості цих систем великі, але вам потрібно взяти до уваги деякі обмеження, що випливають із можливостей, наданих творцями систем. У деяких ситуаціях вони пов’язані з додатковою оплатою чи технічними обмеженнями.
Третій спосіб, який я бачу, — це можливість реалізувати власний простір за допомогою WebGL. Система Unity дозволяє компілювати згенеровані світи в WebGL. Тут, окрім обмежень, що випливають із самої системи WebGL, здається, що можливості мистецького вираження є найбільшими, але для підготовки потрібні значні технічні знання та час. Зараз я тестую цей шлях для проєкту Pandemic Media Space.
Нарешті, короткий огляд технологій, що дозволяють використовувати безконтактні форми взаємодії, які можна використовувати у фізичному просторі:
Відстеження та виявлення руху:
– Камера
– Мікрофони
– Leap Motion
– Кінект
– Сенсори на Arduino (або подібні):
Інфрачервоний (перепади температури)
Ультразвуковий (Відстань до перешкоди)
Мікрохвильова піч (швидкість руху об’єкта)
Фоторезистори
Ще один цікавий і гібридний тип датчиків, але вимагає певного дотику:
– гіроскопічний та акселерометричний
– Смартфони
– Wiimote Nintendo
– Сенсорна дошка
– Світлі палички (мій підхід) та багато іншого.
Як бачите, хоча деякі інтерактивні художні стратегії обмежені, їх все ще залишається багато. Я не можу представити тут всі можливості, оскільки вони залежать від індивідуальної творчості кожного митця. Кожен може поєднати наявні можливості по-своєму творчо, і навіть знайти прості рішення, про які я не згадував, — бо про це не думав. Сподіваємось, що нові обмеження все ще залишають відкритими двері для необмежених експериментів з можливостями. Як відомо, митці завжди здатні підірвати ці обмеження своєю творчістю!
Перша частина лекції Пйотра Мадея:
Друга частина лекції Пйотра Мадея: