Несмотря на то, что прошло уже больше двадцати лет с момента запуска серии международных конференций, посвященных изучению сонификации, споры о том, что это такое, в особенности ее отношение к музыке, до сих пор не утихли. Непрофессиональное определение сонификации может заключаться в следующем: это использование звуков, не связанных с речью, для передачи данных. Многие исследователи утверждают, что их сонификации обладают музыкальностью, причем обычно тогда, когда производится перенос данных на высоту звука (data-to-pitch mappings). В 2006 году Беннет Хогг и я [Vickers and Hogg, 2006] сделали достаточно провокационное заявление, согласно которому музыка и сонификация связаны (см. также и дальнейшее развитие в работе [Vickers 2006]). Это было сделано не столько для того, чтобы утвердить онтологическую истину, сколько чтобы вынести на обсуждение дебаты, проводившиеся с первой Международной конференции по звуковым отображениям (ICAD) в 1992 году. Количество музыкальных и звуковых произведений, основанных на естественных явлениях, которые авторы называют звуковым моделированием (sonification), с тех пор увеличивается. Эта глава рассматривает некоторые вопросы, связанные с отношениями между сонификацией и музыкой, а также разработки, которые могут сблизить сонификацию и звуковые искусства.
Сонификация обычно определяется как использование звука, не связанного со словесной речью, для передачи информации; причем, как правило, путем сопоставления данных и отношения этих данных к параметрам звукового сигнала [Kramer et al. 1999]. Дэвид Хоуз уже упоминал в этой книге «слушание с помощью глаз», таким же образом можно сказать, что звуковое моделирование предполагает «видение с помощью ушей». Уже более тридцати лет существует возможность преобразования данных и связей между данными в аудиосигналы. Как самостоятельная дисциплина сонификация получила признание с проведением первой Международной конференции по звуковым отображениям (auditory display) (ICAD) в 1992 году, и она привлекает исследователей из разных научных областей. Ученые в областях компьютерных наук используют сонификацию для передачи информации о работающих программах и процессах; психологи исследуют ее связь с нашей способностью ее интерпретировать; статистики используют для предварительного анализа данных; геофизики – для анализа сейсмических данных; нейробиологи – для интерпретации ЭЭГ. Спортивные тренеры используют сонификацию для тренировки спортсменов высокого уровня, а реабилитологи пользуются ею для при работе с людьми с нарушениями зрения. И это лишь несколько примеров. Чтобы получить полное представление о том, как и где применяется сонификация, можно обратиться к книге "The Sonification Handbook" [Hermann, Hunt & Neuhoff (eds.) 2011], в которой представлены многочисленные примеры из разных научных областей. Александра Суппер в своем исследовании отметила, что определение сонификации остается всё еще не до конца ясным, несмотря на проведение конференций по этой теме и дружное деятельное сообщество (close-knit community of practice) [Supper 2012: 92]. В литературе сохраняется несколько точек расхождения относительно того, что считать сущностью сонификации. Заинтересованному читателю мы рекомендуем обратиться к замечательному разбору этой темы, проведенному в [Supper 2012]. Один удачный вопрос в этих дебатах касается методологической природы звуковой визуализации данных (sonification). За годы было много примеров музыкального и звукового искусства, основанного на данных (частично благодаря встречам ICAD, некоторые из которых включали в свою программу концерты с звуковой визуализацией данных). Было обнаружено, что существует сложность в различении сонификации и звуковых художественных практик. Чтобы внести ясность в определение, Томас Херманн [Hermann 2008] заявил, что сонификация данных должна рассматриваться как научный метод, и предложил четыре необходимых и достаточных условия, по которым что-то можно рассматривать в качестве сонификации. Однако, Скот Гришем-Ланкастер [Gresham-Lancaster 2012] предостерегает от такого подхода и называет его серьезной ошибкой, считая неправильным сводить сонификацию данных только лишь к научному методу. В нашей работе со Стивеном Баррассом [Barrass & Vickers 2011: 152] мы указали, что технологии, инструменты и методы, которые используются для синтеза звуков из данных, так же используются музыкантами и звуковыми артистами . Баррасс [Barrass 2012b] утверждает, что сонификация является практикой дизайна, в которой эффективные решения проблемы передачи данных через звук достигаются через итеративный эвристический процесс. Для нас:
Ведутся дебаты относительно того, что такое сонификация, и является ли она научным методом или же набором техник, которые при желании можно применить в рамках научного метода. Однако большее согласие существует в отношении того, чем сонификация не является. Серия интервью Суппер, которые она взяла у исследователей из различных областей практики сонификации, демонстрирует, что чем бы сонификация ни была , она точно не является музыкой [Supper 2012]. Тем не менее, сонификация и музыка продолжают быть тесно взаимосвязанными, поскольку исследователи публикуют статьи, описывающие свои музыкальные сонификации, а композиторы представляют свою музыку, созданную с использованием методов сонификации.
Провокационное заявление, упомянутое во вступлении, заключалось в следующем:
Суждение (2) относительно легко объяснить (хотя оно и не так уж однозначно). Оно означает, что если что-то является сонификацией, то оно также является и музыкой. Существует много споров относительно того, чем музыка является (эта сложность хорошо показана в диалоге Джона Кейджа в “Silence”, часть которого цитируется в начале этой главы), и, конечно же, сонификация понимается как «организованные звуки, обрамленные тишиной» [Judkins 2011: 14]. Определение и таксономия до сих пор широко обсуждаются в мире (мирах?) музыки/саунд-арта/звукового искусства. Например, вопрос о том, правда ли, что музыка, как предполагает Саймон Эммерсон, – это подмножество звукового искусства [Gibbs 2007: 64] ; или звуковое искусство это полностью музыка, как предполагает Ли Лэнди [Landy 2007: 8, 177] ? Возможно, именно музыкологам предстоит установить онтологический статус музыки. Вместо этого мы можем занять позицию, согласно которой музыкой является всё то, что индивид решил слушать как музыку (этот типичный пример более полно исследуется в [Vickers & Hogg 2006] . Распространенное возражение против этого касается роли намерения: если за звуком не было композиционной задумки, тогда это не музыка. (Каковой была бы намеренная композиция в музыке сфер?) Дэвид Уорролл также заметил, что даже если что-то было прослушано только лишь как сонификация, оно «может спровоцировать критические комментарии по таким вопросам, как уместность или формальная неполнота результирующего звукового опыта» [Worrall 2014: 53]. Суждение (3) вытекает из того наблюдения, что любое музыкальное произведение является слуховым отображением, которое передает физические свойства инструментов, эмоциональное состояние и/или намерения исполнителя и, возможно, так же намерения композитора. Конечно, есть аргументы против этого утверждения, но настоящие проблемы начинаются, если объединить эти два утверждения. Если и (2), и (3) верны, то происходит обоюдная импликация в (1). Спор заключается в том, о чем говорится в (1). Символ ⇔ читается как "тогда и только тогда, когда". Иными словами, если что-то является сонификацией, то это музыка (и наоборот). Это заявление было сделано на конференции ICAD, где не было воспринято с энтузиазмом, и все его последствия еще не исследованы. По правде сказать, его правдоподобие сложно установить, учитывая отсутствие согласия в отношении самих терминов «сонификация» и «музыка». Тем не менее, оно предоставляет полезную отправную точку для дальнейшего обсуждения. Основной целью нашей статьи [Vickers & Hogg 2006] было предложить эстетическое пространство в различных школах композиции музыки, которое может быть использовано для улучшения дизайна и пробуждения интереса к сонификации. Как можно видеть из сонификаций и музыкальных композиций, основанных на данных, они связаны, даже если иногда они противоречат друг другу (см. часть, написанную Андреа Полли (Andrea Polli) в другой части этой книги). Но какова степень этой связи, и как ее добиться и ею управлять? Когда практика в одной области может удовлетворить потребности другой области? Как сформулировали Гронд и Херманн [Grond & Hermann 2012: 214] : "В каких обстоятельствах мы можем слушать звук как сонификацию?"
На первый взгляд музыка и звуковая сонификация имеют разные цели. Композитор стремится к удовлетворению эстетического интереса, поэтому результаты его труда должны быть "эстетически полезными" [Wishart 1994: 4-5]. В сонификации целью является не эстетический интерес, а успешная переработка данных в звуковую форму, чтобы передать определенное значение. Но являются ли эти цели взаимоисключающими, и если нет, то как практика в одной области может быть полезна для другой? Было показано, что структурированные тональные музыкальные рамки могут быть использованы для успешной сонификации [Alty & Vickers 1997]. Также интуитивно понятно, что сонификация должна использовать схемы представления, которые опираются на нашу врожденную способность отслеживать мир через звуковые потоки или звуковые ландшафты (например, такой подход всё больше распространяется в космологии и астрономии). Оба подхода имеют свои сильные и слабые стороны. Давайте отложим пока в сторону вопрос о том, какой вариант нам стоит выбрать. Есть вероятность, что ответить на него в принципе невозможно, и это точно пока никем не было сделано. Зададимся другим вопросом. Как должны подходить к задаче дизайнеры сонификации, которые хотят, чтобы их работа была более "музыкальной"? Понимая, что сонификации, которые трудно слушать, или которые вызывают усталость, будут менее успешными, исследователи предприняли отважные попытки включить в них некоторые элементы композиции. Если музыка создана для привлечения и удержания интереса слушателя, более музыкальная сонификация будет лучше, чем та, которая менее музыкальная, не правда ли? К сожалению, сонификации, которые предположительно созданы для того, чтобы звучать музыкально, часто остаются утомительными или неинтересными. Иногда это происходит просто потому, что сонификация музыкально наивна или слишком проста (часто состоит из простых соответствий данных и MIDI-нот). Наоборот, стремление к созданию более сильного музыкального фрагмента может затруднять передачу существенной информации. Гронд и Херманн подчеркивают, что «информационный контент сонификации должен находиться в ушах слушателя, а не в сигнале, в который преобразуются данные» [Grond & Hermann 2014: 43] . К сожалению, стремление сосредоточиться на слуховом опыте может подрывать цель сонификации. Например, Вайнберг и Тэтчер попытались создать такой способ сонификации, который бы ясно передавал информацию и при этом обеспечивал «захватывающий музыкальный опыт», но пришли к выводу, что «выбранный компромисс склоняется в пользу эстетики и музыки в ущерб науке и образованию» [Weinberg &Thatcher 2006: 11]. Аналогично, Барретт и Мэйр обнаружили, что отступление «от научной точности уже началось: музыкальные абстракции были созданы... для музыкальных, а не научных целей» [Barrett & Mair 2014: 12-13]. Для прояснения этого явления Майкл Филимович определяет сонификацию в качестве двумерного пространства диалектической противоположности [Filimowicz 2014]. Он предлагает эстетическое поле, в котором создание сонификации является борьбой за нахождение баланса между данными-для-себя (data-for-itself) и слушателем-для-себя (listener-for-itself) как таковыми на одной оси, и троичной теорией Пирса (рема, дицисигнум (dicisign), аргумент) и тремя параметрическими порядками (особенности данных, структура данных, звуковая структура) на другой. Филимович приводит в пример спутниковый звуковой инструмент Йоланды Харрис (Yolande Harris) «Satellite Sounders»3 как пример сонификации, которая сосредоточена на данных, но одновременно учитывает потребности слушателей и удерживает данную диалектическую противоположность в равновесии. Достижение этого баланса становится еще более сложным, если учесть скептицизм, который проявляют композиторы в отношении проектов по звуковой визуализации данных. Столлман, Перес и Кортум описали проект, в котором использовалась музыкальная композиция для создания звуковых сигналов, помогающих пользователям телефонной очереди сохранять ощущение прогресса в очереди и лучше предсказывать, когда звонок может завершиться [Stallmann, Peres & Kortum 2008] . Результатом стало эффективное звуковое отображение, в котором ключевая информация передавалась посредством мелодии. Эстетически оно было более сильным, поскольку делало болееДостижение этого баланса становится еще более сложным, если учесть скептицизм, который проявляют композиторы в отношении проектов по звуковой визуализации данных. Столлман, Перес и Кортум описали проект, в котором использовалась музыкальная композиция для создания звуковых сигналов, помогающих пользователям телефонной очереди сохранять ощущение прогресса в очереди и лучше предсказывать, когда звонок может завершиться [Stallmann, Peres & Kortum 2008] . Результатом стало эффективное звуковое отображение, в котором ключевая информация передавалась посредством мелодии. Эстетически оно было более сильным, поскольку делало более доступным и простым чувственное восприятие (в конце концов, это основное значение эстетики) информации. Однако, в ходе своего выступления на конференции ICAD в 2008 году Камилль Перес отметила, что сотрудничающий с ней композитор выразил свое нежелание указывать свою связь с музыкальной составляющей проекта, потому что это было совсем не то, чем он мог бы гордиться или хотел бы иметь в своём творческом наследии. Для него это не было, как сказал Уишарт, "эстетически интересным". Сонификация – это, если хотите, как графический дизайн искусства; в ней стоит отказаться от музыки. Как если бы нищий Моцарт принял бы деньги за написание рекламной мелодии для новейшего сорта венской выпечки. В конце концов, композиторам важен художественный престиж. Боверман, Рорубер и де Кампо подчеркивают напряжение между достижением точной передачи данных и музыкальном контекстом [Bovermann, Rohruber & de Campo 2011: 240]. Использование традиционных тембров музыкальных инструментов может привести к тому, что различия в высоте звука будут звучать "неправильно", а не интересно. Если принять музыкальную структуру на основе высоты тона, при которой точки данных переводятся в хроматические интервалы с равномерным размером такта, то могут быть утеряны важные детали и введены "потенциально вводящие в заблуждение артефакты"; и всё же это будет что-то не похожее на “достойную музыку".
Большая часть разговоров о сонификации и музыке связана с электроакустической традицией, в особенности с моделями слушания (“quatres écoutes”) Пьера Шеффера, которые занимают центральное место в недавней дискуссии о том, как мы слушаем сонификацию (см., например: [Tuuri, Mustonen & Pirhonen 2007] ; [Vickers 2012]; [Tuuri & Eerola 2012]; . [Grond & Hermann 2014]) Однако, электроакустическая традиция сама по себе вносит свои собственные трудности. Данн отметил, что его электронная музыка была интересна только потому, что она была экспериментальной и имела мало общего с музыкой как эстетическим опытом [Dunn, 1999]. Ей не хватало базовой структуры и культурных традиций, которые делают музыку доступной для восприятия. Многие сонификации звучат как «экспериментальная музыка», и отсутствуют исследования, направленные на выявление того, как различные музыкальные и звуковые структуры влияют на коммуникативные возможности сонификации. Мы очень практичны в отслеживании мира вокруг нас с помощью слуха. Мы создаем ожидания и предположения о нормальном состоянии звуковой обстановки в нашей среде и умеем распознавать аномальные звуки или изменения существующих звуков, которые указывают на значимые события. Управление ожиданием и предвидением – одно из умений, которым должен обладать хороший композитор. Роберт Журден выразил это так:
Теория информации Шеннона (1948 год) – это способ оценки информационного содержания сигнала. Цель сонификации – максимизация передачи информации при минимизации шума (высокое соотношение сигнал/шум). Однако музыка, содержащая большое количество информации и низкую избыточность, не умещается в музыкальные схемы композиторов [Snyder 2001: 235]. Опыт Данна, связанный с попыткой превращения данных о морских приливах в звук, это подтверждает: «данные казались слишком случайными, чтобы придать полученной музыке какой-либо глубокой структуры” [Dunn and Clark 1999: 27] . Другими словами, высокое содержание информации по Шеннону в данных привело к звуковому образу, который было трудно вписать в стандартную музыкальную схему. Музыка, которую можно, имеет низкое содержание информации по Шеннону, тогда как музыка, которую нельзя предсказать, имеет гораздо более высокое содержание информации. Воткинс и Дайсон показали, что мелодии, следующие правилам западной тоновой музыки, легче запомнить, организовать когнитивно и отличить от других тональных последовательностей, имеющих схожую сложность [Watkins & Dyson 1985]. Это говорит о том, что когнитивный организационный перенос, связанный с атоническими системами, делает их менее подходящими для переноса информации о программе [Vickers 2004. Однако здесь не учитывается электроакустическая музыка. Несмотря на частое отсутствие различимых мелодий и гармонических структур, ее все равно намного легче организовать и когнитивно разложить, чем атональные произведения.
Музыканты все чаще используют термин "звуковая интерпретация" для работ, которые не соответствуют их замыслу. Йоран Руди, поддерживая взгляды Викерса и Хогга, говорит, что звуковое искусство следует понимать как "звуковое воплощение художественных идей или звуковые представления тех же идей" Rudi 2009: 1] [. Это – сонификация как мимезис или, как сказал Роберт Джонстон, «художественная звуковая интерпретация» [Johnstone 2013: 192] , где мимесис понимается как соотнесение знака с его референтным объектом [Iosafat 2009: 49]. Есть композиторы, использующие вычислительные и алгоритмические процедуры как средства композиции, например, к таковым можно отнести алеаторические произведения Кейджа или генеративные работы Брайана Ино. Учитывая то, как сонификация переводит данные в звук, неудивительно, что композиторы и звуковые художники обращаются к ней как движущей силе своей работы. Однако Шедель и Уорролл предупреждают, что использование сонификации в музыке "перенимает многие проблемы процедурной композиции” [Schedel and Worrall 2014: 2] . Есть мнение, что такие работы лучше описывать как "музыку данных". Если в сонификационных проектах передача данных не достигается, как отмечалось выше, то композиторы, занимающиеся музыкой на основе сонификации, зачастую в поисках эстетического интереса полностью теряют эту цель. Например, проект по звуковому представлению данных о солнечном ветре со спутника ACE NASА [Alexander, Zurbuchen, Gilbert, Lepri & Raines 2010] был совместной работой ученых и композитора Роберта Александра. Музыкальное произведение, которое было представлено на ICAD 2010 (можно найти на сайте4), хотя и впечатляющее с музыкальной точки зрения, однако не дает возможности для анализа данных, который является целью звукового представления данных. Точно так же, как некоторые разработчики звуковых изображений утверждают, что их работы являются информативными и эстетически привлекательными, некоторые композиторы склонны использовать термин "сонификация" даже тогда, когда музыка не передает информацию о данных. Тем не менее, плюсом такого процесса является то, что новые слушатели знакомятся с сонификацией [Ballora 2014: 38]. Иногда возникает путаница относительно даже статуса произведения. “Музыка для соло-исполнителя” Элвина Лусье (1965) часто приводится как один из первых примеров сонификации. Во время исполнения произведения Лусье прикреплял электроды, которые были чувствительны к альфа-волнам, к своей голове. Задача заключалась в том, чтобы расслабиться и создавать альфа-волны, которые были затем зафиксированы датчиками, передающими импульсы по проводам к громкоговорителям, которые, в свою очередь, заставляли инструменты, к которым они были подключены, издавать звук. Ассистент использовал микшерный пульт для выбора инструментов, которые будут слышны, тем самым оркестрируя выступление в реальном времени. По мнению Штраебеля и Тобена, любое ощущение сонификации является иллюзорным, результатом "намеренного театрального эффекта" [Straebel & Thoben 2014: 17]. В лучшем случае произведение, в терминологии Гришем-Ланкастера [Gresham-Lancaster 2012], является звуковым изображением второго порядка, хотя на самом деле это пример искусства, управляемого сигналом (signal-driven art). Очень интересным примером того, как размыта грань между звуковым представлением данных и музыкой, является концерт "Прислушиваясь к слышанию сознания" (Listening to the Mind Listening), который был частью программы ICAD 2004 [Barrass 2012a]. Концерт состоял из десяти произведений, которые были сонификациями одного и того же набора данных ЭЭГ (их можно послушать на сайте 5). На записях видно, что некоторые композиторы сосредоточены на цели дать слушателю услышать именно активность мозга, представленную данными ЭЭГ, тогда как другие используют данные скорее как исходный материал для композиции. Некоторые из произведений были эстетически интересными сонификациями (музыкальными сонификациями); другие были более похожи на музыку, созданную с помощью сонификации. Баррас прокомментировал критику следующим образом:
Каждое произведение включало подробное описание подхода к сонификации, принятого композитором. Баррас заметил, что "практики, которые являются сложными в одной области, не обязательно являются сложными в другой, и наоборот, что указывает на ценность междисциплинарного подхода к звуковой иллюстрации" [Barrass 2012a: 282].
Существует постоянное противоречие между композиционными стратегиями, с одной стороны, и целями передачи информации и придания значения звучанию – с другой. Всё больше внимания сосредотачивается на связи между дизайном, практикой и стратегиями прослушивания в сонификации, а также устоявшимися музыкальными парадигмами. Влияние электроакустической мысли особенно сильно, и будет полезно проследить за развитием музыкального мышления, для того, чтобы увидеть, как оно может влиять на мышление в области сонификации, особенно если рассматривать ее как культурную практику. Интерес к вопросам исполнительства также оказывает влияние на исследования и практику сонификации. Исполнительство предлагает новые способы исследования того, как люди взаимодействуют с сонификациями, это прослеживается как в концепции воплощенного музыкального познания (embodied musical cognition) Лемана [Leman 2008] так и в концепции "пассивного сознания" (enactive consciousness) Хогга [Hogg 2011]. Родди и Фурлонг [Roddy & Furlong 2014] предлагают в проектировании звуковых образов использовать исполнительские схемы, и, действительно, предварительные исследования показывают, что эта область обладает большим потенциалом [Diniz, Deweppe, Demey & Leman 2010; Maes, Leman & Lesaffre 2010; Worrall 2014]. Рассмотрение вопроса об исполнительстве также проливает свет на то, как может происходить означение в сонификации. Здесь термин "означение" используется в смысле Пирса [Vickers, Faith & Rossiter 2013]. В сонификации звук формирует знак (в терминологии Пирса – representamen) для какого-то референтного объекта (данных или информации о данных). Знак вызывает формирование интерпретанта (ментального воспроизведения) в уме слушателя, что позволяет ему связать себя с объектом. Аналогично, согласно Леману, шефферовский подход представляет собой "попытку постичь понятие музыкального объекта с интенциональной точки зрения" [Leman 2008: 32]. Музыкант
Здесь цели отличаются от целей создателя сонификации, но необходимы дальнейшие исследования того, как цели музыканта могут помочь практике сонификатора. Как отметил Баррас относительно концерта «Listening to the Mind Listening», ценность в мультидисциплинарном подходе может работать в обе стороны: композиторы могут помочь сонификаторам, которые, в свою очередь дают возможность композиторам понять, как данные могут быть структурированы и отображены наиболее интересно. Из-за проблем с созданием «музыкальных» сонификаций, Боверман с соавторами советуют создавать возможности для «практики более открытого слушания, которое может стать эпистемически и эстетически ценно для слушателя, как только тот начнет свободно читать детали сонификации» [Bovermann, Rohruber & de Campo 2011: 240]. Музыкальное слушание – это навык, который можно развить. Поп-музыка частично доступна, потому что кажется, что она требует от нас небольшого познавательного усилия, она предвосхищающая. По крайней мере, на начальном этапе она допускает, что слушатель быстро её поймет, но она также поощряет более систематическое прослушивание, раскрывая дополнительные структуры, гармонические прогрессии, методы производства и т.д. Однако, "серьезная" музыка (в которую можно включить более "сложных" исполнителей, таких как, например, Бьорк) создает барьер и допускает к себе (и вознаграждает за прослушивание) только тех, кто готов уделить время и усилия для ее прослушивания, а также готов искать то, что можно из этого извлечь и, в конечном итоге, прийти к тому, что Журден (1997) описал как "экстаз". Итак, чего мы хотим: чтобы наши сонификации звучали как поп-музыка, или, как предлагает Боверман, они должны требовать более дисциплинированного подхода к прослушиванию? Продолжающийся и развивающийся дискурс вокруг сонификации и музыкального прослушивания (особенно шефферовского прослушивания) обещает многое добавить в создание сонификации.
David Howes
Andrea Polli
Laura Maes and Marc Leman