«Метод абсолютного слуха»
Беседовала Тала Гуцариева
Каждый композитор или просто творческий человек уникален по-своему. Тот, кто привнесёт полезную идею, будет на порядок выше среди конкурентов. Руководитель лейбла Media Sharks композитор Евгения Евпак создала оригинальный способ музыкальной обработки, который традиционно экономит драгоценное время звукорежиссёра, но в случае метода, суть которого мы обсудим в этом интервью, ещё и создаёт музыку из человеческой речи, и не только. С помощью эксперимента получается чистое музыкальное звучание, которое неподвластно обычному человеческому слуху. Например, интершум теперь - не лишний элемент при записи песни, а очень даже важный пункт, изменяющий мелодию и голос исполнителя. Из казалось бы фоновых и бессмысленных звуков можно сотворить что-то особенное. Как применить такой метод на практике? Какие есть риски и нюансы? Мы всё узнали у Евгении Евпак про М.О.З. - метод мелодизации оцифрованного звука.
-Для чего нужен метод мелодизации оцифрованнового звука? В чем его главная функция заключается?
Метод мелодизации оцифрованного звука (М.О.З.-Арт) - не попытка моей индульгенции на творческий псевдоним с фамилией гениального австрийского композитора-классициста Вольфганга Амадея Моцарта, а творческий инструмент и мой экспериментальный подход к созданию музыкального оформления к документальному авторскому кино и театральным постановкам (в этом его главная функция).
Основное предназначение метода мелодизации оцифрованного звука, как вы поймёте из истории его создания - стать описательным инструментом для прояснения принципов и в некоторой степени ускорения рутинных задач композитора по выделению параметра звуковысотности из любого аудиофайла с целью последующей доработки мелодий, сформированных комплексами звуковысотностей (или интонационных контуров) в оригинале записанного звукового сэмпла любой природы.
Человеческий мозг даже у людей с абсолютным слухом тратит значительный энергетический и интеллектуальный ресурс на аналитическую обработку слышимой музыки, и когда, к примеру, композитору нужно достаточно быстро написать оркестровку или ансамблевое переложение музыки, основанной на конкретном звуке. Такое часто встречается в записях репетиций к театральным постановкам и в черновых монтажных версиях кинофильмов. Сделать это без значительных временнЫх затрат - значит, прислушаться к записи звука на площадке, и из эмоций и интершума создать яркие музыкальные темы и лейтмотивы, которые органично впишутся в контекст кинокартины или спектакля. И здесь мелодизация оцифрованного звука - одно из возможных технологических решений, которое позволяет эвристическим путём, выделив при помощи технологии MIDI, на которой основан метод, и нехитрых действий смежного первичного функционала «Pitch detect» (англ.: «определить звуковысотность») стороннего плагина Celemony Melodyne, традиционно используемого в студиях звукозаписи для чистки вокала и коррекции попадания вокалиста в ноты, просто определить звуковысотность в каждом фрагменте, а далее скопировать MIDI-сообщение из полученных звуковысотных комплексов на отдельный канал любого MIDI-инструмента и далее уже интерпретировать данные оцифровки, избавляясь от рудиментов преобразования аналогового аудиосигнала в цифровой, чтобы впоследствии проанализировать интонационные паттерны и отобрать из них наиболее мелодичные и подходящие по настроению к будущему зрелищному или медиапродукту в качестве лейтмотивов.
-Как пришла идея изобрести такой метод?
Метод мелодизации оцифрованного звука был когда-то в 2005 году нужен мне, чтобы доказать моей студенческой подруге Маше Карпекиной, что я могу написать музыку из чего угодно. Мы с ней беседовали на автобусной остановке по дороге домой из институтов, и она интересовалась, как работает абсолютный слух - не верила мне, что я могу запросто разложить голос человека по звуковысотности на ноты. У меня был с собой в сумочке пальчиковый диктофон, тогда в 2005 году большая редкость - подарок моего покойного ныне дедушки академика Карасёва Геннадия Петровича. Беру я, значит, диктофон, и пока ждём автобуса, говорю Маше: «вот скажи что-нибудь, чтобы у нас с тобой диалог получился. Я его запишу на диктофон, а домой приедем - при тебе оцифрую в ноты на компьютере при помощи приложения» (тогда и сейчас речь шла о плагине Celemony Melodyne - этот плагин используют в аудиоредакторах для тюнинга вокала, потому что он распознаёт ноты в одноголосии. В нашей истории это принципиально важный момент!) Приехали ко мне домой, я оцинковала аудиозапись нашего с Машей диалога, и - о, чудо! - несколько фраз диалога действительно были очень мелодичными и походили на начало будущей скрипичной композиции. Маша играла на скрипке, и я написала для неё скрипичную фантазию, основанную на лейтмотивах нашего диалога. Этот опус до сих пор хранится где-то в моих студенческих архивах сочинений.
-Что такое интонационный контур? Этот метод «чистит» только вокал или меняет всю композицию?
Интонационный контур (в фонетике и в музыковедении) - это комплекс изменений звуковысотности голоса при произнесении / инструментальном исполнении фраз речи на естественном или музыкальном языке. Давая такое функциональное определение, я приравниваю между собой музыкальный язык с естественным языком, потому что там и здесь фигурируют категории смысла, драматургии, просодии, актуального членения предложения и интонационного оформления высказывания.
Метод мелодизации оцифрованной речи в этом отношении очень близок, как раз-таки, к смежной и основной функции плагина Celemony Melodyne вычищать и исправлять певческие интонации вокалиста в записи одноголосия. Но схожесть эта ограничивается лишь тем, что основной принцип распознавания звуковысотности требуется и для корректировки интонирование нот в записанном материале, и для визуализации параметра звуковысотности - эта самая визуализация и есть первый шаг, который предшествует коррекции вокала. То есть, звуковысотность нужно сначала определить, а потом уже с нею работать.
Из приведённого описания уже можно понять, что метод М.О.З.-Арт не служит для чистки вокала, а также не имеет отношения к каким-либо кардинальным изменениям не созданной композиции. Метод используется как инструмент для прототипирования или создания набросков - лейтмотивов - к ещё не созданной, совершенно новой, оригинальной и я бы даже сказала кастомизированной композиции, цель которой - стать частью музыкального оформления заданного зрелищного или медиапродукта.
-Каким образом происходит взаимодействие между программированием, фонетикой, акустикой и нейрологией?
Фонетика изучает интонационные контуры речи и специфику произношения звуков в выбранном языке. Акустика описывает физические свойства звука, такие, как длина и частота звуковой волны, сила звукового давления (то, что мы в просторечии называем параметром громкости). Спектр частот звуковых волн является первичной информацией для выявления тембровых характеристик источника звука и поиска в звуковом материале основного тона и, если ещё более тонко и предметно, привязки частотной составляющей шума к примерной звуковысотности.
Как устроен человеческий слух? Есть ухо - наружное, среднее и внутреннее - каждый отдел слухового тракта отвечает за приём и распознание звукового сигнала, и собранная чувственная информация передаётся в зоны головного мозга, где звуковая информация дешифруется и распределяется по отделам головного мозга, отвечающим за дальнейшую переработку, хранение и функциональное применение поступившей звуковой информации.
И человек с абсолютным слухом декодирует слуховую информацию по параметру звуковысотности эффективнее человека с относительным (не абсолютным) слухом за счёт того, что в памяти человека с абсолютным слухом уже сформирована устойчивая реляционная шкала звуковысотности, собранная им, возможно, ещё в первый год освоения музыкальных инструментов.
Когнитивная нейрология и программирование в этом логическом ряду выступают в некоторой степени антагонистами. Оцифровка звука призвана стать "костылём" для музыкантов без абсолютного слуха, поэтому визуализация процесса присвоения звуковысоты фрагментам аудиофайлов - важная задача, которую выполняет плагин Celemony Melodyne или любой его аналог, служащий для коррекции основного тона.
Вообще, программирование в этой цепочке, на мой взгляд, очень правильно стоит первым в списке. Без правильного понимания алгоритмов обработки звукового сигнала невозможно было бы использовать и метод мелодизации оцифрованного звука. Сама по себе оцифровка и перекодирование аналогового аудиосигнала в цифровой с дальнейшим разбиением звуковой волны аудиофайла на частоты, соответствующие по частоте основного тона параметрам звуковысотности, не представляет практической ценности без визуализации. Именно поэтому иметь инструмент для визуализации процесса присвоения звуковысотных характеристик анализируемому плагином аудиофайлу - это возможность быстро вникнуть в суть интонационных контуров, изобразить их графически с помощью компьютера.
-Как физически происходит создание музыки методом оцифрованного звука? Он влияет только на речь в песнях или на саму музыку тоже?
Физически применение метода оцифрованного звука является производственной процедурой в несколько шагов и итераций.
На нулевом шаге мы выгружаем в цифровой аудиоредактор (DAW) аудиозапись материала, который желаем мелодически интерпретировать.
Далее - первый шаг: выгруженный на пустую аудиодорожку материал подвергается анализу плагина Celemony Melodyne или его аналогов. Задача шага - выявить звуковысотность музыкального материала в предложенном аудиофайле.
Шаг второй: как только Celemony Melodyne прорисовал ноты, скопировать их как MIDI-сообщение на пустую MIDI-дорожку и подобрать любой инструмент с тембром электропиано или органа, наподобие синтезаторов Moog.
Шаги последующие: отслушиваем результирующий интонационный паттерн, полученный вышеописанным путём, и ищем в нём благозвучно звучащие фрагменты и музыкальные фразы, подходящие «под картинку» в планируемый к изготовлению медиафайл или зрелищный проект «по настроению» и с применением всех прочих традиционных и не очень композиторских техник.
Таким образом работает метод Мелодизации Оцифрованного Звука (М.О.З.-Арт). То, что получалось в результате его применения в моих экспериментальных сочинениях на космические темы, можно послушать в трилогии «Голос разума».
-С какими сложностями или ошибками можно столкнуться?
Наибольшая сложность - когнитивная, в том случае, если программа Celemony Melodyne в процессе оцифровки выдаст что-то непотребное и неудобоваримое для Вас и Вашего личного слушательского опыта. Я не использую этот метод как основной, а скорее как экспериментальный, когда заниматься съёмом нот ну совсем нет времени, а надо что-то быстро сделать - помогает нащупать контур. А остальное в оркестровке и аранжировке всё равно, как в фотошопе, работа со слоями.
К традиционным ошибкам можно отнести обилие нотных и ритмических артефактов, которые появляются естественным образом при погрешностях оцифровки аудиофайлов. Но иногда даже эти странные артефакты становятся частью художественной концепции произведения, как, например, в случае моего экспериментального сочинения «Голос разума».
-Какое будущее ждёт музыкальную индустрию, если, предположим, большинство артистов начнут создавать музыку таким методом?
Музыкальной индустрии не грозит существенных бед или какого угодно краха в будущем, потому что все драматические явления в истории развития музыкальных технологий и эстетики музыкального языка, которые могли бы кардинально изменить музыкально-творческую мысль или производство культурных товаров с музыкальным оформлением, уже произошли. Даже если послезавтра или в следующем веке какой-нибудь медведь поотдавливает всему населению всей планеты уши и, объевшись шоколадных конфет, начнёт писать шансон, подыгрывая себе на балалайке, или же включит батарею роботов и нейросетей для генерирования либо компиляции самого жуткого музыкального контента, небо на землю не рухнет и реки вспять не потекут. МОЗ - метод очень безобидный, и как только у очередного экспериментатора уши начинают сворачиваться в трубочку от непривычных созвучий, любой неавангардист улыбается и прекращает его использовать)
-Можете сказать, что такой способ делают музыку менее живой и менее натуральной?
Могу сказать ровно обратное. Я извлекла этот метод из смежного применения плагина как раз для того, чтобы усилить правдоподобность подбора речевых интонаций в озвучивании музыкальных спектаклей. А дальше метод себя успешно зарекомендовал в авторских кинокартинах, к которым я тоже делала музыкальное сопровождение. Так что, скорее, эффект обратный - метод предрасполагает к вытаскиванию эмоциональных интонационных контуров из любого самого механистического и пресного звука. Всё остальное - дело фантазии автора композиции.
-Как относитесь к артистам, которые выпускают лайв-версии своих треков? Что по-вашему интереснее? Обработанная музыка или натуральное и естественное звучание? Почему? У меня абсолютный слух. Для меня хоть живое выступление, хоть симулякры полувиртуальные - все должны петь и играть по нотам, которые написал композитор. Можно считать, что оцифрованный звук превращает любую композицию в «голос разума», лишая живых эмоций и инструментов?
Чуть выше написала, что нет, нельзя так считать. Хотя - это не точно, и каждый эксперимент уникален по-своему. Но в таком случае генеративная музыка более неживая, чем музыка, написанная из живых человеческих речевых интонаций методом М.О.З. Другое дело - как её исполнять. Опять же, если живые музыканты, и качественно с чувством играют по нотам - всё замечательно звучит.
-Какие ощущения вызывает у слушателей такая музыкальная обработка?
Разные. Это индивидуально.
-Хотите создать свою программу на платформах?
Если найду хорошего программиста, то - да, хочу. И скорее всего эта программа будет усовершенствованной версией Шазама для композиторов. Она будет определять по базе данных о стилях, эстетике музыкального языка и другим параметрам, не является ли плагиатом напетая или наигранная на музыкальном инструменте (клавишах, гитаре) программа, обучаемая искусственным интеллектом.
Современные технологии меняют жизнь в корне. Наши сердца тоже требуют перемен, а люди жаждут новых зрелищ. Получается, что эксперименты ценятся высоко и очень приветствуются в творчестве. Возможностей стало гораздо больше, учитывая инновационный прогресс и изобилие программ. Таким образом, 2023 год - это время совершенно новых и необычных идей в музыке.