«Музыка завтрашнего дня»: какие технологии могут изменить процесс записи и презентации музыкальных треков

Записать песню на удаленке уже не проблема — мы рассказывали ^[1] об инструментах, которые позволяют сделать это. Так, фронтмен британской рок-группы Oasis ни разу не встречался с басистом, участвовавшим в записи альбома Who Built The Moon?

Мы решили продолжить тему, немного повизионерствовать и обсудить технологии, которые изменят (и уже меняют) подходы к написанию и исполнению музыки.

Нейросети и споют, и спродюсируют

Такие алгоритмы машинного обучения разрабатывают специалисты в корпорациях и исследовательских лабораториях. Инженеры из OpenAI представили инструмент Jukebox, способный генерировать песни с осмысленными текстами и вокалом ^[2]. Нейросеть обучили на датасете из миллионов композиций разных жанров ^[3]: от регги и кантри до рока и хип-хопа. ML-модель использует вариационный автокодировщик VQ-VAE. Он сжимает аудио, сохраняя акустическую информацию о громкости, тембре и высоте звука. На основе этих данных формируется ^[4] новая аудиодорожка.

Другой пример — альбом Hello World ^[5] от композитора SKYGGE. Он целиком записан с помощью нейросетей. На BBC его назвали ^[6] первым действительно хорошим альбомом от робота. При этом два самых популярных трека — «Magic Man ^[7]» и «Hello Shadow ^[8]» — в сумме собрали почти 10 млн прослушиваний на Spotify.

Несмотря на популярность, которую набирает ^[9] генеративная музыка, многие относятся к ней со скептицизмом. ML-алгоритмы не разбираются в тонкостях музыкальной теории и не способны ^[10] заложить в трек чувства и эмоции. В этом контексте нейросети пока не могут заменить композиторов и саунд-продюсеров, но они уже помогают им искать новое звучание. Инженеры из Magenta представили ^[11] open source синтезатор NSynth Super. Он анализирует кастомные семплы по шестнадцати характеристикам, линейно их интерполирует и формирует новый уникальный звук — например, может объединить ^[12] звучание ситара ^[13] и электрического фортепиано ^[14].

Интеллектуальные инструменты также помогают в продакшене и генерируют клипы. Известно, что видеоряд к треку «Break Free ^[15]» от американской певицы Тэрин Саузерн был создан в «коллаборации» с системой ИИ.

Еще один момент, в котором нейросети могут быть полезны — это прогнозирование успешности трека. По статистике, всего 10% релизов приносят лейблам прибыль ^[16]. Возможность предсказать коммерческий успех той или иной работы в прямом смысле означает большие деньги. В этом году группа нидерландских исследователей установила, что прослушивание популярных треков вызывает в нашем мозгу ^[17] похожие нейронные реакции. Так, алгоритмы машинного обучения могут выделить музыкальные паттерны, вызывающие наиболее активный эмоциональный ответ, и предсказать, насколько новый трек будет интересен аудитории.

«Живые мертвецы» на сцене

На рынке есть синтезаторы ^[18], позволяющие воспроизвести голоса умерших музыкантов. Вкупе с голографическими технологиями они сумеют «возродить» исполнителей. Так, еще в 2012 году аватар Тупака выступил ^[19] на одной сцене с Dr. Dre и Снуп Доггом. Хотя о полноценной голограмме тогда речи не шло — видеоряд транслировался на систему зеркал ^[20], а отражение формировало двумерный «фантом» легендарного исполнителя. Однако перформанс стал отправной точкой для дискуссии о возможности «оживления» других звезд сцены.

В целом голографическим аватарам пророчат светлое будущее. Инженеры из Университета в Сиднее убеждены ^[21], что в перспективе такие музыканты смогут взаимодействовать с публикой и даже импровизировать. Хотя не до конца понятно, как подходить к таким выступлениям с точки зрения законодательства. Например, в США действует доктрина под названием «право публичности». Она позволяет человеку контролировать, как будет использован его образ (в том числе в коммерческих целях). Но что допустимо после смерти — единого мнения нет ^[22].

Подобные технологии поднимают ^[21] и вопросы этики. Некоторые считают, что эксперименты с голограммами — это проявление неуважения к личности исполнителей и их наследию. Так, в 2016 году семья Уитни Хьюстон запретила ^[23] использовать образ певицы в финале американского The Voice.

Компромиссом в этом вопросе могут стать виртуальные исполнители — без реального прообраза. Их внешность создают иллюстраторы в дизайнерских студиях и озвучивают с помощью семплирования голоса. Примером может быть японская певица Хацунэ Мику. Она дает живые концерты ^[24], а её треки завоевывают первые позиции в японских чартах. Сегодня тренд на виртуальных исполнителей развивается и на Западе. Так, до конца месяца должно выйти ^[25] программное обеспечение Solaris для синтеза голоса на английском языке. Не исключено, что в будущем таких необычных перформансов станет больше.

Что почитать по теме в нашем «Мире Hi-Fi»:

• Какие продолжительные и необычные стримы стоит знать ^[26]

• «Хип-хоп импровизации и битвы битов»: какие муз. стартапы стоит знать ^[27]

• Что происходит в сфере аудиочатов и есть ли у них будущее ^[28]