- PVSM.RU - https://www.pvsm.ru -
Разработчики из исследовательского проекта Magenta (подразделение Google) представили [1] синтезатор с открытым исходным кодом NSynth Super. В его основе лежит система искусственного интеллекта, которая миксует несколько предварительно загруженных сэмплов (например, звучание гитары и пианино) в новый звук с уникальными характеристиками.
Подробнее о системе NSynth Super и других алгоритмах-композиторах расскажем далее.
Синтезатор NSynth Super имеет сенсорный дисплей, на котором отображается квадратная «рабочая поверхность». Музыкант выбирает несколько инструментов, звучание которых будет использоваться для создания нового звука, и назначает их углам этого квадрата.
Во время выступления исполнитель управляет воспроизводимым звуком, перемещая указатель в пределах рабочего поля. Результирующий сэмпл будет представлять собой комбинацию исходных звуков в разных пропорциях (в зависимости от близости курсора к тому или иному углу).
Новые сэмплы синтезируются при помощи алгоритма машинного обучения NSynth [5]. Он обучался на 300 тыс. инструментальных звуков при помощи открытых библиотек TensorFlow и openFrameworks. В его работе также применяется модель WaveNet [6].
Для генерации новых сэмплов NSynth анализирует [7] 16 характеристик входящих звуков. Затем они линейно интерполируются для создания математических представлений каждого аудиосигнала. Эти представления декодируются обратно в звуки, которые имеют объединенные акустические качества тех, чтобы ли на входе алгоритма.
Использовать NSynth Super можно с любым MIDI-источником: например, DAW, синтезатором или секвенсором. Как работает NSynth Super вы можете посмотреть в этом видео [8]. В нем исполнитель «смешивает» звуки ситара [9], электрического фортепиано [10] и др:
NSynth Super — экспериментальный инструмент, потому не будет продаваться как коммерческий продукт. Однако его код и схема сборки выложены на GitHub [11].
В проекте Magenta работают и над другими технологиями, связанными с машинным обучением. Одна из них — модель MusicVAE, которая может «смешивать» мелодии. На её основе уже создано несколько веб-приложений: Melody Mixer [12], Beat Blender [13] и Latent Loops [14]. MusicVAE (и другие модели от Magenta) собраны в открытой библиотеке Magenta.js [15].
Над алгоритмами для создания музыки работают и другие компании. Например, в Sony Computer Science Laboratories реализуют проект Flow Machines [16]. Их система ИИ способна анализировать различные музыкальные стили и использовать эти знания для создания новых композиций. Примером его работы может быть музыка для песни Daddy’s Car [17] в стиле The Beatles.
В рамках проекта Flow Machines создано несколько приложений, например, FlowComposer [18], помогающий музыкантам писать музыку в заданном стиле, и Reflexive Looper [19], самостоятельно дополняющий недостающие инструментальные партии. При помощи решений Flow Machines даже записали и выпустили музыкальный альбом Hello World [20].
Еще пример — стартап Jukedeck [21]. Он разрабатывает инструмент для создания композиций с заданным настроением и темпом. Компания продолжает развивать проект и приглашает к сотрудничеству разработчиков [22] и музыкантов [23]. Вот пример композиции, созданной алгоритмами машинного обучения Jukedeck:
Похожий инструмент создает компания Amper [24]. Пользователь может выбрать настроение, стиль, темп и продолжительность композиции, а также инструменты, на которых она будет «сыграна». Приложение синтезирует музыку в соответствии с этими требованиями.
Над системами ИИ для написания музыки работает и компания Popgun [25]. Они разрабатывают алгоритмы, способные писать оригинальные поп-песни. Также исследования в этой сфере проводит [26] стриминговый гигант Spotify. В прошлом году компания открыла лабораторию в Париже, которая будет заниматься созданием инструментов на базе систем ИИ.
Хотя некоторые компании разрабатывают алгоритмы для создания музыки, их представители подчеркивают, что эти инструменты призваны не заменить музыкантов и композиторов, а наоборот, дать им новые возможности.
В 2017 году американская певица Тэрин Саузерн выпустила альбом, записанный с помощью систем искусственного интеллекта. Саузерн использовала [27] инструменты от Amper, IBM, Magenta и AIVA. По её словам [28], этот опыт был похож на работу с человеком, который помогает создавать музыку.
При этом с алгоритмы машинного обучения могут использовать не только композиторы, но и другие специалисты [29] из музыкальной индустрии. Нейронные сети лучше, чем люди, справляются с классификацией объектов. Эту особенность могут использовать музыкальные стриминговые сервисы [30] для определения [31] жанров песен.
Более того, при помощи алгоритмов машинного обучения можно «отделить [32]» вокал от аккомпанемента, создавать музыкальные транскрипции [33] или сводить [34] треки.
Удивительные звуки природы [36]
Как услышать цвет [37]
Песни воды [38]
И нарративы в нашем блоге на «Яндекс.Дзен»:
4 известных человека, которые увлекались музыкой [39]
11 интересных фактов из истории бренда Marshall [40]
Автор: Audioman
Источник [41]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/zvuk/288944
Ссылки в тексте:
[1] представили: https://www.blog.google/technology/ai/making-music-using-new-sounds-generated-machine-learning/
[2] Image: https://habr.com/company/audiomania/blog/419897/
[3] Ta Da: https://www.flickr.com/photos/tadaizm/6925209893/
[4] CC: https://creativecommons.org/licenses/by/2.0/
[5] NSynth: https://magenta.tensorflow.org/nsynth
[6] WaveNet: https://deepmind.com/blog/wavenet-generative-model-raw-audio/
[7] анализирует: http://www.synthanatomy.com/2018/03/nsynth-super-new-open-source-machine-learning-synthesizer-supported-google.html
[8] видео: https://youtu.be/0fjopD87pyw
[9] ситара: https://ru.wikipedia.org/wiki/%D0%A1%D0%B8%D1%82%D0%B0%D1%80
[10] электрического фортепиано: https://ru.wikipedia.org/wiki/%D0%AD%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B5_%D1%84%D0%BE%D1%80%D1%82%D0%B5%D0%BF%D0%B8%D0%B0%D0%BD%D0%BE
[11] GitHub: https://github.com/googlecreativelab/open-nsynth-super
[12] Melody Mixer: https://g.co/melodymixer
[13] Beat Blender: https://experiments.withgoogle.com/ai/beat-blender/view/
[14] Latent Loops: https://goo.gl/magenta/latent-loops
[15] Magenta.js: https://magenta.tensorflow.org/js
[16] Flow Machines: http://www.flow-machines.com/
[17] Daddy’s Car: https://youtu.be/LSHZ_b05W7o
[18] FlowComposer: http://www.flow-machines.com/flowcomposer-composing-with-ai/
[19] Reflexive Looper: http://www.flow-machines.com/ai-musical/
[20] Hello World: https://www.helloworldalbum.net/about-hello-world/
[21] Jukedeck: https://www.jukedeck.com/
[22] разработчиков: https://www.audiomania.ru/content/art-4736.html
[23] музыкантов: https://www.audiomania.ru/content/art-5604.html
[24] Amper: https://www.ampermusic.com/
[25] Popgun: http://popgun.ai/x/hello.html
[26] проводит: https://artists.spotify.com/blog/innovating-for-writers-and-artists
[27] использовала: https://www.digitaltrends.com/music/artificial-intelligence-taryn-southern-album-interview/
[28] словам: https://www.theverge.com/2017/8/27/16197196/taryn-southern-album-artificial-intelligence-interview
[29] другие специалисты: https://www.audiomania.ru/content/art-5309.html
[30] музыкальные стриминговые сервисы: https://www.audiomania.ru/content/art-5370.html
[31] определения: https://www.researchgate.net/publication/319326354_Music_Feature_Maps_with_Convolutional_Neural_Networks_for_Music_Genre_Classification
[32] отделить: https://ismir2017.smcnus.org/wp-content/uploads/2017/10/171_Paper.pdf
[33] музыкальные транскрипции: http://www.machinelearning.ru/wiki/images/c/cf/NizhibitskyMusicSlides.pdf
[34] сводить: http://www.semanticaudio.co.uk/wp-content/uploads/2017/09/WIMP2017_Martinez-RamirezReiss.pdf
[35] Telegram-канал: https://t.me/audiomaniaRU/
[36] Удивительные звуки природы: https://t.me/audiomaniaRU/615
[37] Как услышать цвет: https://t.me/audiomaniaRU/616
[38] Песни воды: https://t.me/audiomaniaRU/617
[39] 4 известных человека, которые увлекались музыкой: https://zen.yandex.ru/media/id/5b0e77ae1aa80c98ec3588de/4-izvestnyh-cheloveka-kotorye-uvlekalis-muzykoi-5b575630ca14c800a854832a
[40] 11 интересных фактов из истории бренда Marshall: https://zen.yandex.ru/media/id/5b0e77ae1aa80c98ec3588de/11-interesnyh-faktov-iz-istorii-brenda-marshall-5b45d025e9e97b00a985180f
[41] Источник: https://habr.com/post/419897/?utm_source=habrahabr&utm_medium=rss&utm_campaign=419897
Нажмите здесь для печати.