Рубрика «звук» - 3

Какой метод генерации аудио лучший? Сравнение GAN, VAE и Diffusion - 1


В прошлой статье я затронул тему генерации звука с помощью диффузионной модели. Но какие методы существуют вообще и какой из них сейчас наиболее перспективен? Сегодня мы рассмотрим долгий путь этого направления в машинном обучении. Послушаем результаты, посмотрим метрики и просто взглянем на новые технологии, применяемые в совершенно разных нейросетях для аудиосинтеза.Читать полностью »

Этому проекту уже более 7 лет. Есть обстоятельства, когда требуется иметь внешнюю звуковую карту. Иногда это отсутствие встроенной, иногда поломка встроенной, иногда не качественная встроенная, а порой требуется специфический буфер на выходе с возможностью сделать сигнал +-7В, иногда питание компьютера ухудшает параметры встроенной карточки и так далее и тому подобное…

Читать полностью »

Если вбить в поисковик слово «цветомузыка», вы увидите многочисленные объявления о продаже советского дискотечного оборудования, которое наверняка помнят те, чьё детство пришлось на 80-е. Колонки с лампочками, вращающиеся ночники, цветные фонари были тогда почти в каждом доме.

В больших концертных залах проходили цветомузыкальные концерты, а в Казани и других городах проводились научные конференции, на которых учёные делились достижениями в сфере цветомузыкальной инженерии. Цветомузыкальные технологии использовались для решения проблемы сенсорной депривации во время долгих космических полетов. Проще говоря, чтобы не сойти с ума в космическом корабле, космонавты проводили время перед светорелаксирующими экранами.

Устройства для цветомузыки: откуда они появились и как я собрал их в коллекцию - 1

Меня зовут Роман Крылов, я восстанавливаю и коллекционирую советские цветомузыкальные устройства. С декабря в Яндекс Музее в Москве и Санкт-Петербурге проходит выставка моей коллекции, она завершится 31 января. В этой статье я расскажу об экспонатах, но сначала немного поговорим об истории появления самой цветомузыки.
Читать полностью »

Генерация музыки из изображений с помощью Python - 1


Сказать, что музыка является частью моей жизни, будет серьёзным преуменьшением. Я более 20 лет играю на гитаре, и каждый день слушаю других гитаристов. По правде говоря, прежде чем начать свой академический путь в качестве физхимика двенадцать лет назад, я был намерен строить музыкальную карьеру.

И хотя этим моим планам ну было суждено осуществиться, я всё равно продолжаю наслаждаться музыкой и делать с её помощью всякие крутые штуки. К примеру, этот проект возник из идеи написать программу, которая бы создавала музыку из изображений. В прошлом уже были довольно интересные попытки сделать нечто подобное, но вот результаты оказывались не особо музыкальными.

Далее в этой статье я расскажу о своём подходе к генерации из картинок аудиотреков, которые, имхо, звучат весьма неплохо. Здесь я опишу основные результаты и покажу некоторые удачные примеры программы. Если вы захотите посмотреть весь код, то он лежит на моём сайте и в репозитории GitHub. Я также создал с помощью Streamlit приложение, с которым вы можете поэкспериментировать здесь.Читать полностью »

Наполненные пылью марсианские вихри, они же «пылевые демоны», были записаны на микрофоны прибора SuperCam марсохода «Персеверанс». Одновременно с этим навигационная камера Navcam записывала передвижение вихря, проходящего через марсоход. Объединив полученные данные с данными датчиков Mars Environmental Dynamics Analyzer и моделированием исследователи выяснили, что вихрь был диаметром около 25 метров и высотой примерно 118 метров. Он двигался со средней скоростью примерно 5,3 м/с или 11 м/с в пике.

Читать полностью »
Бывает, чтобы заглянуть в подшипник, нужно разобрать полстанка, и всё это — ради профилактики дефекта. Зачастую бывает, что до того, как что-то реально поломается, узел начинает издавать определённый звук. Замечали, что опытные водители на любую нетипичную вибрацию реагируют чутко и с подозрением? Точно так же и сотрудники наших производств знают, как должен «звучать» станок. Ещё из далёкого прошлого нам достался вполне рабочий метод преобразования ультразвука в слышимый звук с помощью доски: бывает, рабочие со стажем лет так в 30 прикладывают обычный деревянный брусок на полметра к узлу и внимательно вслушиваются.

Где-то год назад на производстве ВИЗ-Сталь мы решили проверить, можно ли с помощью поиска ультразвуковых аномалий определить, что происходит с агрегатом в тот момент, когда он ещё только собирается начать ломаться.

Решение выглядит вот так:

Как мы ищем дефекты оборудования ультразвуковыми микрофонами - 1

На фото вы видите микрофонную решётку с камерой в середине, способную построить акустическую карту пространства. Решётка подключается к ноутбуку, где уже проводится уже анализ звука.

Как мы ищем дефекты оборудования ультразвуковыми микрофонами - 2

Результаты получились очень интересные.
Читать полностью »

Всем привет!

Читать полностью »

Датировка звукозаписи по гулу в энергосети - 1
Сравнение колебания частоты тока в целевом сигнале (target) и референсной базе данных (ref) относительно несущей частоты 50 Гц с помощью программы enf-matching, источник

В современную эпоху очень важно иметь инструменты, которые позволяют точно верифицировать аудио/видеозапись, выявить следы монтажа и поставить точную метку времени.

Рутинная цифровая криминалистика включает изучение метатегов, где указано время записи файла, но эти теги легко подделать. Но есть одна физическая характеристика, которую подделать практически невозможно без предварительных измерений частоты электрического напряжения в сети.

Речь о специфическом гудении энергосети в виде электрического шума, который всегда записывается на аудиодорожку.
Читать полностью »

Минидиск, один из самых приятных и наиболее бесполезных носителей звука, был выпущен ровно 30 лет назад, в ноябре 1992 года. Тогда в продажу поступило первое устройство — условно портативный плеер и рекордер Sony MZ-1. В 2002 году формат еще был вполне актуален, выпускался полный ассортимент устройств от портативных плееров до магнитол в автомобиль. Появилась возможность копировать треки с компьютера, хотя и с серьезными ограничениями. В 2012 году минидиск все еще поддерживался производителем, хотя последнее новое устройство было выпущено в 2006-м. В 2022 году формат мертв. Да что там, окончательно потеряли актуальность все физические носители данных, кроме разве что флешек и карт памяти. Наступила эпоха тотального стриминга данных из разнообразных облаков, и больше не надо изучать полку с дисками, чтобы найти любимый альбом.

Тридцатилетие минидиска, элитный хайфай и немного аудиофилии - 1

Впрочем, у меня дома минидиск живее всех живых. Недавно моя коллекция пополнилась еще одним очень интересным экспонатом. Это стационарный минидисковый рекордер Sony MDS-JA30ES, выпущенный в 1998 году. Это довольно нестандартное устройство: большой, тяжелый аппарат с классическим дизайном, принадлежащий серии ES, в которой компания Sony традиционно выпускала наиболее качественные компоненты. Это, если хотите, аудиофильское устройство, в котором какие-то решения действительно влияют на объективные характеристики, а некоторые просто призваны радовать владельца крайне недешевой техники без какой-либо реальной пользы. Давайте обсудим разницу между объективным и субъективным, и заодно попробуем ответить на вопрос: как так получилось, что в аудиофильском устройстве используется сжатие с потерями, наподобие MP3.
Читать полностью »

Я занимаюсь написанием различных мелодий в разных жанрах довольно давно, но только недавно решил соотнести это занятие с научным подходом.

Что, если существует формула нахождения частоты любой выбранной ноты на любом аккорде? Что ж, углубившись в построение частот нот и настройку музыкальных инструментов, можно выяснить, что, во-первых, лучше использовать алгоритм, а во-вторых - всё будет зависеть от того, какой звукоряд используется:

Читать полностью »

https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js