Пассивный визуальный микрофон и получение звука из видеозаписей

в 6:23, , рубрики: MIT, Массачусетский технологический, Работа с видео, Работа со звуком

Звук является колебаниями высокой частоты, которые распространяются в окружающем источник пространстве. Эти волны достигают находящиеся рядом объекты и заставляют их испытывать колебания определённой частоты. Группа исследователей Массачусетского технологического института сумела на основании этих вибраций, видимых на видеозаписи, частично восстановить исходный звук с некоторыми искажениями.

В работе Эйб Дэвис, Майкл Рубинштейн, Нил Вадва, Гаутам Майсор, Фредо Дуранд и Уильям Фриман использовали камеру, записывающую видео с частотой несколько тысяч кадров в секунду, и такие распространённые и подверженные вибрациям предметы, как фольга пакета чипсов, листья комнатного растения, грань коробки с салфетками или стакан с водой. Найти подобную видеокамеру в быту будет достаточно сложно, но их другая техника показала, что восстановление звука возможно и с помощью обычной записи частотой 60 кадров в секунду.

Качество восстановленного звука позволяет разделять отдельные слова и имеет высокие показатели отношения сигнал-шум. Восстановленные аудиозаписи даже позволяют смутно различать речь человека или использовать сервисы распознавания музыки.

В представленном выше видеоролике на отметке 00:45 или на странице проекта показаны исходный звук (исследователи использовали хорошо известную любому, интересующемся историей звукозаписи, песенку «У Мэри был барашек») и восстановленный звук, при этом колебания на видео не видны невооруженному глазу — колебания достигают порядка сотой пикселя.

Затем в видеоролике на отметке 1:50 демонстрируется оригинальный звук, записанный микрофоном сотового телефона, и восстановленный звук человеческой речи. При этом камера находилась на некотором удалении от вибрирующего от звуковых волн пакета чипсов, и между ней и объектом располагалось стекло. Исследователи опять использовали первую из записанных песен.

На отметке 2:35 показано, что сервисы распознавания музыки способны «узнавать» восстановленные аудиозаписи, в частности было распознана песня Under Pressure группы Queen.

Представленные выше результаты были получены с камер с частотой съёмки кадров в тысячи кадров в секунду. Но также было показано, что артефакты съёмки обычных видеокамер (в частности, роллинг шаттер) иногда можно использовать для восстановления звука с частотой куда выше, чем частота кадров видеозаписи с обычных бытовых камер. Результаты изменённой техники можно увидеть на отметке 3:35, исследователям удалось восстановить частоту в пять раз выше частоты кадров видеозаписи. Использовался всё тот же MIDI-файл с мелодией детской песенки.

Больше информации и аудиозаписей доступно на странице проекта. Группа исследователей обещает опубликовать код проекта в скором будущем.

Автор: FakeFactFelis

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js