- PVSM.RU - https://www.pvsm.ru -
Звук является колебаниями высокой частоты, которые распространяются в окружающем источник пространстве. Эти волны достигают находящиеся рядом объекты и заставляют их испытывать колебания определённой частоты. Группа исследователей Массачусетского технологического института сумела на основании этих вибраций, видимых на видеозаписи, частично восстановить исходный звук с некоторыми искажениями.
В работе Эйб Дэвис, Майкл Рубинштейн, Нил Вадва, Гаутам Майсор, Фредо Дуранд и Уильям Фриман использовали камеру, записывающую видео с частотой несколько тысяч кадров в секунду, и такие распространённые и подверженные вибрациям предметы, как фольга пакета чипсов, листья комнатного растения, грань коробки с салфетками или стакан с водой. Найти подобную видеокамеру в быту будет достаточно сложно, но их другая техника показала, что восстановление звука возможно и с помощью обычной записи частотой 60 кадров в секунду.
Качество восстановленного звука позволяет разделять отдельные слова и имеет высокие показатели отношения сигнал-шум. Восстановленные аудиозаписи даже позволяют смутно различать речь человека или использовать сервисы распознавания музыки.
В представленном выше видеоролике на отметке 00:45 или на странице проекта [1] показаны исходный звук (исследователи использовали хорошо известную любому, интересующемся историей звукозаписи, песенку «У Мэри был барашек [2]») и восстановленный звук, при этом колебания на видео не видны невооруженному глазу — колебания достигают порядка сотой пикселя.
Затем в видеоролике на отметке 1:50 демонстрируется оригинальный звук, записанный микрофоном сотового телефона, и восстановленный звук человеческой речи. При этом камера находилась на некотором удалении от вибрирующего от звуковых волн пакета чипсов, и между ней и объектом располагалось стекло. Исследователи опять использовали первую из записанных песен.
На отметке 2:35 показано, что сервисы распознавания музыки способны «узнавать» восстановленные аудиозаписи, в частности было распознана песня Under Pressure группы Queen.
Представленные выше результаты были получены с камер с частотой съёмки кадров в тысячи кадров в секунду. Но также было показано, что артефакты съёмки обычных видеокамер (в частности, роллинг шаттер [3]) иногда можно использовать для восстановления звука с частотой куда выше, чем частота кадров видеозаписи с обычных бытовых камер. Результаты изменённой техники можно увидеть на отметке 3:35, исследователям удалось восстановить частоту в пять раз выше частоты кадров видеозаписи. Использовался всё тот же MIDI-файл с мелодией детской песенки.
Больше информации и аудиозаписей доступно на странице проекта [1]. Группа исследователей обещает опубликовать код проекта в скором будущем.
Автор: FakeFactFelis
Источник [4]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/mit/66761
Ссылки в тексте:
[1] странице проекта: https://people.csail.mit.edu/mrub/VisualMic/
[2] У Мэри был барашек: https://archive.org/details/EDIS-SCD-02
[3] роллинг шаттер: https://ru.wikipedia.org/wiki/%D0%EE%EB%EB%E8%ED%E3_%F8%E0%F2%F2%E5%F0
[4] Источник: http://habrahabr.ru/post/232245/
Нажмите здесь для печати.