В МТИ создали технологию восстановления данных с размытых фотографий и видео

в 11:57, , рубрики: Алгоритмы, будущее здесь, видео, медицинские технологии, Научно-популярное, нейросети, Работа с 3D-графикой, Работа с видео

image

Исследователи Массачусетского технологического института представили технологию, которая позволяет восстановить ценные данные из фотографий и видеозаписей низкого качества. Была использована модель «визуальной депроекции», которая с помощью нейросети сопоставляет низкоразмерные проекции с оригинальными многомерными изображениями и видео.

Алгоритм способен использовать полученную информацию для воссоздания первоначальных данных из проекции. Проекцией может выступать, например, фото звездного неба, сделанное с большой выдержкой. На таком снимке звезды обычно представляются как размытые полосы из-за того, что меняли свое положение в процессе съемки.

Ученым же удалось воспроизвести точные кадры снимка с движением людей исходя из информации о траектории движения человека. В ходе эксперимента было записано 35 видео с 30 людьми, идущими в одном месте. В итоге алгоритм точно воссоздал 24 кадра, передав изменение перспективы. Таким образом, нейросеть поняла, что пиксели, которые становятся темнее и шире, скорее всего, означают приближение человека к камере.

Исследователи отмечают, что в пикселях проекции кроются «подсказки» о многомерной исходной сцене. Цифровые камеры при съемке с длинной выдержкой просто собирают фотоны в каждом пикселе, а при захвате движения камера принимает среднее значение от пикселя, который получает информацию о движении. Затем эти значения применяют к соответствующим показателям высоты и ширины неподвижного изображения, и это создает характерные размытые полосы на траектории объекта.

По словам ученых, такая модель может быть использована не только для воссоздания видео из размытых изображений, но и для того, чтобы преобразовать 2D-медицинские изображения в более информативные — 3D, которые смогли помочь врачам в их работе. Кроме того, нынешняя методика компьютерной томографии дорога и доступна далеко не всем, особенно в бедных странах.

«Во всех этих случаях визуальные данные имеют одно измерение — во времени или пространстве — которое полностью теряется. Если мы восстановим это потерянное измерение, у него может быть много важных приложений», — заявил один из авторов статьи Гуха Балакришнан.

Автор: maybe_elf

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js