Разработчик SearchFace о возможностях алгоритма

в 9:47, , рубрики: AI, FindFace, SearchFace, Алгоритмы, искусственный интеллект, обработка изображений, Социальные сети и сообщества

Всем привет, я один из разработчиков сервиса SearchFace и готов поговорить о нашем сервисе в комментариях.

Разработчик SearchFace о возможностях алгоритма - 1

Из-за шумихи с иском ВК на второй план отошло то важное, ради чего мы запустили сервис — чтобы протестировать возможности поиска. А раз уж теперь сервис доступен широкой публике, хочется продемонстрировать всем, на что способны наши алгоритмы распознавания.

На данный момент SearchFace — небольшая демка работы алгоритмов. Каждый поиск у нас выполняется по базе из полумиллиарда альтернатив. То есть каждого человека необходимо отличить от сотен миллионов других, среди которых могут оказаться (и наверняка окажутся) и очень похожие на искомого человека люди. Да, эту задачу уже решал закрытый теперь FindFace (если мне не изменяет память, объем базы у них был примерно такой же), поэтому нам захотелось не просто повторить, а захотелось превзойти. Основная задача, которую мы перед собой ставили — попытаться сделать возможным поиск в том числе по сильно «искажённым» картинкам. Несколько примеров ниже, но можете поиграться сами.

Пример 1. Максим Черкасов, trashbox.ru.

Максим был одним из тех, кто, делая обзор нашего алгоритма, не постеснялся загрузить фото в зеркальных солнцезащитных очках. И всё равно на первых трёх местах в выдаче поисковой машины были исключительно правильные результаты. Причем на одном из них фотография была низкого разрешения, с необычным выражением лица и ко всему прочему сделанная шесть лет тому назад. Combo!

Разработчик SearchFace о возможностях алгоритма - 2

Результат:

Разработчик SearchFace о возможностях алгоритма - 3

Пример 2. Илья Красильщик и Султан Сулейманов из Meduza.io. Илья загрузил свою фотографию, на которой он смотрит в сторону, а Султан — фотографию в шарфе (где видно только часть лица). По его утверждению, которое мы естественно не проверяли, facebook его на этой фото опознать не смог, в то время как у нас на обоих результатах выдачи очень высокий score — это говорит о том, что алгоритм не просто выбрал самого похожего человека, а уверен в том, что нашел правильного. Грань «уверенности» проходит где-то на 0.65–0.67.

Разработчик SearchFace о возможностях алгоритма - 4

Пример 3. Никита Лихачёв, tj. Редакция TJ тестировала движок на своих сотрудниках, но в отличии от Максима Черкасова не пыталась челенджить наш алгоритм. Поэтому для целей этой статьи мы намеренно размыли фотографию Никиты imagemagick'ом с помощью gaussian-blur с разной величиной сигма.

convert Nikita_00.png -gaussian-blur 12x4 Nikita_04.png

Оригинал фотографии и с размытием

Разработчик SearchFace о возможностях алгоритма - 5 Разработчик SearchFace о возможностях алгоритма - 6

И вплоть до сигма=16 в на первом месте была реальная фотография Никиты, при сигма=18 фото Никиты еще попадались в «топ-16», и только начиная с сигма=20 «топ-16» перестал содержать хоть что-то релевантное запросу.

Разработчик SearchFace о возможностях алгоритма - 7

А вот пример поиска по фото с необычной мимикой и нестандартным ракурсом — фотографии ставшей скандально известной этим летом фотомодели Натальи:

Разработчик SearchFace о возможностях алгоритма - 8
Фото с сайта vklybe.tv

Поисковая выдача:

Разработчик SearchFace о возможностях алгоритма - 9

Вот результат работы по фотографии 8-летней Эми Уайнхаус:

Разработчик SearchFace о возможностях алгоритма - 10

В «топ-16» есть много её уже взрослых фото:

Разработчик SearchFace о возможностях алгоритма - 11

С 7-летней Мадонной оказалось сложнее, но тем не менее выдача содержит и её взрослые фото, причем с ярким макияжем.

Разработчик SearchFace о возможностях алгоритма - 12

Результат:

Разработчик SearchFace о возможностях алгоритма - 13

И тут нужно понимать, что семь лет ей было в далеком 1965 году, а фотографии тех времён не всегда высокого качества.


Может показаться, что фотографии в примерах как-то специально подобраны, но вы можете сами попробовать на любых фото. Про сами алгоритмы расскажем чуть позже, а пока просто хочется, чтобы коллективный разум потестировал — фидбек очень важен для нас.

Пишите вопросы в комментариях.

Автор: Searchfaceteam

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js