- PVSM.RU - https://www.pvsm.ru -
Популярный украинский сервис такси Uklon регулярно устраивает розыгрыши среди своих водителей и клиентов. По результатам каждого розыгрыша они публикуют на свою facebook страницу видео с контактными данными участников: имя и адрес электронной почты (пример [1]). Фрагмент кадра:
В оригинальном видео адреса не размыты, их для статьи размыл я, чтобы не распространять эти данные дальше. На мое письмо в их поддержку, что это не очень хорошая идея:
Добрый день!
Нельзя в видео (ссылка) выкладывать адреса и имена людей.
1. Во-первых, ваши конкуренты могут получить список ваших клиентов и водителей
2. Во-вторых, вы нарушаете закон Украины про доступ к персональным данным
Они ответили, что им все равно:
Здравствуйте, Денис, при регистрации каждый пользователь дает согласие на использование его персональных данных uklon.com.ua/document/useragreement [2] — пункт 2.6. Большое спасибо за ваш отзыв.
Поэтому я решил написать небольшой пост, как можно получить контактные данные с видео, не используя какие-то специальные умения. Дисклаймер: этот пост носит образовательный характер, и демонстрирует как не стоит обращаться с данными клиентов.
Есть много сервисов для скачивания видео с facebook. Я воспользовался http://www.fbdown.net/ [3], он дает прямую ссылку на видео. Все последующие примеры будут на Убунте, но должны аналогично работать и в других ОС.
В исходном видео список контактов показан в первых 17 секундах видео. С помощью ffmpeg мы сохраняем первые 17 секунд видео, как последовательность png изображений:
$ ffmpeg -i video.mp4 -t 00:00:17 out%d.png
Для распознавания мы будем использовать свободный OCR tesseract [4]. Который довольно неплохо работает, но чувствителен к качеству исходных изображений.
Обрежем все лишнее используя ImageMagick [5]
с кадров (начиная с координат 40, 202 и размеров 345x421).
convert '*.png[345x421+40+202]' thumbnail%03d.png
Должно получиться как на картинке справа, без размытия конечно же.
Tesseract плохо определяет небольшие буквы, поэтому в его мануале рекомендуют просто увеличить скриншоты в 2-3 раза:
convert thumbnail*.png -filter Lanczos -resize 300% final%d.png
Приходимся по всем файлам и распознаем. Ключом -psm 4 мы указываем, что хотим чтобы tesseract воспринимал текст как одну колонку. А ключом load_system_dawg=0, что не надо использовать словари при распознавании:
for i in final*.png; do tesseract $i stdout -psm 4 -l eng+rus -c load_system_dawg=0; done > text.txt
Удаляем дубликаты — и наша база готова:
sort -u text.txt > uniq.txt
В результате работы в базе довольно много ошибок. И есть два варианта улучшения:
В любом случае цель статьи было показать не качество распознавания, а принципиальную возможность сделать это быстро и с минимальными ресурсами.
Автор: PatapSmile
Источник [6]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/obrabotka-izobrazhenij/218680
Ссылки в тексте:
[1] пример: https://www.facebook.com/uklon/videos/1248550578521449/
[2] uklon.com.ua/document/useragreement: http://uklon.com.ua/document/useragreement
[3] http://www.fbdown.net/: http://www.fbdown.net/
[4] tesseract: https://github.com/tesseract-ocr
[5] ImageMagick: https://www.imagemagick.org/
[6] Источник: https://habrahabr.ru/post/317242/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best
Нажмите здесь для печати.