Машинное зрение применили для изучения английского языка

— No, my friend Magritte, it is a smoking pipe, indeed.

Стажеры Microsoft создали Android-приложение, которое распознает объекты через камеру смартфона и подсказывает, как их назвать по-английски. Программу также можно использовать для чтения бумажных документов.

Приложение Read My World ^[1] адресовано взрослым пользователям в развивающихся странах. Его могут использовать как студенты английских курсов, так и самоучки, которые хотят расширить свой лексикон. Глоссарий Read My World включает свыше 1500 слов. Разработчики утверждают, что этого будет достаточно большинству пользователей — по статистике, основная часть студентов достигает запаса в 2-3 тыс. слов ^[2] лишь через несколько лет обучения.

Авторы Read My World использовали разработки Microsoft Cognitive Services и несколько API для компьютерного зрения. В результате заучивание новых слов превращается из нудной зубрежки в занятие не сложнее отправки очередного поста в Instagram. Когда пользователь делает в приложении фотографию, Read My World распознает объекты в кадре, выводит на экран соответствующее слово и предлагает прослушать звучание. Закрепить новые знания можно в трех встроенных играх — например, подбирая правильное слово к тем или иным предметам.

После первых раундов тестирования разработчики добавили и функцию распознавания текста. Она работает схожим образом — приложение подсвечивает слова, пользователь кликает на них, чтобы услышать, как они звучат, и увидеть изображение соответствующих объектов.

В ближайшее время Microsoft планирует пригласить к тестированию некоммерческие сообщества преподавателей английского языка. Подать заявку для участия можно на этой странице ^[3].

Автор: pomd

Источник ^[4]