Универсальное языковое приложение. Часть 1: по-фразовый плеер с параллельными текстами и редактор субтитров

Вчера я рассказал ^[1], как учил арабский и в какой программный продукт это вылилось. Сегодня расскажу какой продукт родился при изучении английского.

Всё началось с того, что я решил учить английский по параллельным текстам книги Хоббит, с возможностью одновременно слушать каждую фразу нажатием. Я сделал это в 2011 году как только узнал про возможности HTML5 управлять воспроизведением аудио.

Для меня это был идеальный формат языковых материалов. И мне хотелось поставить процесс на поток и не только для английского. В сферу моих интересов тогда входил и арабский. К тому же я нацмен и в перспективе думал о создании подобных материалов для своего языка, и для всех остальных языков мира.

И вот что первое бросилось в глаза при создании таких "звучащих текстов". Это актуально и сейчас, думаю, хотя давно не мониторил. Когда надо выставить соответствие между текстами и интервалами аудио/видео, конечно же обращаешься к программам субтитров. Даже если автоматически их сделал, и потом хочешь корректировать. А для малых языков вообще без вариантов. Но в программах субтитров нет (либо/либо):

1. Визуализация звуковой волны и возможность выделать фразы прямо на ней (только AEGISUB это позволял)

2. Работа с аудио файлом - они просят видео (AEGISUB снова исключение)

3. Каждый титр - отдельное текстовое поле. А что если у меня есть заранее готовый текст и мне надо просто добавлять разрыв строки? Вместо нажатия Enter внутри <textarea /> приходилось копировать кусочки текста и вставлять в сотни <input />-ов.

4. Возможность работать с параллельными текстами. (В ютубе есть, но это - инпуты друг под другом, что не так удобно как я хотел)

5. Коллаборации. Я хотел подключать друзей к работе, как в Google Docs. Я готовлю тайминги и тексты для оригинала, а они подписывают к ним переводы. Особенно актуально для языков малых народов, ИИ переводчики их не знают, и кроме людей это никто не сделает. В Ютубе было Community Captions/Subtitles, но они закрыли проект. В Amara.org это было, но там собраны все остальные минусы.

В общем, я реализовал всё вышеописанное и сделал редактор субтитров мечты:

Я даже сделал коммит с фичей в библиотеку Wavesurfer.js. Его похерили на год, потом появился основатель библиотеки, поругал всех что мой коммит не заметили и через несколько дней выкатил его в релизе.

Изначально я сделал платформу, куда люди могли добавлять подобные материалы на разных языках. Но я не смог её достаточно упорядочить и там был бардак. Потом я решил что это тупиковый ход. И придумал монетизацию продукта, продавая его как CMS, а уже кто купил, тот и заполняет его чем хочет и платить за хостинг ^[2].

Первым клиентом был репетитор арабского из Москвы, который сделал в таком формате учебник, по которому вел уроки много лет. Следующим клиентом был удмурт из США, радеющий за свой язык. Потом русский ученый лингвист из РАН. Потом лезгин из Нидерландов.

Я подготовил в таком формате много материалов на английском, можете посмотреть ради интереса тут eng.apayrus.cc ^[3], а так же на арабском: arab.apayrus.cc ^[4]

В качестве фронтенда использовался Ionic/React, а бэкенда: Firebase.

Но я больше не поддерживаю этот проект, потому что решил переделать всё на NextJS. Появление развитых ИИ моделей открыло большие возможности по генерации контента и мои планы изменились, и NextJS SSG с парсингом локальных markdown файлов - идеальный вариант для создания универсального языкового приложения с разными типами материалов.

Один из них я описал в статье вчера ^[5]. Благодаря ей я познакомился с продакт менеджером из Yandex с 8-летним стажем, чему очень рад.

Если вас заинтересовала тема — мне еще много есть чего рассказать, не теряйте меня из вида и подпишитесь по ссылкам в профиле.