Мы наконец опубликовали наш набор высококачественных пре-тренированных моделей для распознавания речи (т.е. сравнимых по качеству с премиум-моделями Google) для следующих языков:

• Английский;
• Немецкий;
• Испанский;

Вы можете найти наши модели в нашем репозитории вместе с примерами и метриками качества и скорости. Мы также постарались сделать начало работы с нашими моделями как можно более простым — выложили примеры на Collab и чекпойнты для PyTorch, ONNX и TensorFlow. Модели также можно загружать через TorchHub.

	PyTorch	ONNX	TensorFlow	Качество	Colab
Английский (en_v1)	✓	✓	✓	ссылка [1]	[2]
Немецкий (de_v1)	✓	✓	✓	ссылка [1]	[2]
Испанский (es_v1)	✓	✓	✓	ссылка [1]	[2]

Почему это Важно

Распознавание речи традиционно имело высокие барьеры на вход по ряду причин:

• Данные сложно собирать;
• Разметка на сравнимую единицу данных стоит сильно дороже чем в компьютерном зрении;
• Высокие требования по вычислительной мощности и устаревшие технологии;

Вот перечень типовых проблем, с которыми сталкивались существующие решения для распознавания речи до нашего релиза:

• Исследования в этой сфере обычно делаются на огромных вычислительных мощностях;
• Пре-тренированные модели и готовые рецепты обычно имеют сильные проблемы с генерализацией, их тяжело использовать "как есть", много зависимостей от устаревших технологий;
• До недавнего времени сообщество не имело доступа к простым в использовании, но качественным пре-тренированным моделям для распознавания речи;

Для начала мы попробовали решить какие-то из этих проблем, опубликовав самый большой в мире речевой корпус для русского языка (смотрите наш пост на Хабре тут ^[3]). В этот раз мы делаем свой вклад в решение этих проблем следующим образом:

• Мы публикуем набор высококачественных пре-тренированных моделей для популярных языков;
• Наши модели быстрые и могут работать на обычном железе;
• Наши модели легко использовать;
• Наши модели пре-тренированы на огромных и разнообразных речевых корпусах;
• Мы строили наши модели так, чтобы они были устойчивы к разным доменам, насколько это возможно;

Сделать Просто — Сложно

Нам кажется, что современные технологии должны быть безумно простыми в использовании. В нашей работе мы следуем следующим принципам:

• Скорость и компактность;
• Генерализация между разными доменами. Должно существовать одно общее решение, которое незначительными усилиями настраивается на конкретные домены, а не наоборот;
• Максимальная простота в использовании ("1 строка кода");

Дальнейшие Планы

Сейчас наименьший размер, до которого мы смогли ужать наши модели — в районе 50 мегабайт.
В среднесрочной перспективе — планка сжатия до 10-20 мегабайт без потери качества кажется нам выполнимой.
Также мы планируем добавлять другие популярные языки.

Ссылки

• Наши модели на Github ^[4]
• Вики ^[5]
• Метрики скорости ^[6]
• Метрики качества ^[1]
• Примеры на Colab ^[2]

Автор: Alexander

Источник ^[7]