Рубрика «TTS»

Это адаптированная версия моего исследования «Синтетическая эмпатия: эмоциональная привязанность к автономным LLM-агентам и коммерциализация одиночества». Здесь — техническая выжимка: разберём, как именно архитектура современных компаньон-агентов производит эмоциональную привязанность, и почему это не побочный эффект, а прямое следствие инженерных решений. Полная версия с приложением по железу и библиографией — в моём блоге.

От ELIZA к агентам: три этапа

Читать полностью »

Да, я знаю, что этот жест на самом деле в Италии особо не используется и значит другое, но мем сам себя не сделает

Да, я знаю, что этот жест на самом деле в Италии особо не используется и значит другое, но мем сам себя не сделает

Не так давно мы писали про Читать полностью »

Короткая версия: за несколько месяцев на одной домашней видеокарте у крымскотатарского языка появились работающее распознавание речи (WER 0.3463 → 0.1701) и синтез, который прочитал вслух целую книгу — шестнадцать глав, 1 час 58 минут звучания. На обучение моделей из этого ушли часы. Всё остальное время съели данные, проверки и выяснение того, какие из моих собственных измерений врут.

Вот про эту вторую часть я и хочу рассказать, потому что она переносится на любой язык, а первая — нет.

Читать полностью »

История про то, как «просто пусть колонка читает вслух сообщения из канала» превратилась в квест по внутренностям умного дома Яндекса, с двумя тупиками, неофициальной интеграцией и в итоге рабочим пайплайном на webhook.


Задача

Дано: Telegram-канал, куда падают оповещения (у меня это был канал с оповещениями об угрозе атаки БПЛА по региону, но механизм универсальный — точно так же можно озвучивать алерты мониторинга, сообщения от умного дома или что угодно ещё). Есть Яндекс.Станция с Алисой. Хочется: когда в канал приходит сообщение с ключевым словом, колонка сама, без обращения к нейЧитать полностью »

Слева — привычный зелёный тест. Справа — то, что с ним делает LLM

Слева — привычный зелёный тест. Справа — то, что с ним делает LLM

Читать полностью »

Я однажды примерно за сутки сжег около $100 на голосовом агенте.

Не на большом запуске. Не на огромной базе. Не на хитрой рекламной кампании. Просто на небольшом пуле холодных контактов, где агент периодически попадал на voicemail, IVR, секретарей и других ботов.

В какой-то момент два не очень умных голосовых процесса могли довольно долго вежливо говорить друг другу что-то в духе:

  • Здравствуйте.

  • Здравствуйте, чем могу помочь?

  • Я звоню, чтобы…

  • Здравствуйте, чем могу помочь?

  • Конечно, подскажите, пожалуйста…

CosyVoice3 — одна из лучших open source TTS моделей прямо сейчас, особенно для русского языка. Но у неё есть проблема: LLM-часть на PyTorch работает медленно на слабых GPU вроде T4. RTF (real-time factor) около 1.17 — это значит синтез одной секунды аудио занимает больше секунды реального времени.

Я решил это исправить, добавив поддержку llama.cpp через llama-cpp-python. Результат: RTF упал до ~0.45, то есть ускорение примерно в 2.6x.

В этой статье расскажу как это работает, почему это нетривиально, и как попробовать самому.


Почему CosyVoice LLM — не обычная LLM

Читать полностью »

Всем привет! Не такую первую публикацию я планировал сделать на Хабр: есть пара более серьёзных и интересных тем, которыми я планирую поделиться, но перфекционизм пока не даёт их добить.

А тут получилась спонтанная и короткая история из разряда «поигрался - проиграл задумался», которая неожиданно упёрлась в этику и безопасность.

Читать полностью »

30+ движков за две недели, реальные замеры на Apple M4, и почему ElevenLabs за $5.57/час - это приговор для бизнеса

Сижу на очередном рабочем созвоне. Обсуждаем архитектуру нового сервиса. Технически я всё понимаю - документацию на английском читаю без словаря, код ревьюю, в слаке переписываюсь нормально. А вот когда надо открыть рот и сказать что-то сложнее "I agree" - начинается цирк. Пауза. Подбираю слова. Коллега уже ответил за меня.

Знакомо?

Читать полностью »

Три недели назад мне позвонила мама. Не «привет, как дела», а сразу: «Сынок, тут из банка звонили, говорят, с моей карты пытаются снять деньги».

У меня похолодело внутри. Не потому что поверил. А потому что понял: они дозвонились. Опять.

Я работаю с ML-системами шестой год. Строю пайплайны, оптимизирую инференс, вот это всё. И в тот момент, вешая трубку после того, как полчаса объяснял маме, что «сотрудник Сбербанка» не будет просить коды из SMS, я понял — хватит.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js