Заголовок этой статьи, частично, наглядная демонстрация того, как его видит языковая модель. Куски слов, нарезанные по логике, которая к русскому языку не имеет вообще никакого отношения.
Рубрика «Byte Pair Encoding»
Почему токенайзер реж ет сло ва не там, где нужно
2026-08-20 в 12:00, admin, рубрики: BPE, Byte Pair Encoding, llm, selectel, контекстное окно, промпт-инжиниринг, токенизатор, токенизация, эмбеддинги, языковые моделиYouTokenToMe: инструмент для быстрой токенизации текста от Команды ВКонтакте
2019-07-19 в 12:54, admin, рубрики: BPE, Byte Pair Encoding, natural language processing, open source, Блог компании ВКонтакте, машинное обучение, токенизацияХотим представить наш новый инструмент для токенизации текста — YouTokenToMe. Он работает в 7–10 раз быстрее других популярных версий на языках, похожих по структуре на европейские, и в 40–50 раз — на азиатских языках. Рассказываем о YouTokenToMe и делимся им с вами в open source на GitHub. Ссылка в конце статьи!
