Цены на API языковых моделей публикуют за миллион токенов, и по этой цифре модели обычно сравнивают. Но «токен» у каждой модели свой. Я прогнал один и тот же русский текст через Claude Opus 5 и GPT-5.5: Opus 5 насчитал в нём в 3,9 раза больше токенов. Значит, при одинаковой цене за токен обработка русского текста на Opus 5 обойдётся почти вчетверо дороже, чем на GPT-5.5, — и это не зависит от того, у кого вы покупаете доступ.
Рубрика «токенизация»
Русский текст в Claude Opus 5 стоит в 3,9 раза дороже, чем в GPT-5.5, при одинаковой цене за токен
2026-10-01 в 12:41, admin, рубрики: claude, deepseek, GigaChat, gpt, llm, yandexgpt, русский язык, стоимость api, токенизатор, токенизацияПочему токенайзер реж ет сло ва не там, где нужно
2026-08-20 в 12:00, admin, рубрики: BPE, Byte Pair Encoding, llm, selectel, контекстное окно, промпт-инжиниринг, токенизатор, токенизация, эмбеддинги, языковые модели
Заголовок этой статьи, частично, наглядная демонстрация того, как его видит языковая модель. Куски слов, нарезанные по логике, которая к русскому языку не имеет вообще никакого отношения.
Создание простой поисковой системы, которая действительно работает
2025-11-23 в 10:51, admin, рубрики: php, sql, индексация, оптимизация, поиск, поисковая система, репозиторий, токенизацияЗачем строить свой собственный?
Зачем вообще делать что-то своё?
Я знаю, что вы можете подумать: «Почему бы просто не использовать Elasticsearch?» или «А что насчёт Algolia?» Это вполне рабочие решения, но у них есть нюансы. Нужно разбираться с их API, поддерживать инфраструктуру под них и учитывать все тонкости их работы.
Но иногда хочется чего-то более простого — такого, что:
-
работает прямо с вашей текущей базой данных;
-
не требует сторонних сервисов;
-
легко понять и отладить;
-
действительно выдаёт релевантные результаты.
Апокалипсис контента? Взгляд юриста и разбор LLM
2025-11-16 в 11:13, admin, рубрики: llm-модели, transformer, авторегрессия, апокалипсис контента, вероятностная генерация, генерация текста, механизм внимания, нейросети, токенизацияНа днях наткнулся на статью, опубликованную в телеграм-канале Habr, под названием «Тихий апокалипсис контента: почему все устали от сгенерированных статей». В ней автор выражает озабоченность количеством сгенерированного контента, который набирает просмотры и вытесняет из выдачи авторские статьи. Статья автора натолкнула меня на идею порассуждать на эту тему, провести небольшие исследования, сравнить процесс генерации текста ИИ и человеком и просто поделиться своим «экспертным» мнением.
Задачи для себя при написании статьи я ставлю следующие:
Clickhouse в машинном обучении без использования GPU (Часть 1)
2025-09-24 в 4:41, admin, рубрики: clickhouse, ml, sql, токенизация
Один из моих коллег сказал когда-то, что "база данных - это хранилище, а не считалище!"Читать полностью »
Сознание ИИ: может ли алгоритм страдать по-настоящему?
2025-06-09 в 12:31, admin, рубрики: llm-модели, антропоморфизация, ИИ, нейробиология, сознание ии, токенизация, философия, Философия ИИ, эмпатия, этика ии
Почему гражданам запретили покупать USDT за рубли и доллары
2025-05-30 в 11:34, admin, рубрики: circle, EURC, EURCV, EURR, EURS, EURT, Hadron, Mica, Stasis, Tether, usdt, анонимность, блокировка счетов, конфискация средств, недружественные страны, токенизация, центробанки
C 26 мая 2025 года вступают в силу расширенные требования ЦБ к иностранным цифровым правам (ИЦП), в результате чего физлицам запрещено покупать USDT и другие стейблкоины.
USDT — популярный и надёжный стейблкоин. В нём удобно производить расчёты, переводить деньги друзьям, рассчитываться за услуги, покупать товары.
Но центробанки хотят навязать гражданам свои цифровые валюты с полным отказом от анонимности, с автоматической уплатой налогов и удобной конфискацией средств в случае необходимости.
Читать полностью »
История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима
2025-05-13 в 15:14, admin, рубрики: BERT, chatgpt, t5, word2vec, токенизация
Аномалии DeepSeek-v3 и DeepSeek-r1: глюкнутые токены и чат, теряющий идентичность
2025-01-28 в 13:06, admin, рубрики: AI, deepseek, DeepSeek R1, deepseek v3, галлюцинации ИИ, ИИ, токенизация
«Аномальные», «глючные» и «непроизносимые» токены в больших языковых моделях (LLM) — это те, которые вызывают странное поведение или не функционируют как обычный текст. Явление было впервые открыто и задокументировано Читать полностью »