В декабре 2023 по ML-тусовке прокатилась волна заголовков в духе «трансформерам конец». Поводом стала статья двух исследователей — Альберта Гу и Три Дао — со скучным названием: Читать полностью »
Рубрика «attention»
Mamba: архитектура, которая шла убивать трансформеры
2026-07-11 в 8:00, admin, рубрики: attention, mamba, RNN, selectel, ssm, гибридные модели, машинное обучение, нейросети, трансформеры, языковые моделиОдна строка — много объектов: как агрегировать эмбеддинги для ML-моделей
2026-06-04 в 16:45, admin, рубрики: attention, feature engineering, llm, nlp, pooling, агрегация, искусственный интеллект, машинное обучение, эмбеддингиКоротко
Иногда в задаче машинного обучения одна строка датасета соответствует не одному объекту, а целому набору связанных объектов.
Например:
день по акции -> много новостей
пользователь -> много комментариев
товар -> много фотографий
клиент -> много обращений в поддержку
сессия -> много событийКаждый такой объект можно представить эмбеддингом. Новость — текстовым эмбеддингом, картинку — визуальным эмбеддингом, событие — вектором признаков или embedding‑представлением.
Архитектура важнее размера: внедряем каузальные свертки в трансформер и получаем связный сторителлинг
2026-05-01 в 15:15, admin, рубрики: attention, Conv1D, engramДело было вечером, делать было нечего. Я сидел за ноутом и разбирал новую идею Deepseek Engram: Лян Ванфень собрал вместе хеш-таблицы и почти-линейный трансформер - получилось дешево и сердито.
Однако есть в Engram один недостаток - он требует много RAM (каламбурчик, хаха). А хотелось архитектуру, на инференс которой не придется скидываться всем поселком.
Небольшой ликбез
Engram, по сути, перешивает токены и добавляет к ним факты. Реализовано это довольно хитро, через хеш-функцию, O(1) по сложности. Благодаря такой пристройке трансформер уделяет больше внимания на грамматику и связь слов в предложении.
Основная идея
KV-Cache в LLM: разбираем инференс через 9 ключевых вопросов
2026-04-10 в 11:21, admin, рубрики: attention, gpu, kv-cache, llm, prefix caching, prompt caching, Transformers, vllm, машинное обучение, машинное обучение. нейросетиНе так давно лимиты на использование Claude Code резко уменьшились, и люди стали лучше считать свои токены. Я не стал исключением, поэтому первым делом собрал информацию по использованию токенов в своих сессиях и посмотрел, что и сколько бы стоило, если бы отправлял это через API.
Краткий справочник про внимания (self-attention, cross-attention, multi-head attention)
2026-04-08 в 4:15, admin, рубрики: attention, beginner, pytorch, self-attention, transformer, внимание, глубокое обучение, искуственный интелект, математика, машинное обучениеМеханизм внимания (Attention) - это метод в искусственном интеллекте, который позволяет нейросети динамически определять, какие части входных данных наиболее важны для текущей задачи. Он работает через вычисление весов важности для разных элементов входа: более важные элементы получают больший вес, а менее важные - меньший. Затем модель формирует взвешенную сумму представлений, создавая новый контекстный вектор.
Вы соревнуетесь не с умными людьми, а с их вниманием, и планка сейчас на дне
2026-03-01 в 13:01, admin, рубрики: attention, ruvds_статьи, бессонница, внимание, мотивация, рассеянность, сон, Стресс, улучшениеВот я сижу перед чистым листом. Я намерен писать только свои мысли, без постороннего влияния и без лишней спешки. Это должно быть совсем просто.
Мне нужно лишь сосредоточиться...поймать фокус...
Вот, кажется, сейчас... он близко, вот-вот придёт... ещё немного и...
Чёрт. Я не могу...
Проблемы людей и нейросетей
2026-02-11 в 18:16, admin, рубрики: attention, llm, rag, агенты, вайбкодинг, галлюцинации, искусственный интеллект, контекст, нейросети, промпт-инжинирингЭта статья написана без участия ИИ. Для простых смертных. Упрощена.
Сейчас тренд на замену людей нейросетями, вайбкодинг, и другие вещи, которые завернуты в фантик «Беззаботного будущего», всё это мне напоминает предыдущий тренд, который был до появления ИИ — «Успешный успех». Нам продают не технологии, а чувства простоты, на которое люди каждый раз охотно ведутся.
По ощущениям, это тот же барабан с цифрами 777, нам показывают пару удачных прокруток, «джекпоты», счастливые лица, а реальная статистика, цена попыток, и неизбежные промахи остаются за кадром.
Куда и почему уходят бабки на нейросети
2026-01-30 в 15:19, admin, рубрики: attention, chatgpt, claude, CUDA, gpu, inference, kv-cache, llm, transformer, токеныМалоизвестный среди обычных людей факт: у нейросетей нет никаких "разговоров". Ты смотришь в веб-интерфейсе на "диалог" - но это обман, красивый фокус.
Каждый раз, когда ты пишешь новое сообщение, все старые сообщения обрабатываются заново. У нейросетей по-настоящему многоразовых задач не существует. Если результат немного поменялся — тебе просто не покажут в веб-интерфейсе изменившиеся сообщения.
Топ вопросов с NLP собеседований: трансформеры и внимание до малейших деталей
2025-12-17 в 15:05, admin, рубрики: attention, llms, natural language processing, nlp, Transformers, глубокое обучение, машинное обучение, механизм внимания, трансформерыЗнание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP!
Статья не рассчитана на изучение тем с нуля, если вы еще не слышали ничего про attention, то лучше обратиться к полноценным лекциям.
Это чеклист и тренажёр, по которому стоит пройтись перед техническим интервью по NLP, чтобы закрыть пробелы и вспомнить необходимую базу.
Содержание:
-
Архитектура трансформера
-
Механизм внимания
-
Позиционные эмбеддинги
-
Токенизация
-
Трансформерные архитектуры (BERT, GPT и тд)
-
Полезные материалы
