В декабре 2023 по ML-тусовке прокатилась волна заголовков в духе «трансформерам конец». Поводом стала статья двух исследователей — Альберта Гу и Три Дао — со скучным названием: Читать полностью »
Рубрика «трансформеры»
Mamba: архитектура, которая шла убивать трансформеры
2026-07-11 в 8:00, admin, рубрики: attention, mamba, RNN, selectel, ssm, гибридные модели, машинное обучение, нейросети, трансформеры, языковые моделиКак одна операция из линейной алгебры захватила мир ИИ
2026-06-29 в 5:05, admin, рубрики: cnn, RNN, timeweb_статьи, искусственный интеллект, математика, математика для программистов, матрицы, машинное обучение, скалярное произведение, трансформерыВсё началось довольно тихо — без шоу-программ и футуристичных роботов на сцене. В 2017-м исследователи Google опубликовали статью с до смешного скромным названием: Attention is All You Need. Тогда мало кто понял, что именно в этот момент случилось новое «деление эпох»: теперь у ИИ было чёткое «до» и «после».
Сегодня почти весь генеративный ИИ — от ChatGPT до Midjourney, от Gemini до Claude — внутри себя основан на трансформерах. А фундамент всей этой революции оказался… ну прямо скажем, совсем не похожим на научную фантастику. Просто скалярное произведение двух векторов — действие из школьной линейной алгебры
Как рассказать ребёнку, чем занимается папа, если папа работает с ИИ?
2026-06-19 в 18:49, admin, рубрики: Велтистов, детская литература, искусственный интеллект, машинное обучение, научная фантастика, теория информации, трансформеры, Шеннон, Электроник, эмбеддингиВместо эпиграфа
Наверняка все, у кого есть дети, слышали вопрос «чем ты занимаешься на работе?». Мне его точно задавали и неоднократно.
Дать ответ на этот вопрос ребёнку, не скатываясь в иронию, не так уж и просто. Но оказалось, что все ответы для нас уже подготовили. И не евангелисты из Кремниевой долины, а товарищи в кожаных плащах и пыльных шлемах, думавшие о том, как воспитать миллионы молодых инженеров, лет шестьдесят назад и ещё раньше.
Основание
TAPe + ML: универсальная архитектура компьютерного зрения вместо патчей и «сырых» пикселей
2026-02-28 в 5:16, admin, рубрики: cnn, dino, dinov2, dinov3, ml, искусственный интеллект, исследование, Компьютерное зрение, машинное обучение, трансформерыПять лет назад я начал работать с или в проекте Comexp Research Lab - научно-исследовательской компании, в которой тогда было два человека (считая меня). На самом деле исследованиями компания в своей области занимается примерно 15 лет, просто именно на последние пять лет (и особенно на последние полтора года) пришлась самая интенсивность разработок и открытий.
Нейро сети для самых маленьких. Часть нулевая. Обзорная
2026-01-04 в 14:42, admin, рубрики: AI, backpropagation, infiniband, llm, ml, MLP, roce, нейросети, трансформерыКаждый раз, когда вы говорите нейросети «Спасибо», вы запускаете конвейер, в котором перемножаются сотни матриц с миллиардами элементов, и сжигаете электричества столько же, сколько светодиодная лампа за несколько секунд.
Это первая статья из небольшого цикла, посвящённого сетям для AI/ML-кластеров и HPC.
В этой серии мы коснёмся принципов работы и обучения моделей, параллелизации, технологий DMA и RDMA, сетевых топологий, InfiniBand и RoCE, а ещё пофилософствуем на тему общих и специальных решений.
Эффект Манделы в LLM: Почему галлюцинации — это не баг, а архитектурная неизбежность
2026-01-02 в 23:01, admin, рубрики: chatgpt, data science, llm, Архитектура нейросетей, Галлюцинации нейросетей, искусственный интеллект, когнитивные искажения, Психология мышления, трансформеры, Эффект Манделы
Закройте глаза и вспомните знаменитое новогоднее обращение Бориса Ельцина 31 декабря 1999 года. В голове сразу звучит хриплый голос и культовая фраза «Я устал, я ухожу».
Топ вопросов с NLP собеседований: трансформеры и внимание до малейших деталей
2025-12-17 в 15:05, admin, рубрики: attention, llms, natural language processing, nlp, Transformers, глубокое обучение, машинное обучение, механизм внимания, трансформерыЗнание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP!
Статья не рассчитана на изучение тем с нуля, если вы еще не слышали ничего про attention, то лучше обратиться к полноценным лекциям.
Это чеклист и тренажёр, по которому стоит пройтись перед техническим интервью по NLP, чтобы закрыть пробелы и вспомнить необходимую базу.
Содержание:
-
Архитектура трансформера
-
Механизм внимания
-
Позиционные эмбеддинги
-
Токенизация
-
Трансформерные архитектуры (BERT, GPT и тд)
-
Полезные материалы
Ускоряем LLM по максимуму. Как я создал кросс-платформенный Flash Attention с поддержкой Turing+ архитектур и не только
2025-12-16 в 18:37, admin, рубрики: attention, FlashAttention, llm, Transformers, triton, большие языковые модели, внимание, машинное обучение, оптимизация производительности, трансформеры
Оптимальный путь в NLP: как стать Middle за полгода
2025-11-23 в 17:09, admin, рубрики: data science, ml system design, nlp, python, rag, машинное обучение, нейронные сети, обучение программированию, трансформерыСтать Middle NLP Engineer за 6 месяцев — реально.
Не за два года, не через бесконечные курсы — а за полгода нормальной учебы.
Эта статья - про оптимальный путь. Без матана, без академизма, без «прочитай пять книг». Только то, что реально нужно для собеседований и работы.
Почему это реально:
-
Мой путь от нуля до стажёра занял два года, и сейчас я понимаю, как пройти его быстрее
-
После нахождения первой работы я вырос до Senior за год;
-
Я регулярно провожу собеседования и знаю реальные требования;
-
Уже помог нескольким людям войти в профессию.