Взяли автоэнкодер из свежей работы CALM (Continuous Autoregressive Language Models), который учится упаковывать чанк из K=4 токенов в один непрерывный вектор и разворачивать обратно, и обучили его не на 15 миллиардах токенов Pile на 8 GPU, как в оригинале, а на 18 тысячах коротких строк с требованиями из IT-вакансий - на обычной машине без видеокарты. По дороге выгребли три классических грабли (flash-attn без CUDA, deepspeed, который не импортируется под NumPy 2.x, и тихий OOM на 33 ГБ логитов). Ниже - подробный разбор архитектуры, конфигов и честные результаты round-trip-реконструкции.
Рубрика «глубокое обучение»
Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)
2026-06-13 в 8:43, admin, рубрики: Calm, cpu, llm, nlp, автоэнкодер, глубокое обучение, машинное обучениеКраткий справочник про внимания (self-attention, cross-attention, multi-head attention)
2026-04-08 в 4:15, admin, рубрики: attention, beginner, pytorch, self-attention, transformer, внимание, глубокое обучение, искуственный интелект, математика, машинное обучениеМеханизм внимания (Attention) - это метод в искусственном интеллекте, который позволяет нейросети динамически определять, какие части входных данных наиболее важны для текущей задачи. Он работает через вычисление весов важности для разных элементов входа: более важные элементы получают больший вес, а менее важные - меньший. Затем модель формирует взвешенную сумму представлений, создавая новый контекстный вектор.
Производство теряло деньги каждую смену. До внедрения видеоаналитики с ИИ никто не знал где
2026-03-14 в 6:16, admin, рубрики: yolo, видеоаналитика, глубокое обучение, машинное обучение, пищевая промышленность, производство, промышленная автоматизацияПривет! На связи Олег Чебулаев, CEO Mad Brains. Хочу поделиться историей из практики — как обучить модель YOLO, запустить видеомониторинг на пищевом производстве и через неделю обнаружить кое-что, о чём на заводе предпочитали не говорить вслух.
Signal Tower: лампочка, которой доверяют слишком сильно
45 000 лет на обучение Dota 2: Почему современный AI — это просто эффективная зубрежка
2026-02-28 в 10:16, admin, рубрики: AI, ml, глубокое обучение, искусственный интеллект, машинное обучение, неэффективность, Тупость AIБольшая часть общества и СМИ считают, что если мы продолжим в том же темпе развивать AI, то мы достигнем AGI. Выходят LLM всё лучше и лучше, значит рано или поздно эти LLM станут такими же умными, как человек! Но если смотреть на мнение учёных в AI, то картина совсем меняется: AGI не будет, пока мы фундаментально не изменим архитектуру.
Масштабирование и новые методы в AI помогают: выходят Claude Opus 4.6, GPT 5.2, Gemeni 3 PRO и другие модели - но это экстенсивный путь. Просто оставаясь на одних трансформерах и других подобных архитектурах мы не достигнем AGI. Это подтверждает «отец глубокого обучения» Ян Лекун:
Поговорим об основах машинного обучения
2025-12-17 в 18:24, admin, рубрики: AI, ml, глубокое обучение, машинное обучение, нейронные сети, основы MLРазличные направления машинного обучения сейчас используются практически везде и порой сложно понять какое направление какие задачи решает. Сегодня мы попробуем разобраться в ключевых особенностях машинного обучения, рассмотрим из каких основных направлений состоит ML и как они используются. Основная цель этой статьи помочь начинающим специалистам разобраться с тем, что из себя представляет машинное обучение.
Топ вопросов с NLP собеседований: трансформеры и внимание до малейших деталей
2025-12-17 в 15:05, admin, рубрики: attention, llms, natural language processing, nlp, Transformers, глубокое обучение, машинное обучение, механизм внимания, трансформерыЗнание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP!
Статья не рассчитана на изучение тем с нуля, если вы еще не слышали ничего про attention, то лучше обратиться к полноценным лекциям.
Это чеклист и тренажёр, по которому стоит пройтись перед техническим интервью по NLP, чтобы закрыть пробелы и вспомнить необходимую базу.
Содержание:
-
Архитектура трансформера
-
Механизм внимания
-
Позиционные эмбеддинги
-
Токенизация
-
Трансформерные архитектуры (BERT, GPT и тд)
-
Полезные материалы
ESP32 + LD2410: Архитектуры нейронных сетей для классификации движений
2025-10-03 в 14:46, admin, рубрики: esp32, LD2410, neural networks, TensorFlow, Ultra-wideband, uwb, глубокое обучение, микроконтроллер, сверхширокополосная радиолокация, сшп
Мир после GPT-5: как одна презентация обрушила веру в технологическое чудо
2025-09-05 в 7:23, admin, рубрики: chatgpt, gpt-5, llm, OpenAI, глубокое обучение, искусственный интеллект, машинное обучение, нейросети
Бизнесмены и энтузиасты затаили дыхание. Гендиректор OpenAI Сэм Альтман обещал ни много ни мало РЕВОЛЮЦИЮ. В соцсетях он намекал, что GPT-5 станет «Звездой смерти»Читать полностью »
Вебинары трека Наука о данных Летней цифровой школы Сбера
2025-08-09 в 5:56, admin, рубрики: AI, artificial intelligence, data analysis, data science, глубокое обучение, ИИ, искусственный интеллект, нейронные сети, нейросетиВебинары трека Наука о данных Летней цифровой школы Сбера
Привет, коллеги ML инженеры, Data scientist'ы и все, кто интересуется искусственным интеллектом, созданием нейросетей, машинным обучением и анализом данных! Принёс вам пачку вебинаров с интенсива трека Наука о данных курсов повышения квалификации Летней цифровой школы Сбера.