Хотели бы вы запустить большую языковую модель на видеокарте с небольшим объёмом памяти? Модель с 27 миллиардами параметров, упакованными в 16 бит, занимает около 54 ГБ. Если хранить каждый вес одним битом и один общий масштаб на группу из 128 весов, те же параметры уместятся примерно в 4 ГБ (не считая таблицы словаря).
Рубрика «дистилляция»
Однобитная Bonsai по весам: что видно при сравнении с Qwen и как получить такую модель дистилляцией
2026-10-17 в 12:34, admin, рубрики: bonsai, llm, PrismML, qwen3, straight-through estimator, бинаризация весов, дистилляция, квантизация, однобитные модели, перплексияСколько Rust помещается в 0.5B
2026-10-07 в 7:47, admin, рубрики: Fine-tuning, hugging face, llm, qwen, Rust, генерация кода, дистилляция, малые языковые модели, обучение с подкреплениемTemper 0.5B — моя небольшая модель, дообученная на базе Qwen2.5-Coder-0.5B‑Instruct, упор которой сделан на языке Rust. Узкая специализация позволила ей обойти модели крупнее, вплоть до x3 по параметрам. Целью дообучения было проверить возможности крошечной модели в узкой задаче, сравнить с общими того же размера и выше.
Первая версия Temper
Можно ли научить маленькую LLM учиться без роста весов? Замеры, баги и честная статистика
2026-10-05 в 10:45, admin, рубрики: continual learning, llm, lora, верификация, дистилляция, машинное обучение, экспериментыЭто статья о двух месяцах исследовательской работы над одним вопросом: может ли языковая модель 3B накапливать компетентность не за счёт роста весов. Здесь есть числа, код и баги. Все результаты воспроизводимы: сиды, хеши и протоколы заморожены до прогонов.
Доставка верифицированного решения похожей задачи в контекст 3B-модели даёт +30 п.п. к решаемости (53% → 83%), повторено на 3 сидах
Дообучение на верифицированных решениях (через маленькие адаптеры LoRA, один цикл) даёт эффект +0.145: прирост на новых задачах минус изменение на старых (95-процентная вилка значений: от +0.0575 до +0.250). Эффект есть, но это одна точка, а не кривая
Flow Matching: обучение и дистилляция
2026-09-28 в 10:08, admin, рубрики: Flow Matching, дистилляция, диффузионные модели
Flow MatchingЧитать полностью »
Как LinkedIn масштабировал поиск людей на 1,3 млрд пользователей
2025-11-17 в 13:55, admin, рубрики: AI, linkedin, llm, ml-модели, большие языковые модели, дистилляция, модели, поиск, поисковые системы
67 iPhone против одной H100: почему гибкость не побеждает чистую мощность
2025-09-27 в 14:41, admin, рубрики: apple, BitNet, H100, iPhone 6S, Nvidia, дистилляция, квантование, прореживание, терафлопсы
В мире ИИ часто ищут нестандартные пути, пытаясь оптимизировать стоимость вычислений.
Сила простоты
2025-04-19 в 7:28, admin, рубрики: венчурные инвестиции, дистилляция, стартапы, фейнманВ 1986 году великий физик Ричард Фейнман расследовал катастрофу космического челнока «Челленджер» в составе комиссии Роджерса. Как мог произойти этот ужасный взрыв? В NASA были умные люди. Cотни инженеров работали над запуском годами. Как все могло свестись к этому взрыву? Погребенные в сложных инженерных отчетах и жаргоне, комиссия и общественность пытались понять технические причины взрыва.
Законы масштабирования дистилляции
2025-03-16 в 9:17, admin, рубрики: apple, дистилляция, искусственный интеллект, масштабирование, машинное обучение, наукаРекомендация для читателей:
Прежде чем погрузиться в детали, советую ознакомиться с двумя отличными статьями инженера из Яндекса (статья 1, статья 2). В них отлично объясняются принципы дистилляции, её применение в промышленных задачах и ключевые практические аспекты. Это идеальный старт для тех, кто только начинает знакомиться с темой.
Однако, если вы, как и я, стремитесь к глубокому пониманию — этого может оказаться недостаточно. В данном обзоре мы пойдём дальше:
-
Математическая формализацияЧитать полностью »
Ускорили диффузионку в несколько раз? – о новой модели ImagineFlash от Meta
2024-08-23 в 16:05, admin, рубрики: SLR, дистилляция, диффузионные модели, математика, научные публикации, перевод статей, Питон, технология ускорения, Ускорение нейросети, шумВажно, что в переводе статьи мы опустили некоторые математические подробности. Мы обобщили математические выражения текстом. Курсивом выделены комментарии, чтобы новичкам было проще читать, а выделенный уровень подготовки оправдывал себя и под статьей не пришлось ставить графу “сложно”.
Чтобы статья не вышла слишком большой, приводится ее основная часть с методом. Мы приводим краткий вариант перевода ресерча от Meta.
Внутри оригинала можно ознакомиться с результатами работы. И конкретными метриками в таблицах.
Вся статья сохраняет письмо от первого лица.
Резюме статьи:
Neural Network Optimization: океан в капле
2023-03-16 в 14:51, admin, рубрики: cезон machine learning, neural networks, OpenVINO, tensorrt, Блог компании Doubletapp, дистилляция, искусственный интеллект, квантование, кластеризация, машинное обучение, нейронные сети, обработка изображений, Серверная оптимизацияВсех приветствую, меня зовут Антон Рябых, работаю в Doubletapp. Вместе с коллегой Данилом Гальпериным мы написали статью про важный этап в процессе обучения нейронных сетей и получения необходимых нам результатов — оптимизацию модели. Зачем нужно оптимизировать модель, если и так все работает? Но как только вы начнете разворачивать модель на устройстве, которое будет ее обрабатывать, перед вами встанет множество проблем.