Ещё раз о ЦП для машинного обучения в эпоху дефицита мощностей GPU
Рубрика «pytorch»
Обучение ИИ-моделей на обычном ЦП
2026-01-09 в 20:51, admin, рубрики: cpu, gpu, pytorch, машинное обучение, оптимизацияКак мы построили систему видеоаналитики на open source и довели её до продакшена
2025-12-28 в 10:16, admin, рубрики: computer vision, CV, mlops, pytorch, yolo, видеоаналитика
Устранение дисбаланса классов в PyTorch с помощью WeightedRandomSampler
2025-12-20 в 20:25, admin, рубрики: imbalanced classification, pytorch, weightedrandomsamplerКак известно, если в наборе данных для обучения классификатора разные классы представлены в разном объёме, это может привести к ухудшению качества результата.
Одним из методов борьбы с дисбалансом классов является оверсемплинг, т.е. демонстрация классификатору в процессе обучения редких классов с повышенной частотой.
В исследовании 2017 года авторы утверждают, что из всех испробованных ими методов овесемплинг показал лучший результат и не приводил к переобучению классификаторов на основе свёрточных нейронных сетей.
Класс Читать полностью »
Как раздобыть Nvidia Tesla за копейки и не поселиться в психушке: хардкор-гайд от выжившего
2025-11-30 в 15:16, admin, рубрики: AI, china, devops, ml, Nvidia, nvidia cuda, nvidia tesla, nvidia tesla h100, pytorchПривет! Сегодня расскажу вам сагу о том, как мы искали дешёвые AI-мощности для своего проекта и чуть не сошли с ума. Спойлер: спас нас Китай, но эта помощь стоила нам седых волос и нескольких лет жизни. Делюсь опытом, чтобы вы прошли этот путь быстрее.
Меня зовут Михаил, я работаю в компании VizoGEN на позиции CTO и вся история ниже - наш путь.
Пролог: Скромные запросы и растущие аппетиты
Всё начиналось невинно. Как и у многих, наш стек AI-инструментов (полный список — военная тайна, сорян, NDA) на этапе гипотез скромно кушал с 3080 TI. Потом пошло-поехало: 4080, а там и до 4090 TI рукой подать.
Как мы адаптировали LLM для русского языка
2025-11-09 в 13:55, admin, рубрики: deeplearning, llm, machinelearning, mawo, nlp, ProductionML, pytorch, RussianNLP, tokenizationИстория про токенизацию, научные статьи и production reality
Как мы потратили 2 месяца на адаптацию Qwen3-0.6B для русского языка. Написали систему с нуля на основе 8 научных статей из arXiv. Исправили 6 критических багов (от NaN в fp16 до архитектурных проблем). Получили +35% training speed и +60% inference speed. В этой статье - честный рассказ о том, что не работает из коробки, какие грабли ждут в production, и как мы их обошли.
Мы - это я и мой друг =)
Как всё началось
Август 2025. Мы работаем над MAWO - системой fine-tuning для русскоязычных LLM. У нас есть модель Qwen3-0.6B. Почему именно 0.6B, а не 8B или 70B?
Production AI сервер за ₽0: полный гайд по сборке ML-станции для Stable Diffusion на б-у комплектующих
2025-10-31 в 14:20, admin, рубрики: AI, CUDA, deeplearning, DIY, gpu, hardware, machinelearning, python, pytorch, stablediffusion
Я это сделал. За один день.
Часть 1: Аппаратная часть
Выбор видеокарт: RTX 2060 vs RTX 1060
Momentum Attention: когда внимание получает инерцию
2025-10-27 в 15:58, admin, рубрики: AI, attention, deep learning, machine learning, pytorch, research, Transformers, нейросетиВ классическом self-attention каждый токен смотрит на другие токены, чтобы понять, что важно в данный момент.
Внимание распределяется мгновенно:
Именно этот механизм сделал трансформеры тем, чем они стали.
Но вот в чём проблема - внимание не имеет памяти.
Читать полностью »
Умный Learning Rate Scheduler: Управляем скоростью обучения, анализируя ускорение
2025-10-26 в 19:35, admin, рубрики: AI, deep learning, learning rate, machine learning, optimization, pytorchМы привыкли использовать ReduceLROnPlateau если val_loss не улучшается N эпох подряд - режем learning_rate. Это работает. Мы ждем, пока обучение врежется в стену, и только потом реагируем.
А что, если мы могли бы увидеть эту стену заранее? Что, если бы мы могли сбросить скорость плавно, еще на подходе к плато, и снова нажать на газ, если впереди откроется новый спуск?
Я хочу поделиться концепцией умного LR шедулера, который управляет скоростью обучения, анализируя не сам loss, а скорость его изменения.
