Рубрика «machine learning» - 4

В любой крупной компании данных всегда больше, чем понимания, что с ними делать. Они лежат в базах, логах, документах — огромный слабоструктурированный ресурс. Идея о том, что можно научить машину находить в этом хаосе полезные паттерны, когда-то казалась фантастикой, а сегодня это работа руководителя отдела машинного обучения Postgres Professional Савелия Батурина. Вместе с коллегами он на практике связывает мощь языковых моделей с СУБД, чтобы извлекать из данных реальную пользу, рассказывать, по каким граблям для этого пришлось пройти. 

Читать полностью »

В классическом self-attention каждый токен смотрит на другие токены, чтобы понять, что важно в данный момент.
Внимание распределяется мгновенно:

Momentum Attention: когда внимание получает инерцию - 1

Именно этот механизм сделал трансформеры тем, чем они стали.

Но вот в чём проблема - внимание не имеет памяти.
Читать полностью »

Мы привыкли использовать ReduceLROnPlateau если val_loss не улучшается N эпох подряд - режем learning_rate. Это работает. Мы ждем, пока обучение врежется в стену, и только потом реагируем.

А что, если мы могли бы увидеть эту стену заранее? Что, если бы мы могли сбросить скорость плавно, еще на подходе к плато, и снова нажать на газ, если впереди откроется новый спуск?

Я хочу поделиться концепцией умного LR шедулера, который управляет скоростью обучения, анализируя не сам loss, а скорость его изменения.

Проблема ReduceLROnPlateau: Мы реагируем на симптом, а не на причину

Читать полностью »

Что с точки зрения CV-инженера, в основном обучающего модели компьютерного зрения, было интересно на конференции Я Железо 2025?

Закаливание детектора автомобиля радарными точками

ссылка

Метрики

Метрики. С - камера, L - лидар, R - радарЧитать полностью »

Искусственный интеллект потихоньку делает жизнь проще, но он же становится источником рисков, особенно когда речь идет о нейросетях как о новом подрядчике. Когда компании их интегрируют, не всегда получается досконально продумать то, чем это может быть чревато. 

Сегодня я пытаюсь понять реальные риски внедрения нейросетей в рабочие процессы. Надеюсь на твои комментарии, наблюдения и страхи!

Нейросеть — новый подрядчик

Читать полностью »

В мире Data Science и Data Engineering ценится не только теория, но и практический опыт: умение работать с реальными данными, строить модели и доводить решения до результата. Однако получить такой опыт непросто: рабочие проекты часто закрыты NDA, а учебные кейсы не отражают сложность реальных задач.

Именно поэтому платформа Kaggle заняла особое место в индустрии. Это крупнейшее мировое сообщество специалистов по данным:

  • 🌍 более 13 миллионов участников из разных стран;

  • 🏆 сотни активных соревнований ежегодно;

  • 📊 миллионы доступных датасетов и готовых ноутбуков.

Читать полностью »

Привет. Меня зовут Нафиса Валиева. Я младший разработчик в MWS AI и Пситехлабе, студентка 3го курса ПМ-ПУ СПбГУ. Этот пост — текстовый вариант моего выступления на Дата Фесте. Я расскажу вам, как мы в команде Пситехлаб переводили интересный датасет с английского на русский с помощью больших языковых моделей (далее - БЯМ). Сам подход основан на ранней работе [1] нашего руководителя. Отличие в том, что здесь мы детально анализируем поведение различных БЯМ.

Зачем это вообще и что за датасет такой

Читать полностью »

Привет, друзья! Добро пожаловать в новый туториал из серии практических материалов по explanable AI (интерпретируемости моделей). Он посвящен методу интерпретации на основе вмешательства — RISE. В этом материале разобрана теоретическая постановка метода, подчеркнуты красивые математические идеи и переходы, и, конечно, реализован код для практики. Приглашаю к чтению! Ноутбук к туториалу доступен на гитхаб.

Введение

Методы интерпретации на основе вмешательства основаны на идее ответа на вопрос: на вопрос:

Читать полностью »

Представьте, что ваши мысли, которые вы проговариваете про себя, переводятся в текст на экране. Без единого слова и движений губ — просто сигналы мозга, пойманные и расшифрованные. Как-то не по себе, не так ли? Между тем это не сюжет фантастического фильма, а реальность, созданная учеными из Стэнфордского университета: они разработали нейроинтерфейс, способный услышать «внутренний голос».

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js