Рубрика «Transformers» - 2

👋 Привет!

Меня зовут Никита Горячев, я Research Engineer в WB, последние несколько лет работаю на стыке RecSys, LLM и мультимодальных моделей. Каждый день мы обрабатываем миллиарды событий, а модели, которые мы внедряем, напрямую влияют на CTR, удержание и конверсию, принося немало дополнительной выручки.

До этого я успел поработать в AI-стартапе в Palo Alto, где занимался голосовыми агентами (ASR/TTS), и в МТС, где мы строили AI-экосистему. Ранее в Сбере я занимался созданием единого RecSys SDK для всей экосистемы (от SberMegaMarket до Okko и Zvuk), а ещё раньше — развивал персонализацию и ML в ритейле.

Читать полностью »

Привет!

В интернете можно найти разные объяснения того, как работают нейросети, но те, что мне попадались, были либо слишком специфичны и ориентированы на специалистов, либо слишком упрощены.

Постарался написать свои объяснения, которые были бы не было слишком упрощены, но при этом по возможности понятны.

Статья на 10 процентов скомпилирована из других статей, на 30 процентов скомпилирована из множества диалогов с разными LLM и на 60 процентов “написана от руки” на основании статей и ответов.

Оглавление

Vision Transformer (ViT) — это архитектура, которая буквально произвела революцию в том, как машины «видят» мир.

В этой статье я не просто объясню, что такое ViT — я покажу вам, как создать эту магию своими руками, шаг за шагом, даже если вы никогда раньше не работали с трансформерами для задач с изображениями.

Для начала давайте взглянем на архитектуру Vision Transformer:

Читать полностью »

От проблемы до технической реализации — опыт создания ИИ‑ассистента для Росатома за 48 часов хакатона АтомикХак 2.0

Часть 1: Бизнес‑кейс. Зачем это нужно?

Проблема, которая съедает миллионы

Представьте: новый сотрудник крупной корпорации ищет ответ на рабочий вопрос. Он открывает внутренний портал, видит сотни PDF‑инструкций, тысячи записей в базе знаний службы поддержки. Час поиска, звонки коллегам, еще час изучения документов. В итоге — либо неточный ответ, либо решение отложить задачу.

Читать полностью »

Привет!

Меня зовут Алексей Рудак, я основатель компании Lingvanex, которая разрабатывает решения в области машинного перевода и транскрипции речи. Продолжаю цикл статей о том, как устроен переводчик на нейронных сетях изнутри. И сейчас хочу рассказать про работу функции потерь. Для тренировки модели используется opensource фреймворк OpenNMT-tf.

Читать полностью »

Статья написана без использования нейросетей

Любая нейросеть — это black box. Любая LLM — это black box^2. Однако люди смогли их придумать. И если старые нейронные сети, основанные на перцептроне или его производных, базируются на вполне известных биологических процессах, то трансформеры лежат вне представления о работе мозга. Следовательно, возникает вопрос — почему это сделано именно так?

В давнюю для себя пору я работал с трехмерной графикой, и когда мои должностные обязанности привели меня на темную дорожку современного хайпа, увиденное заставило меня задуматься о том, что где‑то все описанное уже было...

Читать полностью »

Люблю я кодить и стихи —
Вот, в общем, все мои грехи...

А. С. Пушкин

Привет! Я Константин Хабазня, преподаватель программирования и математики, а также автор (что бы это ни значило).

N-нное время назад увлёкся NLP (Natural Language Processing), что вполне логично для писателя, который кодит (или кодера, который пишет).

Почитав интернет и пару вводных книжек, отправился учиться на ДПО в МФТИ. В качестве выпускного проекта придумал себе задачу — создать рекомендательную систему для стиховЧитать полностью »

Привет!

В этом туториале разобран метод для анализа внутренних представлений "логит-линза" (Logit Lens).

В результате практики по туториалу, вы:

  1. Изучите подход и концепцию Logit Lens;

  2. Реализуете Logit Lens для Visual Transformer;

  3. Познакомитесь с анализом результатов применения логит-линзы.

Приступим! Как всегда, весь код будет на гитхаб — step by step.

Logit Lens: о методе

Метод Logit Lens был предложен на Lessworng в 2020 году на примере модели GPT-2.

Читать полностью »

Сразу к карте? Если вы предпочитаете действовать, а не читать, вот ссылка на Mind Map . Она доступна для изучения прямо сейчас. А если хотите понять контекст и узнать больше о каждой модели — добро пожаловать под кат!

Введение

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js