Команда AI for Devs подготовила перевод исследования OpenAI о том, как обучение разреженных моделей может сделать ИИ более прозрачным. Авторы показывают: если заставить модель использовать меньше связей, внутри неё появляются понятные цепочки вычислений, которые можно изучать и проверять. Это может стать шагом к созданию мощных, но интерпретируемых систем.
Рубрика «attention»
Как сделать нейросети понятнее: эксперимент OpenAI с разреженными моделями
2025-11-14 в 9:57, admin, рубрики: attention, circuits, mechanistic-interpretability, OpenAI, sparse-transformer, архитектура-моделей, интерпретируемость, разреженные-модели, цепочки-вычисленийMomentum Attention: когда внимание получает инерцию
2025-10-27 в 15:58, admin, рубрики: AI, attention, deep learning, machine learning, pytorch, research, Transformers, нейросетиВ классическом self-attention каждый токен смотрит на другие токены, чтобы понять, что важно в данный момент.
Внимание распределяется мгновенно:
Именно этот механизм сделал трансформеры тем, чем они стали.
Но вот в чём проблема - внимание не имеет памяти.
Читать полностью »
Нейросетевой подход для классификации событий отслеживаемых сверхширокополосным радаром
2025-04-04 в 23:14, admin, рубрики: attention, cnn, RNN, uwb, искусственный интеллект, радар, радарные датчики, сверхширокополосная радиолокация, сшп, трансформерыВ данной статье речь пойдёт о том, как используя разные архитектуры нейронных сетей классифицировать данные полученные со сверхширокополосного радара " XETHRU by NOVELDA X4M02 290056-010 ". Моя работа основана на публикации " UWB-gestures, a public dataset of dynamic hand gestures acquired using impulse radar sensorsЧитать полностью »
Обзор архитектуры Swin Transformer
2022-01-01 в 20:18, admin, рубрики: attention, CV, swin transformer, машинное обучение, обработка изображений
Трансформеры шагают по планете! В статье вспомним/узнаем как работает visual attention, поймём, что с ним не так, а главное как его поправить, чтобы получить на выходе best paper ICCV21.
CV-трансформеры in a nutshell
Attention Is All You Need
Начнём издалека, а именно с 2017 года, когда A Vaswani et al. опубликовали знаменитую статью «Attention Is All You Need»Читать полностью »
Attention для чайников и реализация в Keras
2019-07-06 в 9:28, admin, рубрики: attention, deep learning, keras, machine learning, neural networks, python, wunderfund, машинное обучениеО статьях по искусственному интеллекту на русском языке
Не смотря на то что механизм Attention описан в англоязычной литературе, в русскоязычном секторе достойного описание данной технологии я до сих пор не встречал. На нашем языке есть много статей по Искусственному Интеллекту (ИИ). Тем не менее, те статьи, которые удалось найти, раскрывают только самые простые модели ИИ, например, свёрточные сети, генеративные сети. Однако, по передовым новейшим разработками в области ИИ статей в русскоязычном секторе крайне мало.