Рубрика «трансформеры» - 2
В поисках алгоритма интеллекта — тезисы и комментарии. Часть 1
2025-08-05 в 16:08, admin, рубрики: AI, llm-модели, интеллект, искусственный интеллект, когнитивистика, мышление, нейросети, сознание, трансформерыTimeCoder: Быстрое кодирование нечетких временных выражений для RAG-систем и не только
2025-07-17 в 15:05, admin, рубрики: rag, время, обучение модели, трансформерыВ этой статье хочу рассказать о задаче с которой мы столкнулись и о найденном решении. Надеюсь наш опыт окажется кому-то полезен и натолкнет на решение других подобных задач.
Эмпатичный ИИ: как трансформеры учатся распознавать эмоции в разговорах
2025-07-09 в 10:24, admin, рубрики: erc, python, итмо, машинное обучение, распознавание эмоций, сервисы, трансформеры, университеты, человеко-машинное взаимодействиеВ эпоху чат-ботов и голосовых помощников ИИ всё чаще становится собеседником человека. Но чтобы стать по-настоящему полезным в коммуникации, он должен не только понимать слова — но и улавливать эмоции, интонации, паузы и даже жесты. Именно это и пытается решить задача Emotion Recognition in Conversations (ERC).
В недавней работе “A Transformer-Based Model With Self-Distillation for Multimodal Emotion Recognition in Conversations”Читать полностью »
Глубокое обучение в науке вредно без глубокой проверки фактов
2025-06-13 в 6:10, admin, рубрики: BERT, биоинформатика, трансформеры, ферменты, энзимыГлубокое обучение гламурно и ажиотажно. Если обучить трансформер (современную языковую модель) на датасете из 22 миллионов ферментов, а затем использовать его для прогнозирования функции 450 неизвестных ферментов, то можно опубликовать свои результаты Nature Communications (уважаемом научном издании). Вашу статью прочитают 22 тысяч раз и она будет в верхних 5% из всех результатов исследований по оценке Altmetric (рейтингу внимания к онлайн-статьям).
Нейросетевой подход для классификации событий отслеживаемых сверхширокополосным радаром
2025-04-04 в 23:14, admin, рубрики: attention, cnn, RNN, uwb, искусственный интеллект, радар, радарные датчики, сверхширокополосная радиолокация, сшп, трансформерыВ данной статье речь пойдёт о том, как используя разные архитектуры нейронных сетей классифицировать данные полученные со сверхширокополосного радара " XETHRU by NOVELDA X4M02 290056-010 ". Моя работа основана на публикации " UWB-gestures, a public dataset of dynamic hand gestures acquired using impulse radar sensorsЧитать полностью »
Твой ИИ тебя понимает? Разбираем тайны внутреннего мира языковых моделей
2025-02-10 в 7:55, admin, рубрики: AI, python, ИИ, полисемантичность, разрежённый автокодировщик, трансформеры
Современные крупные языковые модели, такие как ChatGPT, Claude или Gemini, поражают своими возможностями. Но главный вопрос остаётся открытым: как именно они думают?
Клон ChatGPT в 3000 байтах на C, основанный на GPT-2
2025-02-05 в 9:38, admin, рубрики: C, gpt, нейронные сети, трансформерыЭта программа представляет собой свободную от зависимостей реализацию GPT-2. Она загружает матрицу весов и файл BPE из оригинальных файлов TensorFlow, токенизирует вывод при помощи простого энкодера, работающего по принципу частотного кодирования, реализует базовый пакет для линейной алгебры, в котором заключены математические операции над матрицами, определяет архитектуру трансформера, выполняет инференс трансформера, а затем очищает вывод от токенов при помощи BPE-декодера. Всё это — примерно в 3000 байт на C.
Что, если не трансформеры: какие альтернативы главной архитектуре нейросетей у нас есть в 2024 году
2024-11-18 в 13:23, admin, рубрики: llm, глубокое обучение, искусственный интеллект, трансформерыТрансформеры сегодня – золотой стандарт нейросетей, и, особенно, больших языковых моделей. Они стали первой по-настоящему масштабируемой архитектурой, то есть с ними впервые стало возможно гарантировано наращивать перформанс моделей за счет увеличения количества данных и параметров, не упираясь в потолок производительности железа или запоминающей способности нейросети.
Рекуррентные нейронные сети наносят ответный удар
2024-10-05 в 20:55, admin, рубрики: gru, LSTM, рекуррентные нейронные сети, трансформерыРекуррентные нейронные сети (RNN), а также ее наследники такие, как LSTM и GRU, когда-то были основными инструментами для работы с последовательными данными. Однако в последние годы они были почти полностью вытеснены трансформерами (восхождение Attention is all you need), которые стали доминировать в областях от обработки естественного языка до компьютерного зрения. В статье "Were RNNs All We NeededЧитать полностью »
Всем про LLM. Как рассказать про трансформеры одинаково хорошо и индустриалам, и исследователям
2024-10-03 в 8:44, admin, рубрики: computational linguistics, distillation, image processing, llm, quantization, tabular data, time series, преподавание, трансформерыПривет. Меня зовут Вика, я работаю в AIRI, преподаю в Школе Анализа Данных и Сколтехе и вместе со своими коллегами занимаюсь обработкой естественного языка, изображений и видео, а также иными задачами, где могли бы пригодиться трансформерные модели. Трансформерные архитектуры — очень мощное орудие, которые может быть применено почти во всех сферах DL, и интереснейший концепт, в котором много потенциала для исследования. А, главное, их очень легко применить к технологиям, которые способны изменить нашу жизнь здесь и сейчас.