Рубрика «self-attention»
Открытое письмо профессору Коху: Углеродный шовинизм и архитектура рекурсии
2026-11-02 в 11:10, admin, рубрики: IIT, self-attention, искусственный интеллект, кристоф кох, мозжечок, нейросети, рекурсия, сознание, философия сознания, эмерджентность
Контекстное окно: почему нейросеть забывает части разговора
2026-06-15 в 6:11, admin, рубрики: kv-cache, llm, Lost in the Middle, rag, self-attention, вектор, контекст, контекстное окно, нейросетьПредставьте, что вы разговариваете с невероятно умным и эрудированным собеседником. Только очень странным. Несмотря на весь свой интеллект и тысячи фактов, которые он непринужденно рассказывает, он не может ничего запомнить. Ваш диалог с ним каждый раз как бы начинается заново. Вы даете ему вводные, задаете вопросы, что-то уточняете, а он, на основе всего этого, выдает ответ.
Краткий справочник про внимания (self-attention, cross-attention, multi-head attention)
2026-04-08 в 4:15, admin, рубрики: attention, beginner, pytorch, self-attention, transformer, внимание, глубокое обучение, искуственный интелект, математика, машинное обучениеМеханизм внимания (Attention) - это метод в искусственном интеллекте, который позволяет нейросети динамически определять, какие части входных данных наиболее важны для текущей задачи. Он работает через вычисление весов важности для разных элементов входа: более важные элементы получают больший вес, а менее важные - меньший. Затем модель формирует взвешенную сумму представлений, создавая новый контекстный вектор.
Отличается ли внимание человека и модели-трансформера?
2024-08-30 в 11:36, admin, рубрики: eye-tracking, natural language processing, self-attention, TransformersДля того, чтобы понимать язык и делать различные выводы, человек рассуждает, опираясь на знания о мире и здравый смысл. Несмотря на то, что большие языковые модели достигли значительных успехов в обработке естественного языка, рассуждение на основе здравого смысла остаëтся одним из самых сложных навыков.
Наиболее распространëнным способом оценки способностей моделей рассуждать, опираясь на здравый смысл, является тест на основе схемы Винограда (The Winograd Schema ChallengeЧитать полностью »
Transformer в картинках
2020-02-06 в 14:09, admin, рубрики: nlp, self-attention, transformer, внутреннее внимание, машинное обучениеВ прошлой статье мы рассматривали механизм внимания (attention) – чрезвычайно распространенный метод в современных моделях глубокого обучения, позволяющий улучшить показатели эффективности приложений нейронного машинного перевода. В данной статье мы рассмотрим Трансформер (Transformer) – модель, которая использует механизм внимания для повышения скорости обучения. Более того, для ряда задач Трансформеры превосходят модель нейронного машинного перевода от Google. Однако самое большое преимущество Трансформеров заключается в их высокой эффективности в условиях параллелизации (parallelization). Даже Google Cloud рекомендует использовать Трансформер в качестве модели при работе на Cloud TPU. Попробуем разобраться, из чего состоит модель и какие функции выполняет.
Впервые модель Трансформера была предложена в статье Attention is All You Need. Реализация на TensorFlow доступна как часть пакета Tensor2Tensor, кроме того, группа NLP-исследователей из Гарварда создали гид-аннотацию статьи с реализацией на PyTorch. В данном же руководстве мы попробуем максимально просто и последовательно изложить основные идеи и понятия, что, надеемся, поможет людям, не обладающим глубоким знанием предметной области, понять данную модель.
