Рубрика «embedding»

Почему ваш RAG не найдёт нужные документы: математический потолок embedding-моделей

2026-01-23 в 7:16, admin, рубрики: bm25, embedding, machine learning, rag, retrieval, векторные базы данных, нейросети, поиск

Вы внедрили RAG в продакшен. Embedding-модель занимает топовые позиции на MTEB, векторная база настроена, chunking оптимизирован. Всё работает. Пока пользователи не начинают жаловаться: "Система не находит очевидные документы". Вы проверяете — документы есть, запросы адекватные. В чём дело?

Исследователи из Google DeepMind нашли ответ в статье "On the Theoretical Limitations of Embedding-Based Retrieval", и он неприятный. Оказывается, embedding-модели имеют фундаментальный математический потолок — и никакие данные, никакое обучение, никакой размер модели его не пробьют. Это не баг. Это геометрия.

Читать полностью »

Mem-векторы: как сохранить 1500 токенов в одном векторе и зачем это нужно

2025-05-03 в 10:42, admin, рубрики: embedding, hidden capacity, llm, mem-вектор, nlp, rag, компрессия, энтропия текста

От сжатия текста к mem-векторам: новая веха в языковых моделях

Каждый, кто работал с большими языковыми моделями (LLM), знает про ограничение длины контекста: модель не может напрямую обработать текст, превышающий определённое число токенов. Это накладывает ограничения на работу с длинными документами и обширным контекстом. Но что если бы мы могли упаковать длинный текст в один-единственный вектор и скормить его модели как обычный токен? Звучит фантастично, однако свежие исследования показывают, что это возможно – такие “mem-векторы” позволяют сохранить сотни и даже полторы тысячи токеновЧитать полностью »

Распределённый инференс llama.cpp через RPC

2024-09-14 в 16:07, admin, рубрики: api, docker, dockerhub, embedding, gguf, llama.cpp, RPC

Приветствую!

Идея создания данной публикации крутилась с моей голове уже давно, дело в том, что одно из моих хобби связанно с распределёнными вычислениями, а другое хобби связанно с нейросетями и мне давно не давала покоя идея запустить инференс LLM на нескольких компьютерах, но так чтобы все они выполняли работу над одно и той же моделью параллельно.

Погуглив некоторое время узнал, что проект LocalAI уже относительно давно поддерживает такую возможность, недолго думая я раскатал на нескольких компьютерах данный проект, после чего выполнил все необходимые Читать полностью »

Лопнул ли пузырь машинного обучения, или начало новой зари

2019-06-14 в 0:17, admin, рубрики: CAE, embedding, memory, neural network, tesla, VAE, Блог компании Recognitor, будущее, искусственный интеллект, Исследования и прогнозы в IT, машинное обучение, нейронные сети, обработка изображений, роботы всё захватят

Недавно вышла статья которая неплохо показывает тенденцию в машинном обучении последних лет. Если коротко: число стартапов в области машинного обучения в последние два года резко упало.

Ну что. Разберём “лопнул ли пузырь”, “как дальше жить” и поговорим откуда вообще такая загогулина.
Читать полностью »

Алгоритм Джонкера-Волгенанта + t-SNE = супер-сила

2017-04-19 в 13:43, admin, рубрики: embedding, machine learning, t-sne, wunder fund, wunderfund, Алгоритмы, Блог компании Wunder Fund, машинное обучение

До:

Алгоритм Джонкера-Волгенанта + t-SNE=супер-сила - 1

После:

Алгоритм Джонкера-Волгенанта + t-SNE=супер-сила - 2

Заинтригованы? Но обо всем по порядку.

t-SNE

t-SNE — это очень популярный алгоритм, который позволяет снижать размерность ваших данных, чтобы их было проще визуализировать. Этот алгоритм может свернуть сотни измерений к всего двум, сохраняя при этом важные отношения между данными: чем ближе объекты располагаются в исходном пространстве, тем меньше расстояние между этими объектами в пространстве сокращенной размерности. t-SNE неплохо работает на маленьких и средних реальных наборах данных и не требует большого количества настроек гиперпараметров. Другими словами, если взять 100 000 точек и пропустить их через эту волшебный черный ящик, на выходе мы получим красивый график рассеяния.
Читать полностью »

Информация

Комментарии

Рекомендуем