Главная

Рубрика «retrieval»

RAG-системы: что это такое, принципы работы, архитектура и ограничения

2026-01-26 в 9:18, admin, рубрики: embeddings, llm, nlp, rag, retrieval

Привет, Habr!

Эта статья — первый шаг в серии материалов о технологии RAG. Здесь мы разберёмся, что это вообще такое, зачем она появилась и почему её так часто требуют в вакансиях. К концу статьи у вас должно сложиться целостное понимание, когда RAG действительно нужен, какие архитектуры бывают и где чаще всего возникают ошибки.

В статье мы разберём:

почему вообще появился RAG;
что такое RAG в общем смысле;
основные способы расширения контекста модели;
кому RAG действительно нужен (и кому нет);
как устроен RAG и как работает в принципе;
где и почему RAG чаще всего ломается;

Читать полностью »

Почему ваш RAG не найдёт нужные документы: математический потолок embedding-моделей

2026-01-23 в 7:16, admin, рубрики: bm25, embedding, machine learning, rag, retrieval, векторные базы данных, нейросети, поиск

Вы внедрили RAG в продакшен. Embedding-модель занимает топовые позиции на MTEB, векторная база настроена, chunking оптимизирован. Всё работает. Пока пользователи не начинают жаловаться: "Система не находит очевидные документы". Вы проверяете — документы есть, запросы адекватные. В чём дело?

Исследователи из Google DeepMind нашли ответ в статье "On the Theoretical Limitations of Embedding-Based Retrieval", и он неприятный. Оказывается, embedding-модели имеют фундаментальный математический потолок — и никакие данные, никакое обучение, никакой размер модели его не пробьют. Это не баг. Это геометрия.

Читать полностью »

Часть 4. Обзор технологий RAG для LLM: аугментация извлеченных данных

2025-05-16 в 20:29, admin, рубрики: llm, llm-агент, llm-архитектура, llm-модели, llm-приложения, rag, rag pipeline, retrieval, retrieval augmented generation, языковые модели

Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь, третью часть — здесь). В этой, четвертой части авторы совсем скромненько, словно тренировались заполнять налоговую декларацию, разбирают технологии аугментации извлеченных данных.

Читать полностью »

Как выбрать embedding модель без датасета и исторических данных

2025-02-24 в 9:15, admin, рубрики: AI, embeddings, nlp, python, rag, retrieval, retrieval augmented generation

Введение

С появлением больших языковых моделей тема векторного поиска обрела новое дыхание. Компании, которые хотят внедрить архитектуру Retrieval-Augmented Generation (RAG), сталкиваются с вопросом: как выбрать эмбеддинги, которые будут работать эффективно именно с их данными?

Выбор эмбеддинг-модели — это стратегически важное и долгосрочное решение, так как оно определяет качество поиска и производительность системы. Но этот выбор особенно сложно сделать на ранних этапах развития вашего проекта, когда данных для анализа ещё нет. При этом замена модели в будущем может оказаться дорогостоящей и ресурсозатратной.

Читать полностью »

Hippo-RAG: Долговременная память для LLM, вдохновленная нейробиологией

2024-11-22 в 5:00, admin, рубрики: llm, machine learning, natural language processing, rag, retrieval, retrieval augmented generation, transformer, Transformers

Ученые часто вдохновляется нашими или животными биологическими структурами: CNN, MLP, Backprop, и для многих других исследований можно найти сходства в реальном мире. Недавно вышла статья, которая делает то же самое, но для RAG (Retrieval-Augmented Generation). В некотором роде, это недостающая современным LLM долгосрочная память. Это понятно, а причем тут неокортекст, гиппокамп и другие сложные слова? Давайте посмотрим.

Читать полностью »