Рубрика «nlp»

Skeleton Indexing (KDD 2025) + HippoRAG 2 (ICML 2025) + VectorCypher + Datalog Reasoning + 10 итераций оптимизации


TL;DR

Я реализовал Graph RAG систему, которая комбинирует 5 техник из свежих научных статей в единый пайплайн с декларативным reasoning-движком, полной провенансной трассировкой и типизированным API. Результат: 174/180 (96.7%) на билингвальном бенчмарке из 30 вопросов, оценённых в 6 режимах retrieval. Три режима достигли 100%. Ноль persistent failures.

GitHub: Читать полностью »

Привет, я Лена, это мой первый пост здесь, и он про техническую задачу, с которой мы столкнулись: как заставить LLM писать текст так, чтобы его нельзя было отличить от написанного конкретной редакцией. Не «хороший текст», не «грамотный текст», а такой, который звучит как этот конкретный городской портал или этот Telegram-канал.

Читать полностью »

Введение

Добрый день. Сегодня я расскажу о том, как я за 2 месяца с полного нуля создал доменную RAG систему с корпусом в 20+ книг. В статье затрону проблемы парсинга данных (особенно PDF документов, с которыми приходилось иметь дело), чанкинга, создания и индексации эмбеддингов, а также самого интересного – ретривера. Расскажу о latency, трейд-оффах, и сложностях реализации подобных систем локально на ноутбуке (хоть и «игровом») без использования API LLM.

Вся система делалась мной самостоятельно без использования LangChain Читать полностью »

Привет, Habr!

Эта статья — первый шаг в серии материалов о технологии RAG. Здесь мы разберёмся, что это вообще такое, зачем она появилась и почему её так часто требуют в вакансиях. К концу статьи у вас должно сложиться целостное понимание, когда RAG действительно нужен, какие архитектуры бывают и где чаще всего возникают ошибки.

В статье мы разберём:

  • почему вообще появился RAG;

  • что такое RAG в общем смысле;

  • основные способы расширения контекста модели;

  • кому RAG действительно нужен (и кому нет);

  • как устроен RAG и как работает в принципе;

  • где и почему RAG чаще всего ломается;

  • Читать полностью »

Это уже четвертая часть статей по разработке AGI, и в предыдущих частях мы обсуждали теоретические и философские аспекты тех или иных вопросов, с ними всегда можно ознакомиться здесь. Сегодня же речь пойдёт о практике.

Что получилось в иоге

Что получилось в иоге

А зачем?

Читать полностью »

В 2012 году команда из Торонто потрясла мир компьютерного зрения: их нейросеть AlexNet распознавала объекты на фотографиях лучше любого алгоритма, написанного вручную. Код занимал тысячи строк, требовал двух видеокарт и недель обучения. Сегодня вы можете превзойти AlexNet одной строкой кода, а модель загрузится за секунды.

Читать полностью »

Рынок лимонов и барышни в мишуре

Современный найм болен экстремальным дисбалансом данных. У соискателя на руках только описания вакансий и надежда на лучшее, а у работодателя — служба безопасности, полиграф, ATS-системы и психологические тесты. Асимметрия чудовищная.

Фактически, это реализация экономической модели «Рынка лимонов» Джорджа Акерлофа в масштабе целой страны. Покупатель (соискатель) не может оценить качество товара (вакансии) до подписания оффера. Из-за этого рынок заполняется «лимонами» — предложениями, не отражающими действительность. Может, это будет "не так плохо", но точно не то.

Читать полностью »

Я уверен, вы видели модели машинного обучения, которые принимают текст и предсказывают, является ли он спамом. Аналогично модель может проанализировать отзыв о фильме и определить его тональность — положительную или отрицательную, понимать что «груша» связана с «яблоком» куда больше, чем с «теплоходом».

Первое правило обучения любой модели машинного обучения — это преобразование входных данных в числа. Любой цифровой объект можно представить как некое число: картинку, текст, аудио или видеофайл — практически всё что угодно.

Читать полностью »

После 10 лет внедрения BI-систем (Qlik Sense, Power BI, Data Lens) я понял одну вещь: дашборд — это не решение. Это данные для решения. А между данными и решением — пропасть, которую преодолевает человек.

В этой статье покажу, как построил RAG-систему с чат-интерфейсом для базы из 600 000 записей техники из Федресурса. Без философии — только архитектура, код и грабли.

Проблема: почему дашборды не работают

Типичный сценарий. Аналитик открывает дашборд с данными о технике в лизинге. Нужно найти топ-10 компаний с бензовозами в Московской области.

Что происходит:

  1. Ищет нужный дашборд (их 15 штук)

  2. Читать полностью »

Сейчас каждый второй джун пытается генерировать сопроводительные письма через ChatGPT.

И каждый первый рекрутер научился их детектить за секунду.

Стандартный ответ LLM выглядит так:

«Уважаемый менеджер по найму! Я с большим энтузиазмом пишу вам, чтобы выразить свой интерес к позиции... Я обладаю уникальным сплавом навыков...»

Это мусор. Это «AI-slop», как пишут в комментариях. Такие письма летят в корзину, потому что они пустые.

Когда я писал своего агента для поиска работы , передо мной стояла инженерная задача: Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js