Когда говорят про RAG, обычно имеют в виду довольно прямую схему: взять документы, нарезать их на фрагменты, посчитать эмбеддинги, сложить всё в векторную базу и поверх этого подключить LLM. На демо это часто работает. Иногда работает и на корпоративных данных. Но на нормативных документах такой подход очень быстро начинает сыпаться.
Рубрика «llm» - 42
Почему нам пришлось превратить нормативные документы в граф, а не просто загрузить их в векторную базу
2026-03-23 в 14:15, admin, рубрики: llm, rag, semantic search, гост, ИИ, нейросети, нормативные документы, СП СНИП, строительствоЗаказываю пиццу через AI-агента: как я перестал открывать приложение Додо
2026-03-23 в 6:45, admin, рубрики: AI, claude, llm, skills, агентыПривет, меня зовут Лев. Вдохновившись постом коллеги, который через MCP-ВкусВилл собирает себе корзину покупок, решил пойти дальше — собрать агента, который не просто ищет информацию, а совершает действия: выбирает пиццу, собирает корзину, оплачивает и оформляет заказ. Так как готовить категорически не люблю, а дэнвич обожаю — целью стала любимая Додо Пицца.
Результат: говорю агенту «закажи самую сытную пиццу и колу» — и получаю заказ #177 за 534 рубля. Оплата с привязанной карты, самовывоз из ближайшей пиццерии. Пицца готовится, пора идти забирать.
RAG: как Филин Палыч-реранкер навел порядок в цифровом королевстве
2026-03-22 в 12:25, admin, рубрики: llm, rag, Reranker, векторный поиск, научпоп, эмбеддинги
Используйте оглавление, если не хотите читать текст полностью:
Графы знаний в юридическом домене: как не потерять сложность при построении RAG-системы
2026-03-20 в 7:16, admin, рубрики: AI, artificial intelligence, graph database, graphrag, knowledge graphs, large language models, llm, rag, vector database
Почему большинство AI-агентов плохо работают на Raspberry Pi (и как я попытался это исправить)
2026-03-19 в 11:16, admin, рубрики: golang, homelab, llm, local ai, open source, Raspberry PiПроблема: тяжёлые AI-агенты на маленьком железе
Последнее время я экспериментировал с AI-агентами на Raspberry Pi 5.
И довольно быстро столкнулся с проблемой: большинство существующих агентных фреймворков оказываются слишком тяжёлыми для небольшого железа.
Типичная архитектура таких решений включает:
-
Python-фреймворк
-
несколько фоновых сервисов
-
orchestration слой
-
иногда векторную базу
-
довольно сложную конфигурацию
На сервере это нормально работает. Но на Raspberry Pi всё начинает ощущаться иначе:
-
долгий старт
-
лишние зависимости
Это мой первый пост на Хабре, так что не судите строго :-)
Текст ниже - это слегка отредактированная версия чата с моими друзьями, где я вызвался объяснить, что же именно происходит в мозгах «электронного болвана». Так получилось, что в конце 2025 — начале 2026 я смог, наконец, удовлетворить собственное любопытство относительно внутреннего устройства современных нейросетей. Правда, не до конца — сейчас уже почти все переходшли на архитектуру MoE, но насколько я вижу — это скорее оптимизация, нежели что‑то кардинально новое. Трансформер так и остаётся в центре всего этого технологического чуда, что мы наблюдаем.
Генеральный директор не делает холодные звонки: как мы разделили роли LLM и сэкономили бюджет на AI-разработке
2026-03-19 в 7:16, admin, рубрики: llm, llm-агент, агенты, агенты ии, экономияПривет! Меня зовут Семен, руководитель команды разработки продукта, мы небольшая команда стартапа, которая занимается внедрением ИИ в бизнес-процессы. Как это часто бывает, пытаясь автоматизировать работу других, мы столкнулись с классической проблемой у себя дома: острой нехваткой времени и рабочих рук.
Слепое пятно LLM-разработки: контекст за пределами кода
2026-03-15 в 13:15, admin, рубрики: cursor, llm, методология разработки, управление знаниями
Качество работы LLM — функция от качества контекста на входе. Это утверждение звучит банально, однако зачастую разработчики оптимизируют модель, выбирая между GPT, Claude, Gemini и прочими, и промпт, но не контекст в целомЧитать полностью »
Запускаем LLM на AMD RX580: разбор проблем ROCm, Ollama и реальный GPU inference
2026-03-15 в 6:15, admin, рубрики: amd, docker, k8s, legacy, llama.cpp, llm, mlops, Ollama, radeon, rx 580TL;DR
Мы пытались запустить LLM inference на старой AMD RX580 (8 VRAM) через ROCm в Kubernetes. GPU корректно определялся, VRAM использовалась, но inference падал с ошибками вида:
hipMemGetInfo(free, total) CUDA error: invalid argument
После серии экспериментов с ROCm userspace, Docker‑образами и Kubernetes deployment выяснилось, что проблема лежит на границе:
kernel → ROCm runtime → ggml backend
Финальное решение включало:
-
переход на kernel 6.8
-
стабилизацию ROCm runtime
-
использование llama.cpp + ROCm
-
grammar‑constrained decoding для strict sanity prompts
В итоге мы получили стабильный GPU inference:
-
~42 токен/сек
-
gpu_busy_percent → до 100%

