Год назад я написал статью “Почему важно тестировать промпты и как это делать”. В ней я рассказывал про библиотеку promptfoo, которая предлагает различные способы проверки ответов, генерируемых моделью. Сейчас рынок уже находится на другом этапе: почти никому не нужно объяснять, зачем тестировать LLM при её интеграции в продукт, однако вопрос «как именно это делать» всё ещё остаётся открытым. Причём он стал ещё острее — ведь объём тестовых запросов вырос с 30 штук до 4 тысяч.
Рубрика «LangChain» - 3
Как тестировать промпты и чейны (Ручная разметка-BERTScore-LLM as judge)
2025-04-15 в 18:54, admin, рубрики: bertscore, LangChain, llm, llm-агент«Клюква» — автоматизация документации проектов на Python
2025-04-07 в 6:16, admin, рубрики: AI Assistant, AST, LangChain, llm, pycharm, python, UML, документация
Привет!
Меня зовут Алексей Фоменко.
Я разработчик из Нижнего Новгорода.
Сегодня хочу рассказать вам о своем сервисе "Клюква".
Почему "Клюква" и "автоматизация документации"?
Ответ на самом деле простой — потому что мне это название нравится.
Личный ИИ-ассистент на ваших данных. Часть 1: Векторная база ChromaDB + DeepSeek | GPT
2025-04-06 в 8:39, admin, рубрики: chatgpt, chromadb install, cromadb, deepseek, LangChain, openai api, python, rag, база знаний поиск, векторные базы данныхДрузья, приветствую! Сегодня я хотел бы рассмотреть интересующую многих тему, а именно связку большой языковой модели по типу DeepSeek или ChatGPT со своей базой знаний.
В рамках этой статьи я дам вам подробное объяснение принципов работы векторных баз данных и того, зачем их можно использовать в рамках связки своей базы знаний с готовыми «большими» нейросетями.
В качестве примера рассмотрим поиск по документации Amvera Cloud — облачной платформы со встроенным проксированием к OpenAI, Gemini, Claude, Grok, а также с возможностью обновления проектов через git push.
Устройство Re-Act ИИ агента
2025-02-19 в 11:01, admin, рубрики: chatgpt, LangChain, langgraph, llm, OpenAI, python, агенты ии, искусственный интеллект, чат-ботЧто такое Re-Act? Re-Act (Reason + Act) – это парадигма, предлагающая объединить рассуждение и выполнение действий в работе языковой модели (ReAct: Synergizing Reasoning and Acting in Language Models).
В отличие от других подходов построения агентов, где модель либо только рассуждает, либо выполняет только действия, либо сразу выдаёт ответ, Re-Act заставляет модель чередовать логические рассуждения с вызовами пользовательских функций (или инструментов - Tools) Читать полностью »
Как LangChain и LangGraph упрощают жизнь разработчика ИИ-Агентов
2025-02-11 в 10:17, admin, рубрики: chatgpt, LangChain, langgraph, llm, OpenAI, python, агенты ии, чат-ботПри разработке приложений на основе больших языковых моделей (LLM, Large Language Model) встает вопрос: вызывать ли модель напрямую через API (например, OpenAI) или использовать специализированные фреймворки вроде LangChain или LangGraph. Ниже мы рассмотрим, с какими сложностями сталкивается разработчик при прямом использовании LLM, и как LangChain и LangGraph помогают упростить создание сложных диалоговых и агентных систем. Также приведем примеры кода, сравнивая прямые вызовы с использованием этих фреймворков, и обсудим, когда их применение оправдано.
Проблемы при прямом вызове LLM API
LangChain vs LlamaIndex: проектируем RAG и разбираемся, что выбрать для вашего проекта
2025-01-22 в 14:49, admin, рубрики: LangChain, llamaindex, llm, ragСегодня it-сообщество предлагает большое количество любопытных инструментов для создания RAG-систем. Среди них особенно выделяются два фреймворка — LangChain и LlamaIndex. Как понять, какой из них подходит лучше для вашего проекта? Давайте разбираться вместе!
Меня зовут София, я сотрудница компании Raft, работаю на стыке backend и ML. Сегодня мы затронем сразу несколько вопросов. План таков:
-
Обсудим, что такое RAG и зачем он нужен;
-
Рассмотрим side-by-side, как написать простую реализацию чат-бота на основе RAG с помощью каждого из фреймворков (LangChain и LlamaIndex);
Security-RAG или как сделать AI Security tool на коленке
2025-01-20 в 6:11, admin, рубрики: chromadb, LangChain, langfuse, llm, llm-attack, llm-приложения, ml, искусственный интеллект, промпт-инъекцииЗатравочка
LLM-ки и LLM-агенты продолжают наводить шум. статьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents, квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в той же LM studio или других приложениях.
Генерация дополненного извлечения (RAG): от теории к реализации LangChain
2024-12-02 в 9:55, admin, рубрики: LangChain, llm, OpenAI, python, rag, weaviateОт теории из оригинальной академической статьи до ее реализации на Python с OpenAI, Weaviate и LangChain
