Год назад я написал статью “Почему важно тестировать промпты и как это делать”. В ней я рассказывал про библиотеку promptfoo, которая предлагает различные способы проверки ответов, генерируемых моделью. Сейчас рынок уже находится на другом этапе: почти никому не нужно объяснять, зачем тестировать LLM при её интеграции в продукт, однако вопрос «как именно это делать» всё ещё остаётся открытым. Причём он стал ещё острее — ведь объём тестовых запросов вырос с 30 штук до 4 тысяч.
Рубрика «llm-агент» - 6
Как тестировать промпты и чейны (Ручная разметка-BERTScore-LLM as judge)
2025-04-15 в 18:54, admin, рубрики: bertscore, LangChain, llm, llm-агентAPI против GUI: Сравниваем новое поколение LLM-агентов
2025-04-05 в 6:30, admin, рубрики: api, GUI, llm, llm-агент, ИИ
Большие языковые модели (LLM) научились не только генерировать текст, но и выполнять реальные задачи, используя команды на естественном языке. Это открыло новую эру в автоматизации, породив так называемых LLM-агентов. Исследование "API Agents vs. GUI Agents: Divergence and Convergence"Читать полностью »
Исследование уязвимостей LLM-агентов: опыт Red Teaming
2025-03-30 в 15:17, admin, рубрики: gpt, llm, llm-attack, llm-агент, безопасностьПривет!
Сначала об определениях. LLM Red teaming — практика тестирования больших языковых моделей (например, GPT), направленная на выявление уязвимостей, нежелательного поведения и способов их взлома (jailbreak). Суть в том, чтобы через специальные подсказки или методы обойти защитные механизмы и ограничения LLM.