Год назад я написал статью “Почему важно тестировать промпты и как это делать”. В ней я рассказывал про библиотеку promptfoo, которая предлагает различные способы проверки ответов, генерируемых моделью. Сейчас рынок уже находится на другом этапе: почти никому не нужно объяснять, зачем тестировать LLM при её интеграции в продукт, однако вопрос «как именно это делать» всё ещё остаётся открытым. Причём он стал ещё острее — ведь объём тестовых запросов вырос с 30 штук до 4 тысяч.
Рубрика «llm» - 102
Как тестировать промпты и чейны (Ручная разметка-BERTScore-LLM as judge)
2025-04-15 в 18:54, admin, рубрики: bertscore, LangChain, llm, llm-агентLLM: Практика «выращивания кода»
2025-04-15 в 11:15, admin, рубрики: antropic, chatgpt, claude, gemini, grok, llm, OpenAI, большие языковые модели, ИИ, искусственный интеллектВайб-кодинг: практика, о которой почему-то не говорят
2025-04-15 в 7:00, admin, рубрики: llm, вайб-кодинг, кодинг, обучение модели, ПрограммированиеЯ откидываюсь в кресле, беру наушники и смотрю, как работает LLM. Можно сразу несколько, работающих над разными частями проекта:

Пример проекта с прикручиванием аналитики к инфраструктуре:
- Сначала в GPT 4.5 провёл продуктовые исследования и сформулировал требования.
- Попросил превратить это в архитектурный план.
- Отревьюил, поправил тупые ошибки.
- Затем этот план (как метапромпт) скормил Sonnet в VS Code через плагин Cline. Попросил сначала создать общую структуру, шаблонные имплементации, документацию, спецификации API (protobuf для gRPC, REST API).
- Архитектурно сразу заложил микросервисы. Sonnet для каждого сервиса подобрал и обосновал оптимальную базу данных (где-то Postgres, где-то ClickHouse и т.д.).
- Сгенерировал SDK для взаимодействия, примеры использования. Сразу заложил observability: централизованные логи, метрики Prometheus, трейсинг Jaeger/Tempo, дашборды для Grafana.
- Потом итерационно генерировал код: сначала тесты (End-to-end, BDD), потом имплементацию под эти тесты.
- Написал манифесты для Kubernetes и Docker Compose для локального запуска.
- Сгенерировал даже скрипты для тестов REST API через curl и gRPC через gRPCurl.
И всё.
А теперь практика — что делать с тем, что современные нейросети учились преимущественно на говнокоде и как быть с джунами. Читать полностью »
Как LLM выучивают факты и почему они галлюцинируют?
2025-04-13 в 8:40, admin, рубрики: AIResearch, DeepMind, HallucinationsInAI, KnowledgeAcquisition, llm, machinelearning🔥Не пропустите важные обновления и углубленные материалы!🔥
Хотите быть в курсе самых свежих обзоров и исследований в мире ML и AI? Переходите по ссылкам ниже, чтобы получить доступ к эксклюзивному контенту:
📌 Глубокий обзор с математической формализацией ждет вас на нашей странице GitHub Pages 🐙
📌 Все обзоры и аудио подкасты также доступны в нашем Telegram канале TheWeeklyBrief 📢
Не упустите шанс глубже погрузиться в мир технологий! 🚀
Содержание
-
Введение
-
Трехфазный процесс обучения
Агенты в Pydantic AI от вызова LLM до MCP
2025-04-12 в 16:41, admin, рубрики: AI, llm, pydantic, агенты ии, искусственный интеллектВведение
Всем привет, сегодня я расскажу вам о том, как можно делать агентов с помощью Pydantic AI.
Pydantic AI - фреймворк от создателей Pydantic - популярной библиотеки для валидации данных в Python с ядром на Rust.
Начнем с простых примеров в виде вызова LLM , а затем постепенно будем усложнять задачу, создавая более сложного агента.
Виртуальное окружение.
В качестве пакетного менеджера в данном проекте используется uv, однако вы можете использовать любой другой, удобный вам, просто имейте это ввиду при установке пакетов.
Репозиторий
Весь код примеров ниже доступен на Читать полностью »
История ИИ на пальцах — от перцептрона до GPT-4o
2025-04-12 в 12:19, admin, рубрики: AI, llm, programming, ИИ, Интересное, искусственный интеллект, история, Перцептрон, развитие технологий, технологииai-2027.com на русском: концовка по сценарию Замедления
2025-04-12 в 11:23, admin, рубрики: deepseek, gpt, llm, OpenAI, агенты, геополитика, искуственный интеллект, Научно-популярное, предсказания, прогнозыЭто вторая концовка моего мини-хабра-сериала с переводом нашумевшего Sci-Fi рассказа ai-2027.com. Он написан топовыми ИИ-экспертами, опирается на кучу данных, имеет две концовки (!) и сейчас все о нём говорят.
Эту концовку не выбрали читатели хабра на голосовании в конце второй части.
Буря в стакане ИИ
2025-04-11 в 13:07, admin, рубрики: llm, инвестиции в ии, Пузырь ии, рынок ии, хайп ииИз каждого утюга трубят про то, что ИИ, AGI и т.д. изменит все, и мои уши устали от этого.
Поэтому решил на цифрах разобраться так ли это. Нынешний хайп является пузырём, или новой трансформирующей волной. И сопоставимо ли появление LLM с появлением ПК, интернета и переходом на мобильные устройства. Доводы будем подкреплять расчетом.
И начнем мы с анализа текущих инвестиций в ИИ (не люблю это слово, но ML здесь меньше подходит).
Академия OpenAI для разработчиков: Разбор 10 лекций про API, RAG, Fine-tuning
2025-04-11 в 12:24, admin, рубрики: chatgpt, distillation, Fine-tuning, llm, OpenAI, openapi, rag, обучениеOpenAI запустила свою Академию — десятки видеолекций. Полезно, но много. Если вы разработчик или аналитик, которому нужны технические детали и практические руководства по API, моделям и их оптимизации, смотреть всё подряд — не вариант.
Я изучил доступные материалы и сделал выжим из только технических материалов. Этот гайд проведет по 10 ключевым лекциям вышедшим на сегодня, которые помогут разобраться в Function Calling, RAG, Fine-tuning, Evals и других важных темах. Мы не будем здесь касатьсяЧитать полностью »
ai-2027.com на русском: концовка по сценарию Гонки
2025-04-11 в 12:16, admin, рубрики: deepseek, gpt, llm, OpenAI, агенты, геополитика, искуственный интеллект, Научно-популярное, предсказания, прогнозыЭто одна из концовок моего мини-хабра-сериала с переводом нашумевшего Sci-Fi рассказа ai-2027.com. Он написан топовыми ИИ-экспертами, опирается на кучу данных, имеет две концовки (!) и сейчас все о нём говорят.
Эту концовку выбрали читатели хабра на голосовании в предыдущей части.


