Привет! У нас в проде живёт бот, который отвечает на вопросы по документации продукта — обычный RAG. Первые месяца три мы катили его, как все: поправил промпт, прогнал пяток вопросов руками, поставил в голове галочку «вроде стало лучше» и выкатил. Закончилось это предсказуемо. Коллега подкрутил промпт ретривера под свой кейс и по дороге сломал мой, причём заметили мы это через две недели по жалобе пользователя. А когда обновились на свежую версию модели, часть ответов просто уехала непонятно куда, и никто не мог сказать, стало в среднем лучше или хуже. Потому что «лучше» жило у нас в головах и мерялось настроением.
Рубрика «engineer»
Как тестировать LLM-фичи: пишем автоэвалы и гоняем их в CI
2026-06-15 в 12:17, admin, рубрики: AI, engineer, Evals, llm, Автоэвалы, тестированиеКарьера инженера в BigTech, часть 1
2022-02-26 в 13:33, admin, рубрики: Career Advice, engineer, Engineering, FAANG, it-эмиграция, Карьера в IT-индустрииМеня зовут Александр и днем я full stack software инженер в Meta. Я создаю инструменты для предотвращения деплоя ломающих изменений в инфраструктуру. Строю архитектуру и user flow для безопасного деплоя в новой Meta платформе для сервисов.
Эти заметки могут быть полезны для инженеров находящихся в самом начале карьеры, когда стоит выбор, где себя применить, с чего начать и каким путем пойти начиная карьеру инженера программиста.