Рубрика «prompt engineering»

Модель размечает, код считает

Я учитель и эксперт ЕГЭ, около двух лет я работаю над Telegram-ботом, который проверяет ответы второй части ЕГЭ по обществознанию, и главное, чему научил меня этот проект: модели нельзя поручать ставить балл.

В том виде, в котором бот работает сейчас, модель делает то, что у неё получается хорошо: читает ответ и размечает его по схеме: какие примеры считать конкретными, какие суждения верными, какие пункты плана ключевыми. А дальше включается обычный код. Он пересчитывает баллы по критериям, проверяет то, что можно проверить без модели, и запускает перепроверки, которые могут балл Читать полностью »

У всех, кто гоняет GLM-5.3 Prime в проде на ризонинге Max, есть это ощущение: вроде думает, а вроде и недодумывает. Задача у меня стояла зверская — изобрести уровень усилия «Max Extra» чисто промптингом: минимальная вставка в системный промпт, приближенная к обучающим данным, без овер-тхинкинга. И буквально вручную подобрать каждый токен.

Зачем? Я заметил что на Max ризонинге нейронка на «Привет» думает по минуте, а для миграции всего проекта на другой стэк - максимум секунд 15 (*личное ощущение).

Читать полностью »

Предыстория

Последние полгода с лишним я занимаюсь работой с LLM и созданием ИИ-персонажа. За это время я столкнулся с множеством проблем, решением которых хотел бы поделиться и, возможно, посоветоваться.

Кому подойдёт эта статья

  • Тем, кто хочет создавать прописанных персонажей для RP или ИИ-компаньонов

  • Энтузиастам, что хотят оживлять популярных персонажей из игр/комиксов/аниме

  • ИИ-энтузиастам

Начало опытов

Когда я только начал попытки создания своего пет-проекта с ИИ, я столкнулся с проблемой — вектор диалога меняется каждый ход и в конце концов становится неуправляемым.

Читать полностью »

Откуда это всё выросло

Началось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в интернете разную информацию, которая могла бы пригодиться. И вот тогда у меня впервые начала закладываться мысль, что я хотел бы читать код быстрее. Что мне не нравится, сколько времени на это уходит.

Читать полностью »

В ресторанной сети с несколькими заведениями контент быстро становится отдельным операционным процессом. Нужно регулярно готовить описания блюд, тексты для социальных сетей, рассылки, пресс-релизы, переводы, анонсы мероприятий, описания ресторанов и другие материалы. При этом у каждого ресторана может быть своя концепция, своя аудитория и собственный Tone of Voice.

Читать полностью »

Введение: проблематика задачи

У любого EdTech продукта есть проблема поддержки студентов. Я и сам столкнулся с ней в мою бытность автором курсов на степик. Студенты сталкиваются с трудностями и пишут в чат / на форум в надежде, что им помогут (особенно, если они заплатили за обучение свои кровные).

Традиционный способ решения данной проблемы - куратор. Это человек, достаточно хорошо разбирающийся в предмете и структуре курса, задача которого отвечать на такие вопросы студентов. Если проект небольшой, то куратором может выступать сам автор курса.

Читать полностью »

Каждый день в российском бизнесе происходят миллионы телефонных звонков. Колл-центры, клиники, юридические конторы, отделы продаж — везде, где есть телефон, есть поток неструктурированных данных, который никто не обрабатывает. Менеджер повесил трубку, записал в CRM «клиент интересовался» — и 80% информации из разговора потерялось.

Я потратил полгода на то, чтобы построить пайплайн, который берёт аудиозапись телефонного звонка и выдаёт структурированный JSON: кто звонил, чего хотел, какие суммы называл, что договорились делать дальше. В процессе набил достаточно шишек, чтобы написать эту статью.

Читать полностью »

Личный опыт, 14 версий и эволюция от «просто не ври» до адаптивного Deep Compute Engine

Вступление: Всё началось с боли

Делал свой проект с помощью нейросети. Всё шло хорошо, пока не начались они. Галлюцинации.

Сначала это было смешно: «Сэр, функция asyncio.gather() принимает 5 аргументов» (принимает *coros). Потом перестало: код не работает, время уходит, итерация за итерацией я объясняю агенту, что он только что выдумал параметр.

В какой-то момент я понял: проблема не в модели. Проблема в том, как я с ней разговариваю.

Так родилась INSTRUCTION_GENTLEMANЧитать полностью »

Сейчас каждый второй джун пытается генерировать сопроводительные письма через ChatGPT.

И каждый первый рекрутер научился их детектить за секунду.

Стандартный ответ LLM выглядит так:

«Уважаемый менеджер по найму! Я с большим энтузиазмом пишу вам, чтобы выразить свой интерес к позиции... Я обладаю уникальным сплавом навыков...»

Это мусор. Это «AI-slop», как пишут в комментариях. Такие письма летят в корзину, потому что они пустые.

Когда я писал своего агента для поиска работы , передо мной стояла инженерная задача: Читать полностью »

В предыдущей статье на ХАБРе  (https://habr.com/ru/articles/972634/) я рассказал о том, что создал за 6 недель CRM для Музыкального театра. Сейчас кажется, что статья получилась абстрактной, в стиле: “из молока можно приготовить сырники, мороженое и кефир - и процесс увлекателен, если ты опытный повар!”. Возможно, зайдет рассказ о том как приготовить то или иное блюдо, этакая книга рецептов - погнали.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js