AI-ассистент Андата GPT: как работает режим отладки диалогов

Андата GPT живет внутри платформы Андата и каждый день разговаривает с реальными пользователями платформы. Помогает разобраться в отчетах, подсказать следующую гипотезу, объяснить, что вообще происходит с рекламой. И периодически выдает классические "фокусы" нейросетей: уверенно придумывает детали, смягчает правду, говорит красивее, чем умеет сама платформа.

В какой-то момент я понял: просто крутить промпт уже не работает. Нужен режим, в котором любой странный ответ превращается в материал для обучения ассистента и улучшения продукта. Так в Андата появился режим отладки диалогов для Андата GPT.

Эта статья основана на выпуске моей авторской подкаст-серии про AI и маркетинг в Андата. В подкасте я показываю экран и прохожу по интерфейсу режима отладки. Здесь я по шагам разбираю, что именно там происходит, а в конце статьи дам ссылки на запись выпуска с демонстрацией.

Пример из реального диалога. Пользователь спрашивает ассистента:

«Какой креатив лучше?»

Сейчас платформа не хранит сами креативы: мы не забираем их из рекламных кабинетов, не анализируем и не можем честно сравнить один баннер с другим.

Но модель не любит говорить «не знаю» и хочет быть полезной. В итоге ассистент отвечает примерно так:

«Я посмотрел ваши кампании и считаю, что вот этот креатив эффективнее, потому что...»

Для меня это два сигнала:

1. Для продукта есть функциональный запрос - пользователи хотят сравнивать креативы.
2. Ассистента нужно доучить честно и профессионально отвечать в таких ситуациях.

Режим отладки как раз про это: не «поправить формулировку в промпте», а из конкретного диалога сделать конкретный кусочек базы знаний, на который ассистент потом опирается.

Перед тем как что-то править, я всегда иду в историю диалогов Андата GPT. Там видно, кто и о чем спрашивал, и сколько токенов потратил ассистент. Приветствие само по себе довольно длинное, поэтому если токенов примерно столько же, диалога не было. Если токенов заметно больше, значит был живой разговор. Именно с таких диалогов я обычно начинаю отладку.

Дальше все делается прямо из того самого диалога, без прыжков по настройкам.
Я открываю диалог, в котором ответ ассистента сфантазирован, и нажимаю кнопку режима отладки.

Что в этот момент происходит в платформе:

• система понимает, с каким ассистентом шла переписка
• подтягивает этого же Андата GPT в отдельное окно настройки
• открывает нужный блок, где можно доучить ассистента на основе этого диалога

Внутри ассистента у меня есть отдельная область, которую я когда-то придумал и завел под это дело, «вопросы пользователя и ответы на них». Это не теория, а живые кейсы.

Сюда я добавляю новый блок. Беру вопрос пользователя из диалога, чуть переформулирую, чтобы он был понятен в отрыве от контекста, и фиксирую его как типовую ситуацию.

Например, это может быть что-то вроде:

• заголовок блока: «Сравнение креативов между собой»
• внутри текста я сохраняю формулировку вопроса пользователя и сразу под ним даю ответ

Ответ в этом блоке уже пишет не модель, а я как владелец продукта. Объясняю, что платформа пока не делает, и предлагаю нормальный сценарий, что можно сделать сейчас.

Про креативы это выглядит так по смыслу:

• платформа прямо сейчас не хранит и не сравнивает креативы
• поэтому ассистент не может «посмотреть кампании» и выбрать лучший баннер
• зато пользователь может сам сравнить результаты креативов по понятным метрикам

Именно эта логика и фиксируется в ответе, чтобы Андата GPT перестал фантазировать на эту тему.

В режиме отладки я могу не только поправить текст, но и встроить в ответ небольшой лидген. Ассистент не просто объясняет ограничения, а предлагает следующий шаг пользователю. Формат может быть любым, важен принцип - ответ не заканчивается сухим «так мы не умеем», а помогает двигаться дальше.

После сохранения блока я обновляю ассистента и возвращаюсь к тому же диалогу. Задаю тот же вопрос и смотрю на новый ответ. Вместо выдуманного «я загрузил данные из кабинета» Андата GPT честно описывает, чего платформа пока не делает, и предлагает рабочий сценарий. Один такой диалог превращается в небольшой, но аккуратный кусочек базы знаний, на который ассистент опирается дальше.

Если править ответы разово, ассистент почти не меняется. Настоящий эффект появляется, когда отладка становится регулярной практикой:

• диалоги превращаются в список конкретных улучшений
• повторяющиеся вопросы ложатся в базу знаний
• со временем Андата GPT опирается не на догадки модели, а на накопленный опыт реальных ситуаций.

Если хотите увидеть, как это работает в интерфейсе платформы Андата, переходите к выпуску подкаста на YouTube или на RuTube, и смотрите там, где удобнее. В записи я по шагам показываю историю диалогов, включение режима отладки и добавление блока «вопрос пользователя и ответ на него».