Было проведено исследование, чтобы определить, сколько токенов модели Claude тратится на вежливость и мета-комментарии. Для этого было проанализировано 500 запросов и ответов модели.

Метод исследования

Были использованы простые регэкспы, чтобы определить «мусорные» токены в ответах модели. Также было проведено ручное разметка первых 50 ответов, чтобы проверить точность регэкспов.

Результаты

Было обнаружено, что 11,3% выходных токенов уходили на вежливость и мета-комментарии. Самый большой кусок «мусора» составляли мета-комментарии про сам процесс.

Оптимизация модели

Была проведена оптимизация модели, чтобы уменьшить количество «мусорных» токенов. Для этого было добавлено три строки в system prompt. После оптимизации количество «мусорных» токенов уменьшилось до 1,8%.

Экономия

Было подсчитано, что экономия от оптимизации модели может составлять около 9,5% выходных токенов. Для сервиса с 2000 запросами в день это может составлять около 4 200 ₽ в месяц.

Вывод

Было сделано заключение, что оптимизация модели может привести к значительной экономии. Однако, необходимо учитывать специфику каждого сервиса и не удалять вежливость и мета-комментарии в живом чате.

Открыл вчера дашборд по потреблению токенов — и завис.

Смотрю на график и понимаю — что-то не сходится. Задач у ассистента за месяц было плюс-минус столько же, что и в прошлом. А токенов на выходе — больше процентов на десять. Я было решил, что это очередной клиент раскочегарился, полез в разбивку по проектам — нет, у всех понемногу.

Полез читать сами ответы модели. И первое, что бросилось в глаза — почти каждый начинается с «Конечно!», «Отличный вопрос!», «С радостью помогу!». А дальше идёт ещё полтора-два предложения про то, как модельсобираетсяответить. И только потом — собственно ответ.

Я подумал: а сколько я за это плачу?

Простой эксперимент: 500 запросов, один регэксп

Решил не гадать и замерить.

Взял 500 типовых запросов — имитация того, что у нас крутится в проде. Классификация обращений, извлечение полей из документов, ответы на вопросы по регламенту, генерация краткого саммари письма. Прогнал черезclaude-sonnet-4-5на одинаковых настройках —temperature=0.2, один и тот же system prompt, который у нас в работе (с поправкой на домен — обезличенный).

И написал скрипт на 30 строк, который парсит выходы модели и считает «мусорные» токены — вступления, похвалы, мета-комментарии про процесс, финальные «Если потребуется уточнение — дайте знать!».

Регэкспы простые, без фанатизма:

Плюс руками разметил первые 50 ответов — на случай, если регэкспы что-то упустят. Потом померил — регэкспы ловили 94% «мусора», ручная разметка добавляла ещё 6%. Погрешность в нашу пользу — реальные цифры чуть больше моих.

Что получилось

На 500 запросах —11,3% выходных токенов уходили на вежливость и мета-комментарии.

Разбивка по типам:

Что именно

Доля от «мусора»

Вступительные фразы («Конечно!», «Отлично!»)

Мета-комментарий «сейчас я…»

Финальные «надеюсь, помогло»

Переформулировка вопроса в начале

Самый жирный кусок — не приветствия, а именномета-комментарий про сам процесс. Модель как будто подробно рассказывает, как онасобираетсяотвечать, прежде чем ответить. Для чата с пользователем это полезно — он чувствует, что «думают». Для бэкэнд-интеграции, где ответ парсится в JSON — это выброшенные деньги.

Поставил честный тест: взял 100 ответов, руками вырезал весь мусор — оставил только то, за чем ходили.Смысл ответа не терялся ни в одном случае.Ноль.

Три строки, которые это убрали

Подтюнил system prompt. Не переписывал — добавил три строки. Вот что стояло до:

Прогнал те же 500 запросов второй раз.

«Мусора» осталось 1,8%.Экономия —9,5% выходных токенов.

Сколько это в деньгах

Я не буду делать вид, что посчитал месячный счёт до копейки — у нас несколько проектов, несколько моделей, расчёт сложный. Но на уровне прикидки:

Если у вас сервис на 2000 запросов в день и средний ответ — 400 токенов на Claude Sonnet 4.5, то 9,5% экономии за месяц — этооколо 4 200 ₽.Если запросов 20 000 в день — 42 000 ₽. И это не считая того, что контекст на следующем шаге короче — значит дешевле ещё и вход.

Для нашего основного проекта это получилось4 730 ₽ за первый же месяцпосле правки. Скрипт — 30 строк. Правка промпта — пять минут. Рентабельность вне конкуренции.

Что сломалось

Честно скажу — не всё прошло гладко.

Два кейса, где я откатил правку:

Первый — клиентский чат.Там «Конечно!» и «Надеюсь, помогло» — часть UX. Без них ответ выглядел сухим и чуть ли не грубым. Пользователи стали писать в фидбек, что бот «какой-то злой». Вернул вежливость — метрика удовлетворённости отползла обратно.

Второй — цепочка с инструментами.У Claude есть привычка в начале описывать, что он собирается делать с tool use. Я это отрезал — и модель начала в половине случаев просто вызывать не тот инструмент. Как будто «проговаривание» помогало ей самой выстроить план. Вернул — стало лучше.

Вывод простой:режь мусор там, где ответ парсит машина, не человек.В живом чате — оставляй.

Что дальше

Следующий заход — то же самое, но по входящим токенам. Там свой зоопарк — пользователи пишут «Здравствуйте, подскажите пожалуйста…» и три строки про погоду. Это всё едет в контекст модели и тоже стоит денег. У меня уже есть гипотеза, что если чистить вход тем же регэкспом, до модели даже доходит, — экономится ещё процентов пять.

Но это уже другая статья.