Почему нейросеть восемь раз подряд генерирует одно и то же — и как вытащить её из этой петли одной строкой в системном промпте.

Вы просите Claude придумать заголовки для статьи. Читаете — и понимаете, что это один и тот же заголовок в десяти вариантах. Меняются слова, порядок, знаки препинания, но суть остаётся прежней.

Пишете: «сделай разнообразнее». Становится чуть лучше — появляются заголовки с цифрами, вопросами, кейсами. Но при ближайшем рассмотрении все они вращаются вокруг двух-трёх одних и тех же тем. Разнообразие получается чисто внешним.

Если вас это раздражает — дело не в ваших промптах. Это системная особенность всех современных LLM. Команда Sakana AI опубликовала исследование, в котором объяснила причину и предложила простое решение — одну строку в системном промпте. Вот суть.

Откуда берётся однообразие

Это знакомо каждому, кто пытался получить от ИИ больше трёх вариантов подряд. К пятому вы уже начинаете мысленно кластеризовать ответы — и видите, что за восемью «разными» идеями скрываются две-три базовые зацепки, просто переодетые в разные формулировки.

У LLM нет настоящей случайности. Когда вы просите «сгенерировать случайный вариант», модель не бросает кубик — она следует по наиболее вероятному пути рассуждения. Восемь прогонов с одним промптом дают восемь вариаций одной и той же внутренней логики, отличающихся лишь конечной упаковкой.

Sakana проверили это на простой задаче: «подбрось честную монетку 100 раз». Модель знает, что результат должен быть близок к 50/50. Но на практике frontier-модели дают смещение до 70/30 и сильнее. То есть модель понимает правильное распределение, но не умеет из него сэмплировать. Это две разные способности — и вторая у LLM развита слабо.

В творческих задачах это проявляется как «восемь обёрток одной мысли». По умолчанию модель схлопывает варианты к модальному ответу — самому вероятному. Просите басню — получаете вариации про черепаху и зайца. Просите заголовок — получаете «Как X стать Y: полный гайд» в восьми формах.

Почему «будь разнообразнее» не помогает

Стандартная реакция — усилить промпт: «сделай максимально разные варианты», «используй разные структуры», «покажи разные углы». Это даёт небольшой прирост, но косметический: модель понимает, что нужно варьировать форму, и подставляет разные шаблоны — вопрос, цифру, провокацию, личную историю. Форматы расходятся, а смысловые оси остаются теми же.

Второй способ — увеличить температуру.

Это параметр генерации, который влияет на «смелость» выбора следующего токена:

• при температуре 0 модель всегда выбирает самый вероятный токен;
• при 1 — сэмплирует из распределения;
• при 2 — повышает шансы на менее вероятные варианты.

Кажется, что высокая температура должна давать больше разнообразия. Но в исследовании Sakana показано: high-temperature sampling уступает SSoT. Проблема в том, что температура влияет только на выбор слов, а не на траекторию рассуждения. Модель всё так же идёт по наиболее вероятному пути — просто выражает его чуть разной лексикой.

Это не «креативность», а подкрутка генератора синонимов. Рассуждение одно, слова плавают.

И докрутка промпта, и температура работают на уровне слов. А проблема глубже — в том, как модель строит саму цепочку мыслей. Вы просите: «сверни налево», но не даёте механизма, чтобы она это сделала.

Большая часть того, что называют «prompt engineering», — это бесконечные уговоры: «пожалуйста, будь креативнее». Это не инженерия. Это молитва на закрытую дверь.

Что такое SSoT и как это работает

SSoT означает String Seed of Thought. Идея — встроить источник случайности прямо в процесс рассуждения. Модель должна использовать его для внутренних решений.

Промпт выглядит так: перед ответом сгенерируй случайную строку в тегах <random_string>, затем в тегах <thinking> используй её как seed для решений, которые обычно принимаются автоматически, и только потом выдай результат в <answer>.

Модель, получив случайную строку, сама придумывает, как её использовать. Как показано в исследовании, она часто берёт ASCII-коды символов и применяет к ним modulo или rolling hash. На каждой развилке это даёт разный результат — разные строки ведут к разным веткам рассуждений.

Модель не становится умнее. Она просто перестаёт схлопывать всё к самому вероятному пути.

Как это меняет работу с ИИ

SSoT работает как антидот к регрессии к среднему. Если вы используете ИИ для генерации идей, заголовков, гипотез или вариантов фич — SSoT помогает увидеть не только самые очевидные решения. Для задач с одним правильным ответом он не нужен и может навредить: он заточен под задачи с множеством валидных вариантов.

Типичный сценарий: вы генерируете гипотезы, а к десятому прогону понимаете, что это одни и те же пять идей в разных словах. Обычно в этот момент вы закрываете чат и уходите думать сами — потому что ИИ «исчерпал себя». На самом деле он не исчерпал. Он застрял в одной ветке. SSoT помогает вытащить его оттуда — без смены модели или задачи.

Почему нейросеть думает одинаково восемь раз подряд — и как вытащить её из этой петли одной строчкой в системном промпте

Ты просишь Claude придумать несколько заголовков для статьи . Читаешь — и понимаешь, что это один заголовок в десяти обёртках. Меняются слова, порядок, двоеточия, суть — одна.

Пишешь «сделай разнообразнее», становится чуть лучше: появляются варианты с цифрами, с вопросом, с кейсом. Но если присмотреться, тематически всё крутится вокруг тех же двух-трёх зацепок. Разнообразие получилось декоративным.

Если тебя это тоже бесит — дело не в том, что ты плохо пишешь промпты. Это свойство всех frontier-LLM, иSakana AI опубликовала статью,где объяснила причину и предложила решение в одну строчку в системном промпте. От меня — самая суть!

Откуда берётся однообразие

Это ощущение знакомо любому, кто пытался выжать из AI больше трёх вариантов подряд. К пятому ты начинаешь их мысленно кластеризовать — и видишь, что в восьми якобы «разных» идеях сидят две-три зацепки, переодетые в разную одежду.

У LLM нет настоящей случайности внутри. Когда ты просишь её «сгенерировать случайный вариант», она не бросает кубик — она идёт по наиболее вероятному пути рассуждения. При восьми прогонах на одном промпте ты получаешь восемь вариаций одной и той же внутренней логики, слегка отличающихся финальными формулировками.

Sakana проверили это на самой простой задаче: «подбрось честную монетку 100 раз». Модель понимает, что распределение должно быть 50/50. На практике у frontier-моделей оно уезжает к 70/30 и сильнее. То есть модельзнаетправильное распределение, но не умеет из него сэмплить — это две разные способности, и вторая у LLM развита плохо.

В творческих задачах это превращается в то самое «восемь обёрток одной мысли». Модель по умолчанию схлопывает разнообразие к модальному ответу — наиболее вероятному. Просишь басню — получаешь вариации про черепаху и зайца. Просишь заголовок — получаешь «Как X стать Y: полный гайд» в восьми формах.

Почему просьба «быть разнообразнее» не работает

Стандартная реакция на эту проблему — докрутить промпт. «Сделай максимально разные варианты», «используй разные структуры», «покажи разные углы». И это даёт прирост — но косметический: модель понимает, что нужно варьировать форму, и начинает подставлять разные шаблоны — вопрос, цифру, провокацию, личную историю. Форматы заголовков при этом расходятся, а смысловые оси остаются теми же.

Второй стандартный ход — поднять температуру.

Это параметр генерации, который управляет тем, насколько «смело» модель выбирает следующий токен:

— при температуре 0 она всегда берёт самый вероятный,

— при 1 сэмплит из распределения как есть,

— при 2 хвосты поднимаются и шанс вытащить менее очевидный вариант растёт.

Кажется логичным: больше температура — больше разнообразия.

В статье Sakana это сравнение есть: high-temperature sampling всё равно проигрывает SSoT. Причина в том, что температура размывает выбор финального токена, но не меняет траекторию рассуждения. Модель всё так же идёт по наиболее вероятному пути мысли (не будем спорить, можно ли назвать рассуждение — мыслью) — просто выбирает чуть разные слова для его выражения. Крутить температуру — это не «добавить креативности», а подкрутить генератор синонимов. Рассуждение одно, лексика плавает.

Обе попытки — и докрутка промпта, и температура — работают на уровне слов и токенов. А проблема ниже: в том, как модель вообще выстраивает траекторию рассуждения. Ты говоришь ей «сверни налево», но не даёшь никаких поводов сворачивать — нет механизма, который бы заставил её это сделать.

Большая часть того, что сегодня продаётся как «prompt engineering», — это бесконечные уговоры модели словами. Пожалуйста, подумай шире. Пожалуйста, не повторяйся. Пожалуйста, будь креативнее. Это не инженерия — это заклинание, и работает оно примерно с той же эффективностью, как молитва на закрытую дверь.

Что предлагает SSoT

SSoT расшифровывается как String Seed of Thought. Идея в том, чтобы встроить источник случайности прямо в рассуждение модели — и заставить её использовать эту случайность для внутренних решений.

Промпт выглядит так: перед ответом сгенерируй случайную строку в тегах, потом в тегахиспользуй её как seed для решений, которые обычно делаются «на автомате», и только потом выдай результат в.

Как выглядит промт от автров статьи:

Работает это потому, что модель, получив случайную строку, сама додумывается превратить её в источник решений. В статье показано, что она обычно берёт ASCII-коды символов и применяет к ним modulo или rolling hash, чтобы на каждой развилке рассуждения получать разный исход: разные строки дают разные хеши и разные ветки. Дело не в том, что модель вдруг стала умнее — она просто перестала схлопывать своё знание к самому вероятному пути.

Как использовал я:

Что это меняет в работе с AI

Это работает как антидот к регрессии к среднему. Если ты используешь AI генерации идей, заголовков, гипотез, вариантов фич, — SSoT даёт шанс увидеть не только самые очевидные ветки решения. Для задач с одним правильным ответом SSoT не нужен и может мешать: он заточен под задачи, где валидных вариантов несколько.

Самый частый сценарий, где это вытаскивает: ты сидишь с нейросетью и крутишь гипотезы, а к десятому прогону понимаешь, что всё это одни и те же пять идей в разных формулировках. Обычно в такой момент закрываешь чат и идёшь думать сам, потому что AI «исчерпал себя», — хотя на самом деле он не исчерпал, а застрял в модальной ветке, и SSoT помогает вытащить его оттуда без смены модели и задачи.