Большие языковые модели по-прежнему работают по принципу предсказания следующего слова. Два года назад этого казалось достаточно, чтобы считать их ограниченными — их логика выглядела неуклюжей. Но сегодня LLM стали значительно умнее, и одно лишь масштабирование моделей не объясняет этот прогресс.

Как мы понимали LLM в 2024 году

Крупные языковые модели (LLM) — это бессостоятельные механизмы, предсказывающие следующий токен. Они обучаются на огромных объёмах текста и хранят знания в сжатом, странном виде.

Внутренне такая система — это сложная машина, выполняющая сопоставление с шаблонами и генерирующая поток токенов.

Если бы в 2024 году вы спросили у ChatGPT:

Как будет дешевле добраться из Лондона до Барселоны — лететь самолётом или взять билет на поезд в следующую пятницу?

— она дала бы обобщённый, но бесполезный ответ, основанный на типичных ценах и маршрутах. Ответ был бы логичным, но не актуальным.

С тех пор ничего фундаментального не изменилось — но подход к решению задач стал другим. К 2026 году ответы вышли на совершенно новый уровень.

Модели учатся говорить «Я не знаю»

Одной из главных проблем LLM в 2024 году была их уверенность в ложной информации — галлюцинации.

Решение оказалось простым: научить модели распознавать неопределённость и отвечать «я не знаю».

Теперь модели обучаются реагировать на запросы вроде:

Какая сейчас погода в Париже?

следующим образом:

Извини, у меня нет доступа к оперативным данным о погоде. Можно проверить на сайте weather.com.

Такие примеры учат модели самокритичности. Они сами начинают определять, когда информации недостаточно, и действовать соответственно.

Использование инструментов

Модели научились не просто отказываться от ответа, но и запрашивать данные с помощью инструментов.

Они генерируют специальный токен — вызов инструмента. Система перехватывает его, выполняет запрос и возвращает результат в контекст модели.

Например:

Какая сейчас погода в Париже? → [TOOL_CALL: web_search(“weather Paris”)] → (результат внедряется в контекст) Сейчас в Париже 18°C и небольшая облачность.

Для пользователя это выглядит как простой ответ. Но модель теперь использует не только внутренние знания, а и внешние источники — интернет, базы данных, API.

Если нужны вычисления, модель может сгенерировать код на Python и передать его на выполнение.

Рассуждение: цепочка мыслей

Раньше модели отвечали за один проход. Но в 2022 году появилась идея: добавить в промпт фразу «думай пошагово».

Это улучшило результаты в задачах на логику. Такой подход назвали цепочкой рассуждений (chain-of-thought prompting). Однако модель по-прежнему не проверяла свои шаги.

Автоматизация мышления

Если человек может направлять модель, проверяя каждый шаг, почему бы не поручить это другой модели?

Или одной и той же модели — пусть она играет обе роли: генератора и критика.

Это работает. Но стало ещё эффективнее, когда в игру вступило обучение с подкреплением (Reinforcement Learning, RL).

Обучение с подкреплением

После предобучения модель решает задачи в цикле. Каждый ответ оценивается. С течением времени модель учится генерировать более качественные ответы — те, что получают высокие оценки.

Так активируются веса, ведущие к правильным решениям. Модель начинает чаще использовать успешные стратегии.

Вся информация уже есть в базовой модели. Обучение с подкреплением лишь повышает вероятность её правильного использования.

Это первый реальный способ получать интеллект, пропорциональный вычислительным затратам.

Раньше использовалось RLHF — обучение с подкреплением с участием людей. Оно делало модели вежливыми, но субъективными и дорогими.

Прорывом стало RLVR — обучение с подкреплением на основе верифицируемых вознаграждений. В математике и программировании правильность ответа можно проверить автоматически. Такой подход легко масштабируется: проверить проще, чем решать.

Нативные рассуждения

После внедрения RLVR произошло неожиданное: модели начали сами разбивать задачи на шаги. Их никто этому не учил — веса сдвинулись сами, потому что такой подход приносил лучшие результаты.

Теперь, сталкиваясь со сложной задачей, модель может сгенерировать:

• «Дай я разделю это на части»
• «Дай я ещё раз проверю»
• «На первый взгляд, это неверно, дай мне ещё раз обдумать»

Это не просто цепочка рассуждений по промпту. Модель сама распознаёт сложность и включает режим глубокого анализа.

Обучение с подкреплением поощряет не просто ответ, а процесс, ведущий к правильному ответу. И этим процессом становятся рассуждения.

Вычисления во время вывода

Как только модель научилась рассуждать, сделать её умнее стало проще: дайте ей больше времени на размышление.

На этапе логического вывода — когда вы уже задали вопрос — модель может сгенерировать дополнительные токены: исследовать гипотезы, проверять логику, пересматривать шаги.

Без RL эти токены были бы шумом. С RL — это продуктивное мышление.

LLM-рассуждение — это поиск по возможным путям решения на основе изученной эвристики.

Теперь интеллект зависит не только от знаний в весах, но и от вычислительной мощности, потраченной на размышление в момент ответа.

Синергия возможностей

Модель, способная и рассуждать, и использовать инструменты, принципиально превосходит ту, что умеет только одно.

Вернёмся к вопросу о поездке из Лондона в Барселону.

Модель, использующая только инструменты, найдёт цены, но не сможет их осмысленно сравнить. Рассуждающая модель без доступа к данным оперирует вымышленными цифрами.

Но модель, сочетающая оба навыка, действует иначе:

• Определяет, какие данные нужны — цены на рейсы и поезда
• Делает несколько вызовов инструментов
• Пишет программу для анализа маршрутов, с учётом времени в пути и пересадок
• Проверяет актуальность данных, при необходимости повторяет запрос
• Формулирует обоснованный, персонализированный ответ

Рассуждения выбирают инструменты. Инструменты подкрепляют рассуждения.

Заключение

Современные LLM по-прежнему предсказывают следующее слово.

Но теперь их можно научить:

• Признавать незнание
• Использовать внешние инструменты
• Рассуждать перед ответом
• Проверять собственные выводы

Результат — гораздо более полезные и надёжные системы. Да, модели всё ещё галлюцинируют, усложняют простое и залипают в циклах. Но с 2024 года был достигнут колоссальный прогресс.

Большие языковые модели по-прежнему просто предсказывают следующее слово.

Два года назад одна лишь эта причина казалось достаточной, чтобы их отвергать — ведь именно ею обосновывали их неуклюжий вывод. Но в настоящее время большие языковые модели стали гораздо лучше, и одним лишь масштабированием этого не объяснить.

Если вы недавно знакомы с  большими языковыми моделями (LLM), то вам стоит посмотреть лекцию Карпаты“Deep Dive into LLMs”и почитать статью Ли и Тротта“LLMs Explained with a Minimum of Math and Jargon”.

Как в 2024 мы представляли себе LLM

Пожалуй, вы уже знаете, что  LLM — это не сохраняющие состояния механизмы,предсказывающие следующий токен, обучаемые на больших объёмах текста и хранящие информацию в сжатом виде (принцип сжатия очень странный).

На внутреннем уровне эта система организована как очень сложная машина, выполняющая сопоставление с шаблоном и генерирующая на выход поток токенов.

Если бы в 2024 году вы спросили ChatGPT:

Как будет дешевле добраться из Лондона до Барселоны — лететь самолётом или взять билет на поезд в следующую пятницу?

то она дала бы, в сущности, бесполезный ответ:

Лететь самолётом по этому маршруту, как правило, дешевле, чем ехать поездом.Авиакомпании эконом-класса, например, Ryanair и easyJet часто предлагают рейсы из Лондона в Барселону по стоимости в диапазоне 30–80 фунтов, если заказывать билеты заранее. Полёт длится примерно 2 часа.Напротив, если решите ехать поездом, то придётся сначала добираться на Eurostar от Лондона до Парижа, а оттуда отправиться высокоскоростным поездом до Барселоны. Это может обойтись в 120–200 фунтов, а само путешествие займёт около 10-12 часов.Таким образом, лететь, вероятно, будет дешевле и быстрее, а ехать на поезде — комфортнее, а также экологичнее.

Пусть с 2024 года ничего принципиально не изменилось, можно убедиться, что в 2026 году мы получаем ответ из «совершенно другой лиги».

Модели учатся говорить «Я не знаю»

В 2024 году одним из основных раздражающих факторов при обращении с LLM было то, как уверенно они галлюцинировали.

Проor всего проблема решалась так: научить модель говорить «я не знаю» — а потом предложить им, что делать в таких случаях.(в ретроспективе кажется, что это весьма очевидный ход)

Модели теперь обучаются распознавать паттерны, свидетельствующие о неопределённости — например, когда запрашиваешь у них данные реального времени — и в ответ на такой паттерн реагировать отказом. Например:

Какая сейчас погода в Париже? Извини, у меня нет доступа к оперативным данным о погоде. Можно проверить на сайтеweather.com.

На предоставленных примерах модели обучаются самокритичности.

Оказывается, тем самым удаётся добиться не только значительно более конструктивного общения с моделями. Более того, модель сама начинает определять, в каких случаях ей не хватает информации, и учится выходить из таких ситуаций.

Запрашиваем информацию (с применением инструментов)

Модели можно научить не просто отказывать в ответе, но и обращаться за помощью. Для этого модель должна сгенерироватьвызов инструмента, который система затем перехватит, выполнит и вновь подаст модели на вход в виде контекста.

Вернёмся к нашему примеру с погодой. Вы спрашиваете:

Какая сейчас погода в Париже?→ [TOOL_CALL: web_search(“weather Paris”)]→ (результат внедряется в контекст)Сейчас в Париже 18°C и небольшая облачность.

С точки зрения пользователя, всё это происходит неявно. Задав вопрос, вы можете увидеть индикатор“Searching the web…”(Ищу в Интернете…), а затем получите ответ.

Но с точки зрения модели ничего принципиально не изменилось. Она как генерировала токены, так и продолжает генерировать. Фокус в том, что теперь средареагируетна определённые токены, дополнительно выбирая реальные данные.

Чтобы не полагаться на внутренние знания (информация хранится в системе в сжатом виде, причём, именно в таком, как она была зафиксирована по результатам обучения), модель пользуется доступом к целому Интернету, проприетарным базам данных, либо к любому API, связанному с системой. Если ей нужно выполнять какие-то расчёты, для этого можно написать программку на Python и приказать хосту её выполнить.

Рассуждение

В 2024 году модели обычно генерировали ответы за один проход.

Но это не обязательное условие. Человеческий мозг, выдавший обучающий датасет, работает иначе. Мы продумываем задачи, подвергаем сомнению собственные допущения, а иногда можем годами размышлять над каким-то вопросом.

Первый намёк на то, что LLM способны делать что-то подобное, появился в 2022 году. Тогда исследователи показали, что, если включить в промпт подсказку «думай пошагово», то производительность модели в задачах на рассуждение возрастала. Эту технику стали называть(chain-of-thought prompting) (промптинг с цепочкой рассуждений), но модель по-прежнему работает в одиночку — никто не проверяет её шаги.

Автоматизация мышления

Чтобы эта техника приносила пользу при решении реалистичных исследовательских задач, человек может сформулировать: «думай пошагово и после каждого шага обращайся за обратной связью», а затем вести диалог с моделью в направлении желаемого результата.

Очевидно, на следующей итерации нужно убрать человека из этого цикла. Пошаговым рассуждением модели должен руководить не пользователь — пусть это делает другая модель, либо одна и та же модель играет обе роли, проверяя на прочность собственные ответы.

Выглядит работоспособно. Но на практике всё оказалось ещё интереснее, когда исследователи привнесли в эту систему “Обучение с подкреплением”(RL).

Обучение с подкреплением

(После предобучения) базовая модель получает набор задач, которые начинает решать как цикл. Всякий раз она даёт разные ответы, и каждый ответ оценивается. Спустя много итераций, модель методом проб и ошибок получает всё более качественные результаты и генерирует ответы, получающие высокую оценку, так как нужные веса в них усиливались.

Таким образом, заложенное в модель сопоставление с шаблоном постепенно работает всё качественнее. В следующий раз, когда она столкнётся со схожей задачей, те процессы, которые приводили к верному ответу, будут активироваться сильнее, тем самым повышая вероятность, что модель воспользуется успешным подходом.

Необработанная информация уже содержится в базовой модели. Благодаря обучению с подкреплением всего лишь становится гораздо вероятнее, что модель станет правильно её использовать. Вычисления задействуются для улучшения структуры информации; а именно, в систему внедряется метаинформация.

Это первый реальный способ получать интеллект в эквиваленте затрачиваемых вычислений.

Примечание: в ранних LLM обучение с подкреплением использовалось с поддержкой людей-оценщиков, судивших, какие ответы «лучше» других  (RLHF). Благодаря этому модели получались вежливыми, но субъективными и дорогими. Настоящий прорыв был достигнут с появлениемRLVR— обучения с подкреплением, применяющего верифицируемые вознаграждения. При решении задач на математику и программирование правильность полученных решений такая технология может проверять автоматически. Такой подход масштабируется, посколькуверифицировать гораздо проще, чем решать.

Нативные LLM-рассуждения

После того, как было внедрено обучение с подкреплением и верифицируемыми вознаграждениями (RLVR) произошло нечто неожиданное:модели сами начали действовать по принципу пошагового рассуждения. Никто им не подсказывал, что задачи нужно разбивать на подзадачи, но веса сдвинулись именно таким образом, так как при методологическом подходе ответы получаются в целом более правильными.

Помните идею о том, что две модели могут проверять друг друга? Здесь то же самое, но это происходит в рамках одной модели и в пределах одного отклика.

Когда сгенерированный текст выглядит как сложная задача, модель пишет: «Дай я разделю это на части». Закончив обработку подзадачи, она пишет: «Дай я ещё раз проверю». Упёршись в тупик, она реагирует так: «На первый взгляд, это неверно, дай мне ещё раз это обдумать».

Этот метод гораздо мощнее, чем цепочка рассуждений, выдаваемая в ответ на промпт — ведь модель обучается распознавать паттерны сложности, которые не под силу самостоятельно перечислить ни одному промпт-инженеру.

Обучение с подкреплением всегда нацелено на результат. В данном случае таким результатом стали рассуждения.

Вычисления во время логического вывода и рассуждения

Как только модель научилась рассуждать на основе обучения с подкреплением, оказывается, что заставить её поумнеть удивительно просто:дайте ей подумать подольше.

На этапелогического вывода— то есть, именно пока вы задаёте вопрос — модель может сгенерировать дополнительные токены, исследовать альтернативы, проследить рассуждения в обратном направлении и лишь затем дать ответ. Без обучения с подкреплением дополнительные токены с высокой вероятностью окажутся шумом, но модель, обучаемая с  подкреплением, предпочитает именно те паттерны, которые связаны с продуктивным мышлением.

Рассуждение со стороны LLM — это поиск по всем путям, которые могут вести к решению, на основе изученной эвристики.

Это компромиссы второго рода. Теперь интеллект не ограничивается тем, что было заложено в веса на этапе обучения, а дополняется тем, какую вычислительную мощность вы готовы потратить в момент формулировки вопроса.

Всё вместе

Эти возможности хорошо сочетаются. Модель, способнаякакрассуждать,так ииспользовать инструменты, фундаментально отличается от модели, которая может либо одно, либо другое.

Вернёмся к вопросу, который мы разбирали в начале этой статьи:

Как будет дешевле добраться из Лондона до Барселоны — лететь самолётом или взять билет на поезд, если я собираюсь ехать в следующую пятницу?

Мы уже видели, как бы ответила на этот вопрос бесполезная модель из 2024 года.

Модель, опирающаяся при работе лишь на инструменты, может поискать в Интернете и вернуть некоторые результаты, но не в силах их осмысленно сравнить. Рассуждающая модель может выдать блестящую аналитическую картинку, но числа в неё будут заложены «с потолка».

Если же модель обладает обеими возможностями, то она может и судить о том, какие данные её нужны, и сделать несколько вызовов к нужным инструментам, чтобы проверить цены на авиарейсы и поезда, а также написать небольшую программу. Эта программа учтёт такие факторы как длительность пути и пересадки в аэропортах, затем модель получит от программы результаты, распознает, какие поисковые результаты выглядят устаревшими, попробует ещё раз — и представит вам хорошо продуманный ответ, основанный на реальных данных.

Именно на основе рассуждений подбираются инструменты, а инструменты помогают подкрепить рассуждения.

Заключение

Большие языковые модели в настоящее время по-прежнему просто предсказывают следующее слово.

Но такой предиктор следующего слова можно научить признавать, что он может чего-то не знать. Вы можете предоставить ему доступ к инструментам. Можно научить её думать, прежде чем отвечать, либо научить её ставить под сомнения её собственные выводы.

Получающийся результат по-настоящему полезен на практике, хотя, современные модели по-прежнему иногда галлюцинируют, излишне усложняют выводы и решения, а также залипают в циклах. Тем не менее, с 2024 года был достигнут огромный прогресс.