ОпенЭйАй (OpenAI) бросает все силы на создание полностью автоматизированного исследователя

OpenAI переориентирует свои исследовательские усилия и направляет свои ресурсы на решение новой грандиозной задачи. Фирма из Сан-Франциско поставила перед собой цель создать то, что она называет ИИ-исследователем, — полностью автоматизированную систему на основе агентов, которая сможет самостоятельно решать большие и сложные проблемы. OpenAI заявляет, что новая цель станет ее «полярной звездой» на следующие несколько лет, объединяя множество направлений исследований, включая работу над моделями рассуждения, агентами и интерпретируемостью.

Есть даже график. OpenAI планирует к сентябрю создать «автономного стажера-исследователя ИИ» — систему, которая сможет самостоятельно решать небольшое количество конкретных исследовательских задач. Стажер по искусственному интеллекту станет предшественником полностью автоматизированной многоагентной исследовательской системы, которую компания планирует представить в 2028 году. Этот исследователь искусственного интеллекта (по словам OpenAI) сможет решать проблемы, которые слишком велики или сложны для людей.

Эти задачи могут быть связаны с математикой и физикой (например, поиск новых доказательств или гипотез) или с науками о жизни, такими как биология и химия, или даже с дилеммами бизнеса и политики. Теоретически с помощью такого инструмента можно решить любую проблему, которую можно сформулировать в тексте, коде или набросках на доске, что охватывает очень многое.

OpenAI уже много лет определяет повестку дня в индустрии искусственного интеллекта. Его раннее доминирование с большими языковыми моделями сформировало технологию, которую сотни миллионов людей используют каждый день. Но теперь он сталкивается с жесткой конкуренцией со стороны конкурирующих производителей моделей, таких как Anthropic и Google DeepMind. То, что OpenAI решит построить дальше, имеет значение — как для самой компании, так и для будущего ИИ.

Большая часть этого решения принимается Якубом Пахоцким, главным научным сотрудником OpenAI. Наряду с главным научным сотрудником Марком Ченом Пачоки является одним из двух людей, ответственных за постановку долгосрочных исследовательских целей компании. Пачоки сыграл ключевую роль в разработке как GPT-4, революционной программы LLM, выпущенной в 2023 году, так и так называемых моделей рассуждения — технологии, которая впервые появилась в 2024 году и теперь лежит в основе всех основных чат-ботов и агентных систем.

В эксклюзивном интервью на этой неделе Пачоцкий рассказал мне о новой грандиозной задаче OpenAI. «Я думаю, что мы приближаемся к моменту, когда у нас появятся модели, способные работать неограниченно и согласованно, как это делают люди», — говорит он. "Конечно, по-прежнему нужны люди, отвечающие за задачу и определяющие цели. Но я думаю, что мы дойдем до того момента, когда в центре обработки данных появится целая исследовательская лаборатория".

Такие громкие заявления не новы. Спасение мира путем решения его сложнейших проблем — заявленная миссия всех ведущих компаний, занимающихся искусственным интеллектом. Демис Хассабис рассказал мне еще в 2022 году, что именно поэтому он основал DeepMind. Генеральный директор Anthropic Дарио Амодей говорит, что он создает эквивалент страны гениев в центре обработки данных. Босс Пачоки, Сэм Альтман, хочет вылечить рак. Но Пачоки говорит, что у OpenAI теперь есть все, что ему нужно для достижения этой цели.

В январе OpenAI выпустила Codex, приложение на основе агентов, которое может на лету запускать код для выполнения задач на вашем компьютере. Он может анализировать документы, создавать диаграммы, составлять ежедневный дайджест вашего почтового ящика и социальных сетей и многое другое. OpenAI утверждает, что большая часть ее технического персонала теперь использует Кодекс в своей работе. «Вы можете рассматривать Кодекс как очень раннюю версию ИИ-исследователя», — говорит Пачоцки: «Я ожидаю, что Кодекс станет фундаментально лучше».

Ключевым моментом является создание системы, которая сможет работать в течение более длительных периодов времени при меньшем человеческом руководстве. «Что мы действительно ищем в качестве автоматизированного стажера-исследователя, так это систему, с помощью которой можно делегировать задачи, на которые у человека уйдет несколько дней», — говорит Пачоцки.

«Многие люди воодушевлены созданием систем, способных проводить более длительные научные исследования», — говорит Дуг Дауни, научный сотрудник Института ИИ Аллена, не связанный с OpenAI. "Я думаю, что это во многом обусловлено успехом этих агентов кодирования. Тот факт, что вы можете делегировать весьма существенные задачи по кодированию таким инструментам, как Кодекс, невероятно полезен и невероятно впечатляет. И это поднимает вопрос: можем ли мы делать подобные вещи вне кодирования, в более широких областях науки?"

Для Пачоцкого это однозначное «да». На самом деле, он думает, что это просто вопрос продвижения по пути, по которому мы уже идем. По его словам, простое повышение универсальных возможностей также приводит к тому, что модели работают дольше без посторонней помощи. Он указывает на переход от GPT-3 2020 года к GPT-4 2023 года, двух предыдущих моделей OpenAI. По его словам, GPT-4 мог работать над проблемой гораздо дольше, чем его предшественник, даже без специальной подготовки.

Так называемые модели рассуждения принесли еще один удар. Обучение LLM решать проблемы шаг за шагом, возвращаясь назад, когда они допустили ошибку или зашли в тупик, также позволило моделям лучше работать в течение более длительных периодов времени. И Пачоки убежден, что модели рассуждения OpenAI будут продолжать совершенствоваться.

Но OpenAI также обучает свои системы работать самостоятельно дольше, предоставляя им конкретные образцы сложных задач, таких как сложные головоломки, взятые из соревнований по математике и программированию, которые заставляют модели учиться делать такие вещи, как отслеживание очень больших фрагментов текста и разделение проблем на несколько подзадач (а затем управление ими).

Цель не в том, чтобы создавать модели, которые просто выигрывают математические соревнования. «Это позволит вам доказать, что технология работает, прежде чем подключить ее к реальному миру», — говорит Пачоцки. "Если бы мы действительно захотели, мы могли бы создать потрясающего автоматизированного математика, у нас есть все инструменты, и я думаю, что это было бы относительно легко. Но это не то, что мы собираемся сделать приоритетом сейчас, потому что, вы знаете, в тот момент, когда вы верите, что можете это сделать, есть гораздо более срочные дела".

«Сейчас мы гораздо больше сосредоточены на исследованиях, которые актуальны в реальном мире», — добавляет он.

Прямо сейчас это означает, что Кодекс (и подобные ему инструменты) могут делать с кодированием и пытаться применить это к решению проблем в целом. «Происходят большие перемены, особенно в программировании», — говорит он. "Наша работа теперь совершенно другая, чем даже год назад. Никто больше не редактирует код постоянно. Вместо этого вы управляете группой агентов Кодекса". Если Кодекс может решить проблемы кодирования (аргументируется), он может решить любую проблему.

Линия всегда идет вверх

Это правда, что за последние несколько месяцев OpenAI добился нескольких замечательных успехов. Исследователи использовали GPT-5 (LLM, лежащий в основе Кодекса), чтобы найти новые решения ряда нерешенных математических задач и преодолеть очевидные тупики в ряде головоломок по биологии, химии и физике.

«Просто глядя на эти модели, выдвигающие идеи, на которые уйдет как минимум большая часть докторских недель, я ожидаю, что в ближайшем будущем мы увидим гораздо большее ускорение благодаря этой технологии», — говорит Пачоцкий.

Но Пачоцкий признает, что дело еще не решено. Он также понимает, почему некоторые люди до сих пор сомневаются в том, насколько на самом деле меняет правила игры эта технология. Он считает, что это зависит от того, как людям нравится работать и что им нужно делать. «Я могу поверить, что некоторые люди пока не находят это очень полезным», — говорит он.

Он рассказывает мне, что год назад сам даже не использовал автозаполнение — самую базовую версию технологии генеративного кодирования. «Я очень педантичен в отношении своего кода», — говорит он. «Мне нравится вводить все это вручную в vim, если я могу с этим помочь». (Vim — это текстовый редактор, любимый многими опытными программистами, с которым вы взаимодействуете с помощью десятков сочетаний клавиш вместо мыши.)

Но ситуация изменилась, когда он увидел, на что способны новейшие модели. Он по-прежнему не будет передавать сложные дизайнерские задачи, но это экономит время, когда он просто хочет опробовать несколько идей. «Я могу позволить ему проводить эксперименты на выходных, на кодирование которых раньше у меня уходило около недели», — говорит он.

«Я не думаю, что это тот уровень, на котором я бы просто позволил ему взять бразды правления в свои руки и спроектировать все это», — добавляет он. «Но как только вы увидите, что он делает что-то, на что уйдет неделя, я имею в виду, что с этим трудно спорить».

План игры Пачоки состоит в том, чтобы усилить существующие возможности решения проблем, которыми сейчас обладают такие инструменты, как Кодекс, и применить их в науке.

Дауни соглашается, что идея автоматизированного исследователя очень крутая: «Было бы здорово, если бы мы могли вернуться завтра утром и увидеть, что агент проделал большую работу и есть новые результаты, которые мы можем изучить», — говорит он.

Но он предупреждает, что создание такой системы может быть сложнее, чем думает Пачоцкий. Прошлым летом Дауни и его коллеги протестировали несколько высококлассных программ магистратуры по ряду научных задач. Последняя модель OpenAI, GPT-5, вышла на первое место, но все же допустила множество ошибок.

«Если вам приходится объединять задачи вместе, шансы на то, что вы выполните несколько из них подряд, как правило, снижаются», — говорит он. Дауни признает, что дела идут быстро, и он не тестировал последние версии GPT-5 (OpenAI выпустила GPT-5.4 две недели назад). «Так что эти результаты, возможно, уже устарели», — говорит он.

Серьезные вопросы без ответа

Я спрашиваю Пачоцки о рисках, которые могут возникнуть при использовании системы, способной самостоятельно решать большие и сложные проблемы без особого человеческого контроля. Пачоки говорит, что люди в OpenAI постоянно говорят об этих рисках.

«Если вы верите, что ИИ собирается существенно ускорить исследования, в том числе исследования в области ИИ, это большое изменение в мире, это очень важно», — говорит он. "И это вызывает ряд серьезных вопросов, на которые нет ответа. Если он такой умный и способный, если он может запустить целую исследовательскую программу, что, если он сделает что-то плохое?"

По мнению Пачоцкого, это может произойти по-разному. Система может сойти с рельсов. Его могут взломать. Или он может просто неправильно понять инструкции.

Лучший метод, который OpenAI сейчас имеет для решения этих проблем, — это научить свои модели рассуждения делиться подробностями о том, что они делают во время работы. Такой подход к отслеживанию LLM известен как мониторинг цепочки мыслей.

Короче говоря, LLM обучены делать заметки о том, что они делают, в своего рода блокноте по мере выполнения задач. Затем исследователи могут использовать эти записи, чтобы убедиться, что модель ведет себя так, как ожидалось. Вчера OpenAI опубликовала новые подробности о том, как она использует внутренний мониторинг цепочки мыслей для изучения Кодекса.

«Как только мы доберемся до систем, работающих в основном автономно в течение длительного времени в большом центре обработки данных, я думаю, что это станет тем, от чего мы действительно будем зависеть», — говорит Пачоцки.

Идея заключалась бы в том, чтобы отслеживать блокноты исследователя ИИ с помощью других LLM и выявлять нежелательное поведение до того, как оно станет проблемой, а не предотвращать такое плохое поведение вообще. LLM недостаточно изучены, чтобы полностью их контролировать.

«Я думаю, пройдет много времени, прежде чем мы действительно сможем сказать: «ОК, эта проблема решена», — говорит он. «Пока вы по-настоящему доверяете системам, вам определенно нужны ограничения». Пачоцкий считает, что очень мощные модели следует размещать в «песочницах», отрезанных от всего, что они могут сломать или использовать во вред.

Инструменты искусственного интеллекта уже использовались для создания новых кибератак. Некоторые опасаются, что их будут использовать для создания синтетических патогенов, которые можно будет использовать в качестве биологического оружия. Сюда можно вставить любое количество страшилок о злых учёных. «Я определенно думаю, что мы можем представить себе тревожные сценарии», — говорит Пачоцки.

«Это будет очень странная вещь, это чрезвычайно концентрированная сила, в некотором смысле беспрецедентная», — говорит Пачоцки. "Представьте, что вы попадаете в мир, где у вас есть центр обработки данных, который может выполнять всю работу, которую могут сделать OpenAI или Google. То, что раньше требовало больших человеческих организаций, теперь будет выполняться парой человек".

«Я думаю, что это большая проблема для правительств, — добавляет он.

И все же некоторые люди сказали бы, что правительства являются частью проблемы. Например, правительство США хочет использовать ИИ на поле боя. Недавняя стычка между Anthropic и Пентагоном показала, что в обществе мало согласия относительно того, где мы проводим красные линии в отношении того, как следует и не следует использовать эту технологию, не говоря уже о том, кто должен их проводить. Сразу после этого спора OpenAI выступила за подписание соглашения с Пентагоном вместо своего конкурента. Ситуация остается мрачной.

Я подталкиваю Пачоки к этому. Действительно ли он доверяет другим людям разобраться в этом или он, как ключевой архитектор будущего, чувствует личную ответственность? «Я чувствую личную ответственность», — говорит он. "Но я не думаю, что эту проблему можно решить с помощью OpenAI в одиночку, продвигая свои технологии определенным образом или разрабатывая свои продукты определенным образом. Нам определенно потребуется активное участие со стороны политиков".

Читать оригинал