На днях OpenAI представила обновлённое приложение Codex для Mac. Среди множества нововведений особое внимание привлекает встроенный инструмент управления macOS, позволяющий агенту взаимодействовать с несколькими приложениями одновременно. Это происходит в фоновом режиме с помощью так называемых «параллельных курсоров»: действия выполняются без переключения окон и отвлечения пользователя. По сути, эта функция — прямое воплощение технологии стартапа Sky, который позже был приобретён OpenAI вместе со всей командой разработчиков.

Под словом «буквально» я не имею в виду просто сходство. Если включить плагин управления компьютером в Codex и заглянуть в файл конфигурации config.toml, можно обнаружить строку: /Users/username/.codex/plugins/cache/openai-bundled/computer-use/1.0.750/Codex Computer Use.app/Contents/SharedSupport/SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient. Именно здесь находится исполняемый файл приложения Sky — теперь он официально стал частью Codex и отвечает за всё взаимодействие с интерфейсом.

Лучшая система управления компьютером в ИИ-агентах

Я тестировал Sky ещё до того, как команда присоединилась к OpenAI. И сейчас могу с уверенностью сказать: в Codex реализована лучшая система управления компьютером из всех, что я видел в ИИ-агентах. Она превосходит даже оригинальный Sky, который, хоть и был хорош, работал заметно медленнее — в основном из-за использования моделей Claude от Anthropic.

Сегодня даже GPT-5.4 в Codex действует быстрее, чем Sky в свои лучшие времена. А при включении скоростного режима или использовании модели GPT-5.3-Codex-Spark от Cerebras производительность достигает космических высот по сравнению с решениями 2025 года.

Как это работает: доступ внутрь интерфейса

Большинство аналогичных систем — например, в Claude или в расширении Personal Computer от Perplexity — полагаются на запись экрана и AppleScript. Они либо имитируют клики по изображению, либо вызывают osascript через терминал для выполнения базовых действий.

Codex пошёл другим путём — наследуя подход Sky. Ключ к успеху лежит в использовании функций универсального доступа (Accessibility) в macOS. Эта технология изначально создавалась для вспомогательных инструментов, таких как экранные дикторы, и позволяет стороннему ПО считывать иерархию элементов интерфейса — так называемое дерево AX.

Разработчики Codex используют эту возможность по-новому: вся структура окна превращается в контекст для языковой модели. Это означает, что агент не просто «видит» экран — он понимает, из чего состоит интерфейс.

Глубокое понимание, а не догадки

Увидеть приложение — это только половина задачи. Вторая — проанализировать дерево AX, принять решение и отдать команду. Здесь всё решает качество модели.

Технология, лежащая в основе Sky, напоминает работу UI Browser — мощного, хотя и устаревшего инструмента для анализа элементов macOS. Codex использует тот же фундамент: во время работы можно заметить, как модель GPT-5.4 анализирует дерево универсального доступа, извлечённое из приложения.

Эти фреймворки никогда не предназначались для автоматизации. Они выдают огромные объёмы текста о каждом элементе интерфейса, причём данные могут быть неструктурированными и скрыты глубоко в XML-подобной иерархии — иногда на двадцать уровней вложенности. Но именно здесь Codex проявляет себя во всей красе.

Покупка Sky стала для OpenAI гроссмейстерским ходом. Codex видит приложения «изнутри» и управляет ими с гораздо большей точностью, чем системы, полагающиеся на скриншоты и координаты кликов. При необходимости он может использовать AppleScript как резервный вариант, но основная ставка сделана на более надёжный и глубокий механизм.

Новый виртуальный курсор и фоновая работа

Одной из новинок, которой не было в Sky, стал виртуальный курсор. Команда Codex разработала для него целую систему: курсор может «вилять», показывая, что модель размышляет, выбирать нестандартные траектории и даже подстраивать цвет под обои рабочего стола. Такая внимание к деталям напоминает подход Apple.

Я тестировал Codex весь день. Хотя он пока не дотягивает по скорости до опытного пользователя, он действует с высокой точностью и, главное, в фоне. Это делает его идеальным помощником для автоматизации рутины в приложениях без API, консольных команд или полноценной поддержки AppleScript.

Практические примеры

Я дал задание: «Включи последний альбом той странной группы в масках из Квебека, название которой я вечно забываю». Оба агента — Personal Computer от Perplexity и Codex — верно определили исполнителя. Но при попытке управлять приложением «Музыка» Perplexity не смог нажать кнопку воспроизведения. Codex же уверенно открыл альбом и запустил его с помощью виртуального курсора.

Ещё одна задача: собрать сводку из Slack, Ivory и Unread. Codex использовал параллельные курсоры, прокрутил ленты, открыл посты и выдал цельный отчёт. Я мог бы сделать это сам, но автоматизация, работающая на фоне, оказалась невероятно удобной.

Ещё шесть часов Codex улучшает мой инструмент Shortcuts Playground. Он не просто генерирует код — он сам находит файлы .shortcut в Finder, устанавливает их, тестирует и выявляет ошибки. К настоящему моменту он успешно установил десятки команд, проверил каждую и теперь анализирует сбои, чтобы скорректировать инструкции.

Итог

Плагин управления компьютером в Codex — это мощный эволюционный скачок по сравнению с тем фундаментом, который я видел в Sky год назад. OpenAI довела технологию до ума и значительно расширила её возможности.

Хотелось бы, чтобы этот плагин появился и в основном клиенте ChatGPT для Mac, который до сих пор использует устаревшую интеграцию Work with Apps. Но пока я с удовольствием пользуюсь Codex, предпочитая его медлительным и менее способным чат-ботам конкурентов. И, главное, я рад, что наработки Sky попали в хорошие руки.

На днях компания OpenAI представила обновленное приложение Codex для Mac. Среди множества нововведений особняком стоит встроенный инструмент управления macOS, который позволяетCodexвзаимодействовать сразу с несколькими программами. Делает он это в фоновом режиме с помощью “параллельных курсоров”: агенты работают с приложениями сами по себе, не перетягивая окна на передний план и не отвлекая пользователя. По сути, эта функция – буквальное воплощение проекта Sky. Позже OpenAI выкупила этот стартап вместе со всей командой разработчиков.

Под словом “буквально” я не подразумеваю простое сходство. Если вы включитеплагин управления компьютером в Codex, загляните в файл конфигурацииconfig.tomlчерез любой текстовый редактор. Там вы обнаружите следующую строку:/Users/username/.codex/plugins/cache/openai-bundled/computer-use/1.0.750/Codex Computer Use.app/Contents/SharedSupport/SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClientВ этой папке и лежит исполняемый файл того самого приложения Sky, которое теперь превратилось в официальный плагин и отвечает за всю магию взаимодействия с интерфейсом в Codex.

Многие наверняка помнят, что я тестировал Sky несколько месяцев, пока команда не ушла в тень, чтобы примкнуть к OpenAI. И вот в чем дело: я нисколько не преувеличу, если скажу, что сейчас в Codex реализованалучшая система управления компьютером, которую я когда-либо видел в ИИ-агентах. Она даже превосходит то, что я пробовал в Sky год назад. Прошлый вариант был хорош, но работал ощутимо медленнее нынешнего, поскольку базировался на моделях Claude от Anthropic. Сегодня в Codex для Mac даже вальяжная GPT 5.4 действует шустрее, чем Sky в свои лучшие времена. А если включитьскоростной режим Codexили поручить простые задачи моделиGPT-5.3-Codex-Spark от Cerebras, производительность становится просто космической по сравнению с результатами 2025 года.

Как же это работает? Позвольте объяснить. Большинство подобных систем – взять хоть ту, что в приложенииClaude, или свежее расширениеPersonal Computer от Perplexity, – полагаются на связку записи экрана и AppleScript. Они либо имитируют виртуальные клики по картинке, либо выполняют базовые действия в программах, вызываяosascriptчерез терминал. Sky пошел другим путем, и Codex унаследовал этот подход. Сегодня я могу раскрыть карты и рассказать о технических деталях, о которых умолчал в прошлогоднем обзоре.

За само существование инструментов управления в Codex нам стоит благодарить команду Apple, отвечающую зауниверсальный доступ (Accessibility). Разработчики Codex задействовали продвинутую функцию, которая позволяет стороннему софту считывать иерархию элементов (так называемоедерево AX) любого открытого окна в macOS. Насколько я понимаю, изначально эта технология предназначалась для экранных дикторов и других вспомогательных инструментов, чтобы те могли взаимодействовать с программами вне зависимости от наличия в них официальной поддержки скриптов. В OpenAI же эту функцию переосмыслили: теперь Codex проглатывает всю структуру окна, превращая её в контекст для языковой модели.

А вы знаете, чтоувидетьприложение – это половина дела? Вторая половина – правильно проанализировать иерархию AX, принять решение и отдать команду. И тут качество модели решает всё.

Не у всех есть доступ к GPT-5.4, но у вас он может быть. ЧерезBotHub. Без подписки OpenAI и танцев с бубном. Просто заходите, выбираете нужную модель и запускаете свои тестовые сценарии.

По ссылке вы можете получить 300 000 бесплатных токенови приступить к работе с нейросетями!

Когда мне впервые объяснили этот принцип работы Sky, я сразу почувствовал что-то знакомое. И не ошибся: та же технология использовалась вUI Browser– великолепном, хоть и почившем приложении для инспекции визуальных элементов macOS. Этот же фундамент заложен в плагине Codex: если присмотреться к чату во время его работы, можно заметить, как 5.4 анализирует то самое “дерево универсального доступа”, которое собирается извлечь из программы.

Данные фреймворки никогда не создавались для автоматизации. Для начала, они вываливают на вастоннытекста о каждом элементе, поле ввода или кнопке в окне. Эти данные могут быть отформатированы как угодно и запрятаны в дебрях XML-подобной структуры AX так глубоко, что порой приходится опускаться на двадцать уровней вниз, чтобы найти искомую цель. Но именно здесь Codex раскрывается во всей красе. Покупка Sky стала для OpenAI гроссмейстерским ходом, и теперь понятно, почему отзывы в сети столь восторженные. Codex видит приложения изнутри и управляет ими гораздо точнее, чем модели, которые просто делают скриншоты, гадают по координатам кликов и изредка запускают AppleScript. Codex тоже умеет использовать эти методы как запасной вариант, но ставку делает на более глубокий и надежный механизм.

Но чего в Sky точно не было, так это нового виртуального курсора: команда Codex разработала для него целую систему.

Курсор может “вилять”, показывая, что модель задумалась, выбирает необычные маршруты движения и даже подстраивает свой цвет под обои рабочего стола. На ум приходит лишь одна компания, которая так же фанатична над мельчайшими деталями интерфейса.

Я тестировал Codex весь день, и, хотя он пока не может сравниться в скорости с опытным пользователем, знающим каждый уголок macOS, он чертовски хорош в управлении приложениями. Пусть он действует чуть медленнее человека, но делает это в фоновом режиме и с гораздо большей точностью, чем аналоги от Anthropic или Perplexity. Это делает его идеальным помощником для борьбы с рутиной в тех программах, где нет API, консольных команд или полноценной поддержки AppleScript. Позвольте привести пару наглядных примеров.

Сегодня я попросил Personal Computer от Perplexity и Codex “включить последний альбом той странной группы в масках из Квебека, название которой я вечно забываю”. Оба агента честно сходили в интернет и верно определили исполнителя. Но когда дошло до управления приложением “Музыка”, Perplexity спасовал – его интеграция через AppleScript не дотянула до нажатия кнопки Play. Codex же уверенно открыл нужный альбом своим виртуальным курсором и запустил воспроизведение.

Также я поручил Codex просмотреть рабочие каналы в Slack, ленту в Ivory и читалку Unread, чтобы составить краткую сводку важных новостей. Codex ловко задействовал параллельные курсоры, прокрутил ленты и прокликал посты во всех трех приложениях, выдав в итоге цельный отчет. Мог ли я сделать это сам, по очереди открывая каждое окно по старинке? Безусловно. Но как автоматизация, которая крутилась где-то на фоне, пока я разбирал почту, это было потрясающе удобно.

Еще одна задача, над которой Codex бьется уже шесть часов, – улучшение моего инструмента Shortcuts Playground. Я создаю эту систему, чтобы собирать быстрые команды в приложении “Команды” (Shortcuts), используя ИИ-агентов и обычный человеческий язык. С помощью Codex я решил не просто генерировать код, а заставить агента самого запускать процесс: находить файлы .shortcut в Finder, устанавливать их и тестировать в деле, вылавливая ошибки. Codex не только успешно установил десятки команд, но и открыл каждую, проверил результат работы и сейчас анализирует проколы, чтобы подкорректировать инструкции для моей системы.

Короче говоря: плагин управления компьютером в Codex на данный момент – это мощный эволюционный скачок того фундамента, который я заприметил еще в прошлом году, доведенный до ума и расширенный специалистами OpenAI. Мне бы хотелось, чтобы компания внедрила этот плагин и в основной клиент ChatGPT для Mac (который до сих пор ограничивается старой интеграциейWork with Apps), но пока я с удовольствием буду пользоваться Codex, предпочитая его медлительным и менее способным чат-ботам конкурентов. А главное – я искренне рад, что наработки Sky попали в хорошие руки.