Все говорят об ИИ-гонке — кто построит самую крупную модель, кто потратит больше на дата-центры и GPU. В центре внимания — OpenAI, Google, Microsoft, NVIDIA. Apple же в этих разговорах либо отсутствует, либо фигурирует как аутсайдер: мол, Siri устарела, ИИ-функций нет, рывка не видно.

Но, возможно, мы смотрим не туда. Apple не участвует в гонке за масштабом. Она решает другую задачу — эффективный, локальный ИИ-инференс на устройствах, которые у вас уже есть.

Проблема памяти и шин

Большинство ИИ-вычислений сегодня происходят на GPU, где данные передаются из памяти CPU в память GPU и обратно. Это медленно, энергозатратно и создаёт узкое место — как если бы вы каждый раз ездили на автобусе, чтобы перенести вещи из одного здания в другое.

Apple решила эту проблему с помощью собственных чипов серии M. Благодаря унифицированной архитектуре памяти CPU, GPU и Neural Engine используют одну и ту же память. Данные не копируются — они просто находятся рядом. Всё — в одном здании.

Neural Engine: специализация вместо универсальности

CPU универсален, GPU параллелит тысячи операций, но ИИ-инференс требует миллионы операций умножения матриц. Neural Engine оптимизирован именно под них.

В M4 он выполняет 38 триллионов операций в секунду. В M5 нейронные ускорители встроены прямо в ядра GPU. Это не универсальные вычисления — это специализированная машина для ИИ.

Энергия и стоимость: реальные преимущества

Дата-центровый GPU NVIDIA H100 потребляет более 700 ватт. Mac Studio с M4 Ultra — значительно меньше. И его можно поставить на стол.

Для непрерывных задач — автоматизация, обработка данных в реальном времени — разница в энергопотреблении быстро превращается в экономию тысяч долларов в год. M4 может использовать 400 джоулей на инференс, облачный GPU — в 10 раз больше.

Локальный ИИ: другая гонка

Apple не строит дата-центры и не тренирует гигантские модели. Но её чипы позволяют запускать модели на миллиарды параметров прямо на устройстве — без облачной инфраструктуры.

Это медленнее, чем H100, но для большинства практических задач — достаточно. И главное: это дешевле, безопаснее и доступнее.

Другая гонка, другой победитель

Обучение моделей и массовый облачный инференс останутся за дата-центрами. Но для локального развёртывания Apple создала альтернативу.

Самая мощная ИИ-инфраструктура для вашего сценария может стоять у вас на столе. Apple не проиграла ИИ-гонку — она участвует в другой. И, возможно, выигрывает ту, что важнее для реального мира.

Им не нужны свои модели или дата-центры. Им нужны только их чипы — и они уже здесь.

Все сейчас говорят об ИИ-гонке. Или об ИИ-пузыре и о том, когда он лопнет.

GPU от NVIDIA, дата-центры на миллиарды долларов, гигантские тренировочные прогоны. OpenAI, Google, Claude, Microsoft.

Весь мир технологий наблюдает, как ИИ-гиганты выясняют, кто построит модель покрупнее.

Об Apple говорят редко. А если говорят — в основном негативно. «Apple уже проиграла ИИ-гонку». Siri — посмешище. Никаких реальных ИИ-функций. Никакого реального рывка — только сделка с Google, чтобы Gemini в итоге питал Siri. Которая, конечно, снова отложена.

И всё? Серьёзно?

Apple стала неактуальной, потому что не строит кластеры из H100 и не тренирует базовые модели? Просто компания, выпускающая хорошие ноутбуки, классные планшеты и дорогие телефоны?

Думаю, мы упускаем кое-что важное. Apple не играет в ту же игру, что все остальные. Они не вливают миллиарды в ИИ, как Meta, Google, Microsoft или Amazon. Не в том же смысле.

Пока NVIDIA строила всё больше и больше — Apple строила всё меньше и меньше. И эта разница может на самом деле значить больше, чем кто-либо осознаёт.

Начнём с фундаментальной архитектурной проблемы, касающейся чипов. И NVIDIA.

Дело не в сырой вычислительной мощности. Дело в передаче данных через память. По сути — в шинах.

В традиционных компьютерных архитектурах — тех, на которых сегодня работает большинство ИИ-нагрузок, — у вас отдельные пулы памяти для CPU и GPU.

Каждый раз, когда вы запускаете запрос на инференс, данные должны физически перемещаться по шине из памяти CPU в память GPU и обратно.

Это трата энергии. И это потолок производительности, который не исправить дополнительными ядрами GPU.

Это как ездить на автобусе из здания в здание. Чтобы перенести свои вещи.

Apple решила это несколько лет назад собственными чипами. Унифицированная архитектура памяти. Разделение устранено полностью.

То есть они больше не ездят на автобусе из здания в здание. Всё — в одном здании.

Кстати, пока одни спорят, нужен ли облачный GPU или хватит локального чипа, — доступ к лучшим моделям уже есть прямо сейчас. BotHub собирает ведущие нейросети — GPT-4, Claude 3 и другие — в одном интерфейсе. Тестируйте, сравнивайте, решайте свои задачи — с любого устройства, хоть с того самого Mac на вашем столе.

Для доступа не требуется VPN, можно использовать российскую карту.

По ссылке вы можете получить 300 000 бесплатных токеновдля первых задач и приступить к работе с нейросетями прямо сейчас!

Что на самом деле означает унифицированная память

Чипы серии M размещают CPU, GPU и Neural Engine на одном кристалле с общим доступом к памяти.

Никакого копирования данных между пулами памяти. Всё читает и пишет в одну и ту же быструю унифицированную память.

Это фундаментально меняет то, что возможно на одном устройстве.

Mac Studio с чипом серии M может локально запустить довольно крупную языковую модель на несколько миллиардов параметров.

Достаточный размер для множества практических задач.

Это молниеносно быстро? Нет. Облачный инференс на H100 безусловно быстрее.

Но… для большинства реальных сценариев использования — вам действительно нужна та скорость? И во сколько она вам обходится?

Neural Engine

Большинство людей на базовом уровне понимают, что делают CPU и GPU, но о Neural Engine говорят недостаточно. А именно он — ключ к тому, почему эти чипы так хорошо работают для ИИ.

CPU — универсал. Может делать всё, но обрабатывает задачи по одной. GPU запускает тысячи простых операций параллельно. Но у ИИ-инференса очень конкретная работа: умножение матриц. Миллионы операций «умножить и сложить», снова и снова.

Neural Engine создан специально для этого. Он не пытается быть гибким. Он оптимизирован для тензорных операций. Neural Engine в M4 выполняет 38 триллионов операций в секунду. M5 встраивает нейронные ускорители непосредственно в каждое ядро GPU.

Это другой подход.

Математика

GPU NVIDIA H100 для дата-центров потребляет более 700 ватт под нагрузкой. Mac Studio с M4 Ultra?

Значительно меньше.

И его можно поставить на любой стол. Где угодно.

Если вы запускаете непрерывный инференс — edge-развёртывание, автоматизация бэк-офиса, обработка в реальном времени — эта разница в энергопотреблении быстро накапливается за месяцы.

M4 может использовать 400 джоулей на одну задачу инференса. Облачный GPU — в 10 раз больше за ту же работу. За год непрерывной эксплуатации это очень большие деньги.

Так что Apple на самом деле выиграла?

Вернёмся к исходному тезису: Apple проигрывает ИИ-гонку.

Правда? Или они решают совершенно другую задачу?

Они не построили крупнейший дата-центр. Не создали конкурента H100. Зато они помогли решить проблему инференса для edge и локального развёртывания. Построили архитектуру, где память не становится узким местом, где нейронные нагрузки — приоритет первого класса, и где модель, которая обычно требует облачной инфраструктуры, может работать локально на оборудовании, которое у вас уже есть.

ИИ-индустрия постоянно твердит: чтобы быть серьёзным игроком, нужны облачные GPU, арендованные по часам.

Чипы Apple серии M говорят: это не всегда так. Для множества реальных, а не гипотетических сценариев — реально развёрнутых систем — локальный инференс на унифицированной архитектуре памяти имеет огромный смысл. И экономически, и технически.

Другая гонка, другой победитель

Apple Silicon не заменит каждую GPU-нагрузку, разумеется.

Обучение крупных моделей по-прежнему требует массивных кластеров. Обслуживание миллионов пользователей одновременно — не этот сценарий. Дата-центры никуда не денутся.

Но для инференса Apple построила нечто иное.

Самая мощная ИИ-инфраструктура для вашего конкретного сценария, возможно, стоит у вас на столе. Это не проигрыш в гонке. Это участие в совершенно другой гонке.

Apple не обогнала NVIDIA. И не обогнала Google.

Они решили другую задачу: сделать ИИ-инференс практичным, эффективным и экономичным на стороне пользователя.

Унифицированная архитектура памяти может оказаться именно тем, что реально важно для развёртывания ИИ-систем, имеющих экономический смысл для людей и бизнеса.

Локальный ИИ. Просто и относительно недорого.

Apple не нужны собственные ИИ-модели или дата-центры для этого. Только их чипы и оборудование.