Мы эволюционировали в линейном мире. Если вы идете час, вы проходит определенное расстояние. Идите два часа и вы проходит расстояние, вдвое большее. Этот инстинкт хорошо послужил нам на саванне. Но он катастрофически терпит неудачу, когда сталкивается с ИИ и основными экспоненциальными тенденциями в его основе.

Экспоненциальный рост

С момента, когда я начал работать над ИИ в 2010 году, количество тренировочных данных, используемых в передовых моделях ИИ, увеличилось в 1 триллион раз — с примерно 10¹⁴ операций с плавающей запятой (основной единицы вычислений) для ранних систем до более 10²⁶ операций с плавающей запятой для самых крупных моделей сегодня. Это взрыв. Все остальное в ИИ следует из этого факта.

Технологические достижения

Скептики постоянно предсказывают препятствия. И они постоянно ошибаются перед лицом этого эпического поколенческого роста вычислительной мощности. Часто они указывают на то, что закон Мура замедляется. Они также упоминают нехватку данных или ограничения на энергию.

Но когда вы рассматриваете объединенные силы, которые движут этой революцией, экспоненциальная тенденция кажется довольно предсказуемой. Чтобы понять, почему, стоит взглянуть на сложную и быстро меняющуюся реальность под заголовками.

Революция в вычислениях

Представьте себе обучение ИИ как комнату, полную людей, работающих на калькуляторах. На протяжении многих лет добавление вычислительной мощности означало добавление больше людей с калькуляторами в эту комнату. Большую часть времени эти работники сидели без дела, постукивая пальцами по столам, ожидая, пока придут числа для их следующего расчета. Каждая пауза была растраченным потенциалом. Сегодняшняя революция идет дальше, чем просто лучшие калькуляторы (хотя она и обеспечивает их); это на самом деле о том, чтобы обеспечить, чтобы все эти калькуляторы никогда не останавливались и работали вместе как одно целое.

Современные технологии

Три достижения сейчас сходятся, чтобы сделать это возможным. Во-первых, основные калькуляторы стали быстрее. Чипы NVIDIA обеспечили восьмикратное увеличение сырой производительности за последние шесть лет — с 312 терафлопс в 2020 году до 2 500 терафлопс сегодня. Наша собственная плата Maia 200, запущенная в январе, обеспечивает на 30% лучшую производительность за доллар, чем любое другое оборудование в нашем флоте.

Революция в программном обеспечении

Исследования компании Epoch AI показывают, что количество вычислений, необходимое для достижения фиксированного уровня производительности, уменьшается примерно вдвое каждые восемь месяцев, намного быстрее, чем традиционное удвоение закона Мура каждые 18-24 месяца. Стоимость обслуживания некоторых недавних моделей рухнула в 900 раз на ежегодной основе. ИИ становится радикально дешевле в развертывании.

Будущие перспективы

Числа для ближайшего будущего не менее поразительны. Рассмотрите, что ведущие лаборатории увеличивают свою мощность почти в 4 раза ежегодно. С 2020 года вычислительная мощность, используемая для обучения передовых моделей, увеличилась в 5 раз каждый год. Глобальные вычисления, связанные с ИИ, должны достичь 100 миллионов эквивалентов H100 к 2027 году, что представляет собой десятикратное увеличение за три года.

Перспективы развития ИИ

Все это вместе означает, что мы смотрим на что-то вроде еще 1 000-кратного увеличения эффективной вычислительной мощности к концу 2028 года. Возможно, что к 2030 году мы добавим еще 200 гигаватт вычислительной мощности в сеть каждый год — что сопоставимо с пиковым энергопотреблением Великобритании, Франции, Германии и Италии вместе взятых.

Заключение

Что дает нам все это? Я считаю, что это будет стимулировать переход от чат-ботов к почти человеческим агентам — полуавтономным системам, способным писать код в течение дней, выполнять проекты, продолжающиеся неделями и месяцами, делать звонки, вести переговоры, управлять логистикой. Забудьте о базовых помощниках, которые отвечают на вопросы. Думайте о командах ИИ-работников, которые обсуждают, сотрудничают и выполняют. Сейчас мы только в предгорьях этого перехода, и последствия распространяются далеко за пределы технологий. Каждая отрасль, построенная на основе когнитивной работы, будет преобразована.

Очевидным ограничением здесь является энергия. Один стеллаж ИИ размером с холодильник потребляет 120 киловатт, что эквивалентно 100 домам. Но этот голод сталкивается с другой экспонентой: солнечные затраты уменьшились в 100 раз за 50 лет; цены на батареи упали на 97% за три десятилетия. Есть путь к чистой масштабируемости, который становится видимым.

Капитал развернут. Инженерия обеспечивает результат. Кластеры стоимостью 100 миллиардов долларов, 10-гигаваттные мощности, складские суперкомпьютеры... все это больше не является научной фантастикой. Сейчас начинается строительство этих проектов по всей территории США и мира. В результате мы движемся к истинному когнитивному изобилию. В лаборатории суперинтеллекта Microsoft AI это тот мир, для которого мы планируем и строим.

Скептики, привыкшие к линейному миру, будут продолжать предсказывать снижение доходности. Они будут продолжать удивляться. Взрыв вычислительной мощности — это технологическая история нашего времени, и она только начинается.

We evolved for a linear world. If you walk for an hour, you cover a certain distance. Walk for two hours and you cover double that distance. This intuition served us well on the savannah. But it catastrophically fails when confronting AI and the core exponential trends at its heart.

From the time I began work on AI in 2010 to now, the amount of training data that goes into frontier AI models has grown by a staggering 1 trillion times—from roughly 10¹⁴ flops (floating-point operations‚ the core unit of computation) for early systems to over 10²⁶ flops for today’s largest models. This is an explosion. Everything else in AI follows from this fact.

The skeptics keep predicting walls. And they keep being wrong in the face of this epic generational compute ramp. Often, they point out that Moore’s Law is slowing. They also mention a lack of data, or they cite limitations on energy.

But when you look at the combined forces driving this revolution, the exponential trend seems quite predictable. To understand why, it’s worth looking at the complex and fast-moving reality beneath the headlines.

Think of AI training as a room full of people working calculators. For years, adding computational power meant adding more people with calculators to that room. Much of the time those workers sat idle, drumming their fingers on desks, waiting for the numbers to come through for their next calculation. Every pause was wasted potential. Today’s revolution goes beyond more and better calculators (although it delivers those); it is actually about ensuring that all those calculators never stop, and that they work together as one.

Three advances are now converging to enable this. First, the basic calculators got faster. Nvidia’s chips have delivered an eightfold increase in raw performance in just six years, from 312 teraflops in 2020 to 2,500 teraflops today. Our own Maia 200 chip, launched this January, delivers 30% better performance per dollar than any other hardware in our fleet. Second, the numbers arrive faster thanks to a technology called HBM, or high bandwidth memory, which stacks chips vertically like tiny skyscrapers; the latest generation, HBM3, triples the bandwidth of its predecessor, feeding data to processors fast enough to keep them busy all the time. Third, the room of people with calculators became an office and then a whole campus or city. Technologies like NVLink and InfiniBand connect hundreds of thousands of GPUs into warehouse-size supercomputers that function as single cognitive entities. A few years ago this was impossible.

These gains all come together to deliver dramatically more compute. Where training a language model took 167 minutes on eight GPUs in 2020, it now takes under four minutes on equivalent modern hardware. To put this in perspective: Moore’s Law would predict only about a 5x improvement over this period. We saw 50x. We’ve gone from two GPUs training AlexNet, the image recognition model that kicked off the modern boom in deep learning in 2012, to over 100,000 GPUs in today’s largest clusters, each one individually far more powerful than its predecessors.

Then there’s the revolution in software. Research from Epoch AI suggests that the compute required to reach a fixed performance level halves approximately every eight months, much faster than the traditional 18-to-24-month doubling of Moore’s Law. The costs of serving some recent models have collapsed by a factor of up to 900 on an annualized basis. AI is becoming radically cheaper to deploy.

The numbers for the near future are just as staggering. Consider that leading labs are growing capacity at nearly 4x annually. Since 2020, the compute used to train frontier models has grown 5x every year. Global AI-relevant compute is forecast to hit 100 million H100-equivalents by 2027, a tenfold increase in three years. Put all this together and we’re looking at something like another 1,000x in effective compute by the end of 2028. It’s plausible that by 2030 we’ll bring an additional 200 gigawatts of compute online every year—akin to the peak energy use of the UK, France, Germany, and Italy put together.

What does all this get us? I believe it will drive the transition from chatbots to nearly human-level agents—semiautonomous systems capable of writing code for days, carrying out weeks- and months-long projects, making calls, negotiating contracts, managing logistics. Forget basic assistants that answer questions. Think teams of AI workers that deliberate, collaborate, and execute. Right now we’re only in the foothills of this transition, and the implications stretch far beyond tech. Every industry built on cognitive work will be transformed.

The obvious constraint here is energy. A single refrigerator-size AI rack consumes 120 kilowatts, equivalent to 100 homes. But this hunger collides with another exponential: Solar costs have fallen by a factor of nearly 100 over 50 years; battery prices have dropped 97% over three decades. There is a pathway to clean scaling coming into view.

The capital is deployed. The engineering is delivering. The $100 billion clusters, the 10-gigawatt power draws, the warehouse-scale supercomputers … these are no longer science fiction. Ground is being broken for these projects now across the US and the world. As a result, we are heading toward true cognitive abundance. At Microsoft AI, this is the world our superintelligence lab is planning for and building.

Skeptics accustomed to a linear world will continue predicting diminishing returns. They will continue being surprised. The compute explosion is the technological story of our time, full stop. And it is still only just beginning.

Mustafa Suleyman is CEO of Microsoft AI.