Если вы когда-нибудь задумывались, почему огромные GPU-кластеры перестали быть главным драйвером прогресса в развитии ИИ, а контракты на данные подписываются за десятки миллионов долларов — эта статья для вас.
Об авторе:Антон Пчелинцев, эксперт онлайн-магистратурЦентра «Пуск» МФТИ в области Data Science, разработки и управления ИТ-продуктами. Магистр бизнес-информатики и соавтор курса «Экономика для технологических предпринимателей». Занимается проектами в телекоме, ИТ, ИИ, интересуется биоинформатикой и биотехнологиями, увлекается изучением квантовых систем. Принимал участие в международных ИТ-стартапах (закрытие венчурных раундов с крупнейшими технологическими гигантами). Считает себя технологическим предпринимателем (не инвестором), который вот-вот набьет все шишки и наконец-то сделает что-то полезное. Собственное портфолио проектов: инерциальная авионика, ИИ-системы управления компанией, интеллектуальные системы производства спортивной обуви.
Представьте, что вы строите ракету (Can i dream to be like Elon Musk?). В какой-то момент выясняется, что проблема не в двигателе (GPU), а в топливе (данных). Двигатели можно докупить, оптимизировать, распараллелить. А вот топливо, то есть высококачественные человеческие данные, внезапно оказывается не бесконечным. Это ощущение уже стало рыночной реальностью: контент начинают покупать и лицензировать как стратегический ресурс, а не парсить из интернета по-тихому.
Можно подумать: «Не так все страшно!», но вот что думает крупный бизнес, основанный на Big Data:
● Илья Суцкевер (соучредитель OpenAI) публично предсказал плато развития ИИ из-за дефицита данных.
● Google заключил контракт с Reddit за $60 млн в год на лицензирование данных.
● Илон Маск закрыл API Twitter, чтобы данные использовал только Grok.
А еще FTC (Федеральная торговая комиссия) начала расследование практик лицензирования данных.
В этой статье разберем, что такое стена данных, почему она появилась именно сейчас и почему следующий виток развития ИИ все чаще смотрит не в сторону еще больших GPU-кластеров, а в сторону реальности — наблюдений окружающего мира, датчиков и физических процессов.
Что такое стена данных и почему она вообще возникла
Упрощенно, стена данных (data wall) — это момент, когда масштабирование моделей начинает упираться в дефицит качественных обучающих данных, особенно человеческого происхождения. К таким данным можно отнести:
● связные тексты (книги, статьи, диалоги);
● качественные инструкции и решения задач;
● код и инженерные артефакты (в хорошем смысле);
● экспертные материалы, где меньше шума и больше смысла.
Интернет большой, но полезный интернет — существенно меньше. Большая часть контента в сети повторяется, переписывается, содержит мусор, SEO и спам, а теперь еще и все чаще является… генерацией других моделей.
Получается интересный эффект: мы научили ИИ читать интернет, а интернет начал писать ИИ. Еще не смешно? Тогда вперед!
«Но ведь данных много, мы же живем в эпоху Big Data!»
Да, данных очень много. Но LLM (и большие, и малые) любят, когда не просто «много», а когда «много хорошего». Это примерно как питание: калорий вокруг полно, но если жить на чипсах, организм быстро объяснит разницу между «много» и «качественно».
С данными так же:
● низкокачественные данные добавляют шум и могут ухудшать поведение модели;
● высококачественные данные дают рост умения думать, точности, устойчивости, полезности.
Почему GPU не спасают в одиночку
Индустрия привыкла к простой магии: больше параметров + больше вычислений = лучше результат. Это работало впечатляюще долго, но у любого масштабирования есть ресурсная база. И если вычисления — это вопрос денег, энергии, инфраструктуры, то данные — вопрос другого толка:
● доступа (юридического и технического);
● права на использование;
● уникальности;
● качества и очистки;
● обновляемости (данные устаревают);
● и, внезапно, геополитики/суверенитета.
Доступ к лучшим массивам данных все чаще оказывается привязан к владельцам платформ, инфраструктур и государственным/корпоративным системам наблюдений.
Почему человеческий текст стал дефицитом
Причина 1. Интернет — не бесконечный учебник
Лучшая часть публичного текста уже давно «объедена»: книги, энциклопедии, популярные медиа, форумы, публичные git-репозитории и т. д. Дальше остается либо идти глубже в закрытые источники, либо платить за лицензии, либо пытаться «размножать» смысл синтетикой — а там свои риски.
Причина 2. Данные становятся закрытыми не из-за жадности, а из-за логики рынка
Если текст и контент действительно усиливают модель, они становятся активом, а активы, сюрприз-сюрприз:
● защищают,
● продают,
● лицензируют,
● ограничивают доступ.
Это не конец интернета, а взросление рынка ИИ. Примерно как когда музыка ушла из пиратских mp3 в стриминги: не потому что люди разлюбили музыку, а потому что появилась экономика доступа.
Причина 3. Много данных уже «заражено» синтетикой
Чем больше моделей в мире, тем больше их текста в сети. И тем выше риск, что мы начинаем учить новые модели на генерациях старых. Это и есть дорожка к деградации распределения — вплоть доmodel collapse. Если не держать якорь реальности, модели постепенно теряют способность к генерации редких, но важных событий и начинают вырождаться.
Что индустрия делает прямо сейчас (и почему это симптом стены данных)
У индустрии есть несколько типовых реакций:
●Лицензирование.Договориться с правообладателями, платформами, медиа, базами знаний. Это легально, масштабируемо, но дорого и ограничено.
●Синтетические данные.Генерировать инструкции, примеры, учебники, дистиллировать знания из сильных моделей в более дешевые. Это мощно, но есть пределы и риски (обсудим отдельно).
●Сдвиг в сторону реальных данных мира.Там, где разметка приходит из будущего, а природа сама создает новые наблюдения: погода, космос, дистанционное зондирование, физика частиц, индустриальные сенсоры, медицина и т. д.
И вот третий пункт — наш главный поворот сюжета.
Почему реальность — новый источник данных (и почему это не замена интернет-текста)
Важно не перепутать: данные природы не заменят интернет-текст для «болталок» и широкого гуманитарного общения. Но они идеально подходят:
● для доменных foundation-моделей (погода/климат, космос, ДЗЗ, физика);
● мультимодальных world models (модели мира: время, пространство, сенсоры);
● инструментов и агентов, где язык — это интерфейс к моделям наблюдений (tool-use, RAG, адаптеры).
То есть LLM остается говорящей оболочкой, но мозгом предсказания реальности становятся модели наблюдений.
Если упростить, то LLM — это харизматичный переводчик, а физический мир — это строгий преподаватель, который проверяет домашку каждый день.
«Не верю!» — кричал Станиславский! А вы спросите Яндекс про цепи Маркова или посмотрите Youtube-канал Veritasium — вас ждет сюрприз.
Почему наблюдения мира ценны именно как антисинтетика
У наблюдений есть свойства, которые сложно имитировать синтетикой.
Они содержат хвосты распределения.Редкие события — то, что в среднем не должно происходить часто, но происходит. А иногда именно там спрятана новая физика, новые режимы, неожиданные комбинации факторов. Синтетика на длинной дистанции склонна усреднять и сглаживать редкости. Реальность — наоборот, периодически подкидывает сюжеты уровня «так не бывает, но вот опять».
Они самообновляемые.Погода завтра — метка для прогноза сегодня. Космические события происходят независимо от наших датасетов. Земля меняется каждый день, спутники это видят. Это почти бесконечная лента обновления.
Они проверяемы.С текстом можно спорить («автор ошибся», «источник сомнительный»). С наблюдениями спорить сложно: если датчик корректно откалиброван, то «так было». Можно спорить об интерпретации, но не о факте наблюдения.
Главный вывод статьи (и зачем это вам, дорогие читатели)
Стена данных — это не апокалипсис ИИ. Это смена эпохи:
● Раньше: кто больше скормит интернет-текста — тот и молодец.
● Сейчас: кто сумеет добыть, упаковать, легально использовать качественные данные — тот и создаст преимущество.
● Дальше: кто научит ИИ работать с реальностью, а не только с текстом, тот получит новые классы продуктов.
Это особенно интересно молодым инженерам и исследователям, потому что появляется пространство для новых профессий и проектов. Например:
● инженеры данных наблюдений (observation data engineers);
● архитекторы пайплайнов от сигнала к датасету;
● создатели бенчмарков реального мира;
● разработчики доменных foundation-моделей.
И да, это звучит как научная фантастика, но она уже начинает быть прикладной.
В следующей статье разберем синтетику: почему она реально работает, где ее границы и почему индустрии все равно нужен якорь — реальная часть данных.
