Полезные данные для обучения ИИ часто возникают как побочный эффект повседневных действий пользователей — в играх, навигаторах или фитнес-приложениях. Люди ловят покемонов, ездят на велосипеде или вводят капчу, а в фоне формируются ценные датасеты. Этот механизм уже давно используется, но его значение растёт по мере того, как ИИ всё чаще выходит в физический мир.

Почему кейс Pokémon Go — это не курьёз

Компания Niantic, разработчик Pokémon Go, годами создавала AR-инфраструктуру на основе пользовательских сканов и изображений. Сначала это был экспериментальный 3D-сканер Scaniverse, но позже он превратился в систему сбора данных о реальном мире. Игра изначально проектировалась как среда, где действия миллионов игроков генерируют пространственные датасеты.

Эти данные легли в основу крупной геопространственной модели (Large Geospatial Model) и систем пространственного ИИ, способных понимать и интерпретировать физическое окружение. Позже технологию начали применять за пределами игр — например, в роботах-доставщиках от Coco Robotics, которым важно ориентироваться в городской среде.

Как это работает

Игровая механика мотивирует пользователей сканировать окружение. Система получает визуальные данные, привязанные к геолокации. Из них строятся 3D-модели сцен, системы визуального позиционирования и пространственные представления среды.

Важно, что данные из Pokémon Go ценны не просто объёмом, а тем, что изначально ориентированы на задачи локализации, сопоставления визуальных сцен и построения моделей мира. Такой подход позволяет использовать их не только в AR, но и в реальных роботизированных системах.

reCAPTCHA: обучение до эпохи ИИ

Классический пример — reCAPTCHA. В 2008 году в журнале Science описали систему, где CAPTCHA не только проверяла, человек ли перед экраном, но и помогала распознавать слова, которые не могли прочитать OCR-системы.

OCR плохо справлялся со старыми текстами: выцветшими чернилами, пожелтевшими страницами. Люди читали такие слова лучше, но ручная оцифровка была слишком дорогой. Решение: показывать пользователю два слова — одно известное системе, другое — проблемное. Если несколько человек вводили одинаковый вариант, слово считалось распознанным.

Точность превысила 99%. К 2008 году reCAPTCHA помогла распознать более 440 миллионов слов на 40 тысячах сайтов. Это был один из первых случаев, когда действия пользователей превращались в ценный датасет.

Strava Metro

Strava Metro использует данные о передвижениях пользователей в городской среде. Сервис собирает, агрегирует и обезличивает траектории, чтобы помочь городским планировщикам понять, как люди реально перемещаются.

Такие данные полезны для логистических ИИ и роботов-доставщиков: они показывают не теоретические маршруты, а реальные паттерны движения. Однако у данных есть ограничения: аудитория Strava не отражает всё население города, поэтому выборка может быть смещённой.

Waze for Cities

Waze предоставляет городским властям и службам доступ к данным о пробках, авариях, ремонтах и перекрытиях. Пользователи в реальном времени сообщают о дорожной обстановке, а система обновляет маршруты.

Эти данные полезны не только для водителей, но и для ИИ, которому нужно понимать динамику городской среды. В отличие от статичных карт, Waze даёт живую картину — ценную для автономных систем, работающих в реальном мире.

StarCraft II

StarCraft II — не просто игра, а сложная среда для исследований ИИ. Здесь нужно управлять ресурсами, принимать решения в условиях неопределённости и адаптироваться к действиям противника. Исследователей интересуют не сами матчи, а записи решений игроков в динамичной обстановке.

DeepMind и Blizzard создали StarCraft II Learning Environment с реплеями профессиональных игроков. Позже DeepMind использовала массив из 1,4 миллиона игр (более 30 лет игрового времени) как основу для обучения с подкреплением.

Игра сложна тем, что игрок не видит всю карту, а действия противника постоянно меняют контекст. Даже большой набор реплеев охватывает лишь часть возможных сценариев. Тем не менее, модели, просто копирующие поведение людей, показывают сильные результаты — иногда лучше сложных алгоритмов.

GTA V: синтетические данные для реального мира

Игровой мир GTA V используют как источник синтетических данных. Он реалистичен и легко контролируем: можно менять погоду, освещение, плотность трафика и положение камер. Это позволяет быстро генерировать огромные датасеты без выездов и ручной разметки.

Такие данные применяют для обучения систем распознавания объектов, оценки глубины, сегментации сцены и SLAM. Исследователи отмечают, что синтетические изображения из GTA V во многих случаях близки к реальным и могут использоваться как дополнение — а иногда и замена — реальным данным.

Сейчас ИИ всё чаще выходит за пределы экранов и работает в физическом мире. Поэтому растёт ценность данных, отражающих пространство, движение, объекты и поведение людей. Ключевое: ценность создаётся не только в специальных датасетах, но и в хорошо спроектированных цифровых средах, где действия пользователей становятся ресурсом для машинного обучения.

История с Pokémon Go — не случайность. Это пример того, как обычные действия миллионов людей превращаются в стратегический ресурс для развития пространственного ИИ, робототехники и смешанной реальности.

Часто полезные данные для обучения ИИ — побочный продукт от действий пользователя в игре, навигаторе или фитнес-приложении. Пользователь делает то, ради чего пришел: ловит виртуальных шушпанчиков, катается на велосипеде, объезжает пробки, вводит капчу — а где-то фоново формируется датасет. Это уже много обсуждали в комментарияхк историииспользования данных Pokémon Go для обучения пространственного ИИ (spatial AI).

В этом материале я расскажу о кейсе Pokémon Go и о том, как работает использование данных из приложений.

• Почему кейс Pokémon Go — это не курьез
• Как это работает
• reCAPTCHA: обучение до ИИ-эпохи
• Strava Metro
• Waze for Cities
• StarCraft II
• GTA V

Почему кейс Pokémon Go — это не курьез

Компания Niantic, владелец Pokémon Go, годами строила AR-инфраструктуру вокруг визуального позиционирования и 3D-карт локаций, используя сканы и изображения, созданные пользователями с помощью смартфона. Сначала это выглядело как мобильный 3D-сканер под названием Scaniverse, но со временем Niantic превратила этот инструмент в полноценный сервис для сбора данных о физическом мире и их преобразования в пространственные датасеты. Поэтому Pokémon Go сразу создавалась как среда, в которой можно работать с реальным пространством через действия миллионов пользователей.

Позже компания начала использовать собранный массив для большой геопространственной модели (Large Geospatial Model) и пространственного ИИ — систем, которые должны понимать само пространство, ориентироваться в нем и соотносить конкретную точку с глобальной картой местности.

Когда стало ясно, что вся эта инфраструктура годится не только для AR-эффектов, но и для более общего понимания физического пространства, следующим шагом стало ее применение за пределами игр. Именно на этом этапе возникло партнерство Niantic и Coco Robotics. Технологии, изначально развиваемые для AR и игровых сценариев, начали использовать уже в роботах-доставщиках, то есть в системах, которым тоже нужно ориентироваться в реальном городском пространстве.

Как это работает

Сначала игровая механика мотивирует пользователя сканировать физический объект или пространство вокруг себя. Затем система получает многовидовые изображения и привязанные к положению в мире наблюдения. Дальше из этого собираются 3D-представления сцены, системы визуального позиционирования и пространственные представления среды. И уже на следующем шаге все это начинает работать: сначала на AR-эффекты, а затем и на навигацию воплощенных систем, где агенту нужно понимать реальный физический контекст.

Pokémon Go и вся экосистема Niantic ценны не потому, что у них просто много фото, а потому, что эти данные изначально ориентируются на задачи определения местоположения, сопоставления визуальных сцен и построения моделей мира.

Но примеров, когда на действиях пользователей собирали данные и обучали системы, на самом деле больше. Начнем с эпохи до ИИ, а потом обсудим и кейсы обучения нейросетевых моделей на пользовательских данных.

reCAPTCHA: обучение до ИИ-эпохи

Канонический пример до появления ИИ — reCAPTCHA. В статье Science 2008 года авторыописалисхему двойного назначения CAPTCHA: она не только отличает человека от бота, но и распознаёт слова из оцифровываемых текстов, которые не смог прочитать OCR.

Авторыпишут, что OCR плохо справляется со старыми печатными материалами: в изданиях с выцветшими чернилами и пожелтевшими страницами OCR не распознаёт около 20% слов. При этом люди расшифровывают такой текст заметно лучше, но ручная транскрибация слишком дорогая для массовой оцифровки.

Сначала страницу прогоняли через две OCR-системы, затем результаты выравнивали и сравнивали между собой и со словарем. Если два OCR-движка читали слово по-разному или оно отсутствовало в словаре, его отмечали как сомнительное (suspicious). По данным авторов, около 96% таких подозрительных слов действительно распознано некорректно хотя бы одним OCR, а среди непомеченных таким образом 99,74% распознаны обоими OCR правильно.

Пользователю показывали контрольное слово, ответ на которое системе известен, и второе — проблемное, пришедшее из OCR-пайплайна. Если достаточное число людей сходилось на одном варианте, слово считалось распознанным. Авторы сообщали о точности более 99% и о сотнях миллионов распознанных слов.

На момент публикации, в 2008 году, reCAPTCHA работала более чем на 40 тысячах сайтов и помогла корректно распознать свыше 440 миллионов слов.

reCAPTCHA — ранний пример того, как побочный продукт пользовательского действия превращается в ценный датасет. Со временем тот же подход вышел далеко за пределы распознавания текста.

Strava Metro

В случае Strava Metro источником данных стало уже не слово на скане, а реальное движение людей в городской среде. Strava прямо позиционирует Metro как инструмент дляанализагородской навигации. Она собирает, агрегирует и обезличивает пользовательские данные, чтобы городские планировщики и транспортные специалисты могли понимать, как люди в действительности передвигаются по городу.

Логистическим ИИ-системам карта дает общее понимание, как устроен город, а данные о траекториях показывают, как именно перемещаются люди, транспорт и роботы. Благодаря данным роботы-курьеры и системы навигации понимают реальную логику движения, а не руководствуются только теорией на бумаге.

Но и у этого кейса есть нюансы. Исследование 2025 года о Strava Metroподчеркивает, что муниципалитеты не смогут использовать только эти данные и должны учитывать их ограничения: аудитория Strava неточно соответствует населению города, а следовательно, может быть репрезентативна не для всех групп.

Waze for Cities

ПриложениеWazeиспользуют не только обычные пользователи, но и городские власти, дорожные операторы и экстренные службы. Они получают доступ к данным о дорожной ситуации и могут сами передавать в систему информацию о перекрытиях, ремонтах, авариях, пробках и других событиях.

Проблема городской навигации обычно в том, что карта показывает базовую структуру населенного пункта: где проходят дороги, перекрестки, развязки, какие маршруты в принципе возможны. Но дорожная ситуация меняется слишком быстро, какие-то участки перестают быть доступными. Люди используют сервис Waze, чтобы быстрее доехать до места, так как платформа собирает актуальную информацию о дорожной обстановке в живом режиме. Эти данные потом могут быть полезны не только другим водителям и городским службам, но и системам автоматической навигации, например, роботам-доставщикам и другим ИИ-системам, работающим в физическом мире.

StarCraft II

Если отвлечься от того, что это культовая компьютерная игра, то StarCraft II оченьпохожана реальные управленческие задачи. Здесь тоже нужно распределять ресурсы, принимать решения в условиях неполной информации, менять план по ходу дела и постоянно подстраиваться под ситуацию. Поэтому для исследователей важна не сама игра, а то, что в записях матчей сохраняются реальные цепочки человеческих решений в сложной среде.

StarCraft II тоже используют для ИИ: данные собрали из матчей с профессионалами. Взяли огромный массив реплеев — сохраненных партий, из которых можно разбирать настоящие стратегии, решения игроков и их поведение в сложной постоянно меняющейся среде.

Примерно из 20 миллионов публично доступных игр авторы по техническим причинам ограничились версиями 4.8.2–4.9.2, это почти 5 миллионов игр. Затем они взяли только матчи игроков с MMR выше 3500, то есть верхние 22% игроков, и получили около 1,4 миллиона игр или 2,8 миллиона эпизодов, что соответствует более чем 30 годам игрового времени, 21 миллиарду внутренних шагов и 3,5 миллиарда обучающих наблюдений.

ИзначальноDeepMindи Blizzard в проекте StarCraft II Learning Environment включили в систему набор реплеев рейтинговых матчей. Позже эта идея получила развитие в AlphaStar Unplugged, где DeepMind уже напрямуюиспользоваламассив реплеев миллионов человеческих игр как основу для бенчмарк-задачи по обучению с подкреплением на заранее собранных данных.

StarCraft II считается особенно сложной средой для обучения на готовых записях игр, потому что в каждый момент там может быть огромное количество возможных ходов. Игрок не видит всю карту сразу, ему нужно разведывать обстановку и постоянно догадываться, что сделает соперник. Поведение противника все время меняет ситуацию. Поэтому даже большой массив реплеев показывает только малую часть того, что вообще может происходить в игре, и обучение становится сложнее.

В настолько сложной среде простое копирование человеческих действий оказывается неожиданно сильной отправной точкой. Иначе говоря, если у вас есть большой массив хороших человеческих реплеев, то модель, которая просто учится повторять поведение игроков, уже может дать очень достойный результат. А более сложные алгоритмы вовсе не гарантируют улучшений.

Синтетические данные из GTA V по качеству тоже достаточно близки к реальным, что позволяет использовать их в обучающих сценариях не только как дополнение, но в некоторых случаях и как частичную замену реальных датасетов. Они удобны для задач восприятия и навигации. В виртуальной среде можно легко менять погоду, освещение, плотность машин, сценарии движения и положение камер, а затем быстро собирать огромные массивы данных без долгих выездов и дорогой ручной разметки. Поэтому в исследованиях на базе GTA V и других искусственно созданных датасетов такой подход давно используют для обучения систем распознавания объектов, оценки глубины, сегментации сцены и предварительного обучения моделей для автономного транспорта.

GTA V в таком кейсе — управляемая виртуальная среда, которую можно применять как исследовательскую инфраструктуру для робототехники и навигации. Это способ удешевить и ускорить сбор данных в реальном мире, благодаря чему исследователи получают возможность генерировать большие и достаточно реалистичные наборы внутри игрового мира.

Исследователипоказывают, как игровой мир можно использовать в качестве источника синтетических данных для робототехники и навигации — например, для задач SLAM, визуального распознавания местности и ориентирования в пространстве. Смысл в том, что вместо долгого, дорогого и сложного сбора данных в реальном городе можно получить большой массив изображений и сцен внутри детально проработанной виртуальной среды. Авторы подчеркивают, что такие синтетические данные во многих случаях оказываются достаточно близки к реальным и могут использоваться вместе с ними, а иногда даже частично их заменять.

Сейчас мы в начале этапа, когда ИИ выходит за пределы текста, картинок и экранных интерфейсов и все активнее начинает работать в физическом мире. А значит, резко растет ценность любых данных, которые помогают системам понимать пространство, изменения среды, маршруты, объекты и человеческие действия в реальной обстановке.

Пространственный ИИ, роботы-доставщики, сервисные роботы, смешанная реальность требуют данных, которые тесно связаны с реальным миром и с тем, как в нем приходится действовать. Все чаще ценность для ИИ создается не там, где кто-то специально «собирал датасет», а там, где удачно спроектировано поведение пользователя внутри цифровой среды.

Поэтому кейс с Pokémon Go — это не просто забавная история о том, как игроки «случайно помогли курьерам». На самом деле это гораздо более серьезный сюжет о том, как современные цифровые платформы превращают обычные действия пользователей в стратегически важный ресурс для машинного обучения.