Чтобы строить автономные машины будущего, иногда нужно сначала создать модель — модель, которая поймёт, что происходит на видео.
Компании, разрабатывающие беспилотные автомобили, роботов или автономную строительную технику, собирают тысячи, а то и миллионы часов видеозаписей. Эти данные нужны для обучения и анализа, но с ними сложно работать.
Сейчас сортировкой и каталогизацией видео занимаются люди. Даже в ускоренном режиме это не масштабируется. Nomadic AI, стартап во главе с гендиректором Мустафой Балом (Mustafa Bal) и техническим директором Варуном Кришнаном (Varun Krishnan), решает проблему для клиентов, у которых 95% данных с автопарков просто лежат на архивах.
Особенно сложно искать крайние случаи — редкие события, которые особенно важны для обучения моделей физического искусственного интеллекта (physical AI), но при этом сбивают с толку неопытные системы.
Платформа, которая понимает видео
Nomadic создаёт платформу, превращающую видеопотоки в структурированные, поисковые наборы данных с помощью моделей визуального языка (vision language models). Это позволяет эффективнее следить за автопарками и создавать уникальные датасеты для обучения с подкреплением (reinforcement learning), ускоряя итерации.
Недавно компания объявила о привлечении 8,4 миллиона долларов на seed-раунде при оценке в 50 миллионов (post-money). Раунд возглавил фонд TQ Ventures, в нём также участвовали Pear VC и Джефф Дин (Jeff Dean). Эти средства пойдут на привлечение новых клиентов и развитие платформы. В прошлом месяце Nomadic также выиграла первый приз на конкурсе стартапов Nvidia GTC.
От общих задач к конкретным решениям
Основатели познакомились на курсах компьютерных наук в Гарварде. По словам Бала, работая в таких компаниях, как Lyft и Snowflake, они снова и снова сталкивались с одной и той же проблемой: огромные объёмы данных, которые никто не может эффективно использовать.
«Мы даём компаниям понимание их собственных записей — тем, что управляет их беспилотниками и роботами. Именно это двигает разработчиков автономных систем вперёд, а не случайные данные»
Например, можно точно выделить все случаи, когда автопилот может проехать на красный свет по сигналу полицейского, или найти все моменты, когда машина проезжала под определённым типом моста. Платформа Nomadic помогает находить такие события — и для проверки соблюдения правил, и для прямой загрузки в обучающие конвейеры.
Кто уже использует Nomadic
Среди клиентов — Zoox, Mitsubishi Electric, Natix Network и Zendar. Антонио Пуджелли (Antonio Puglielli), вице-президент по инженерии в Zendar, отметил, что инструмент Nomadic позволил ускорить работу по сравнению с аутсорсингом, а их глубокая предметная экспертиза выгодно отличает стартап от конкурентов.
Подобные модели для автоматической разметки данных становятся ключевым элементом в разработке физического ИИ. Крупные компании, такие как Scale, Kognic и Encord, тоже внедряют ИИ-инструменты для этих задач. NVIDIA, в свою очередь, выпустила семейство открытых моделей Альпамайо (Alpamayo), которые можно адаптировать под анализ видео.
Не просто разметка — а рассуждение
Однако в Nomadic подчёркивают: их система — это не просто маркировщик. Это агентная система с логическим выводом: вы описываете, что нужно найти, а система сама понимает, как это обнаружить. Она использует несколько моделей одновременно, чтобы понять действия на видео и поставить их в контекст.
«Точно так же, как Salesforce не строит собственные дата-центры, а Netflix — собственные сети доставки контента, автопроизводителю не стоит собирать Nomadic внутри себя. Как только он начнёт это делать, он отвлечётся от главного — от создания самого робота»
Так считает Шустер Тангер (Schuster Tanger), партнёр TQ Ventures, возглавивший раунд.
Тангер отмечает сильную команду: Кришнан — международный мастер по шахматам, его рейтинг на момент написания статьи — 1549-й в мире. Сам Кришнан добавляет, что почти все инженеры в команде — дюжина специалистов — опубликовали научные статьи.
Что дальше
Сейчас команда работает над узкоспециализированными инструментами: например, один анализирует физику перестроения в потоке по видеозаписи, другой — определяет точное положение захватов робота на кадрах.
Следующий вызов — научиться обрабатывать не визуальные данные, например, показания лидаров, или интегрировать данные с разных сенсоров в единую систему.
«Управлять терабайтами видео, прогонять их через сотни моделей с более чем 100 миллиардами параметров и извлекать из этого точные выводы — это невероятно сложно», — признаётся Бал.