Зайн Асгар (Zain Asgar), доцент Стэнфорда и основатель с успешным выходом из предыдущего стартапа, привлёк 80 миллионов долларов на серию A для своей новой компании Gimlet Labs, которая решает одну из главных проблем современного искусственного интеллекта — узкое место в инференсе. Раунд возглавил фонд Menlo Ventures.
Многочиповое будущее ИИ
Gimlet Labs создала то, что называет первым и единственным «мультисиликоновым облаком инференса» — программным обеспечением, позволяющим запускать ИИ-нагрузку одновременно на разных типах аппаратного обеспечения. Это означает, что одна и та же ИИ-задача может распределяться между обычными процессорами (ЦПУ), специализированными графическими чипами (ГПУ) и системами с высоким объёмом памяти.
«Мы работаем с любым доступным оборудованием»
— рассказал Асгар в интервью TechCrunch.
Современные ИИ-агенты часто выполняют цепочку операций, каждая из которых требует разных ресурсов: инференс ограничен вычислительной мощностью, декодирование — объёмом памяти, а вызовы инструментов — пропускной способностью сети. Ни один чип пока не справляется со всем сразу.
Тим Тулли (Tim Tully) из Menlo Ventures, вложившийся в стартап, отмечает: «Когда появляется новое оборудование, а старые ГПУ переходят в другие задачи, флот из разных чипов уже готов к работе — ему просто не хватает программного слоя, чтобы всё заработало». Именно этот слой, по его мнению, и предоставляет Gimlet Labs.
Проблема пустых мощностей
Если текущая тенденция — просто добавлять больше вычислительных мощностей — продолжится, к 2030 году расходы на дата-центры могут достичь 7 триллионов долларов, подсчитали в McKinsey. При этом, по словам Асгара, существующие аппаратные ресурсы используются всего на 15–30%.
«Другими словами, вы выбрасываете на ветер сотни миллиардов долларов, оставляя оборудование простаивать»
— говорит он. — «Наша цель — сделать ИИ-нагрузки в 10 раз эффективнее, чем сейчас».
Оркестровка для эффективности
Асгар вместе с сооснователями — Мичелл Нгуен (Michelle Nguyen), Омидом Азизи (Omid Azizi) и Натали Серрино (Natalie Serrino) — разработал программное обеспечение, которое разбивает ИИ-задачи на части и распределяет их по разным типам оборудования.
Gimlet Labs утверждает, что её решение ускоряет инференс в 3–10 раз при той же стоимости и энергопотреблении. Компания может даже «нарезать» саму модель, чтобы разные её части работали на разных архитектурах, используя лучший чип для каждой части.
Уже сейчас Gimlet сотрудничает с производителями чипов: NVIDIA, AMD, Intel, ARM, Cerebras и d-Matrix.
Для крупных игроков
Продукт Gimlet Labs — доступный как программное обеспечение или через API в своём облаке Gimlet Cloud — не предназначен для обычных разработчиков ИИ-приложений. Он ориентирован на крупнейшие лаборатории по созданию моделей и дата-центры.
Компания вышла на рынок в октябре и сразу заявила о доходах в десятки миллионов долларов (от 10 миллионов). За последние четыре месяца клиентская база более чем удвоилась. Среди клиентов — один из крупнейших создателей моделей и «очень крупная» облачная компания, назвать которые Асгар отказался.
Команда с прошлым
Ранее команда работала вместе в стартапе Pixie, создавшем инструмент наблюдаемости с открытым исходным кодом для Kubernetes. В 2020 году его купила New Relic, всего через два месяца после привлечения 9 миллионов долларов на серию A от Benchmark. Технология Pixie сейчас входит в экосистему Kubernetes.
Асгар случайно встретил Тулли год назад, а также привлёк инвестиции от профессоров Стэнфорда. После этого начали звонить венчурные фонды. После запуска компании на стол легло первое коммерческое предложение. Как только стало известно, что Асгар рассматривает предложения, «нас атаковали предложениями», — вспоминает он. Раунд быстро оказался переподписан.
Вместе с предыдущим семенным раундом стартап собрал в общей сложности 92 миллиона долларов. Среди инвесторов — Билл Коуфран из Sequoia, профессор Стэнфорда Ник Маккин, бывший CEO VMware Рагху Рагхурам и CEO Intel Ли-Бу Тан. В компании сейчас работает 30 человек.
Другие инвесторы: Factory (возглавил семенной раунд), Eclipse Ventures, Prosperity7 и Triatomic.