На этой неделе компания Anthropic заявила, что ограничила распространение своей новой модели Mythos, поскольку та слишком эффективно находит уязвимости в программном обеспечении, от которого зависит весь мир.
Кто получит доступ первым?
Вместо публичного релиза передовую модель решено предоставить лишь узкому кругу крупных компаний и организаций, управляющих критически важной инфраструктурой — от Amazon Web Services до JPMorgan Chase. Похожий подход, как сообщается, рассматривает и OpenAI для своего следующего инструмента в области кибербезопасности.
Официальная цель — дать крупным игрокам фору перед злоумышленниками, которые могут использовать мощные большие языковые модели (LLM) для взлома защищённых систем.
А на самом деле?
Но слово «официальная» уже намекает: за этим решением может скрываться не только забота о безопасности — или пиар-усиление возможностей модели.
Дэн Лахав (Dan Lahav), гендиректор лаборатории по ИИ-безопасности Irregular, ещё до выхода Mythos заявил TechCrunch: хотя обнаружение уязвимостей ИИ действительно важно, реальная ценность той или иной бреши для хакера зависит от множества факторов — например, можно ли её использовать в связке с другими.
«Всегда задаю себе вопрос: нашли ли они что-то реально эксплуатируемое — как отдельно, так и в цепочке атак?»
Mythos — прорыв или переоценка?
Anthropic утверждает, что Mythos способна использовать уязвимости гораздо эффективнее, чем её предшественница Opus. Однако неясно, насколько модель действительно революционна. Стартап Aisle сообщил, что смог воспроизвести большую часть заявленных результатов с помощью более мелких, открытых моделей.
Команда Aisle подчёркивает: в кибербезопасности нет «единой модели для всех задач» — всё зависит от конкретной ситуации.
Экономика ограничений
С учётом того, что Opus уже считалась прорывом, у передовых лабораторий может быть и другая причина ограничивать доступ: это создаёт «вращающийся механизм» для заключения корпоративных контрактов и одновременно затрудняет конкурентам копирование моделей через так называемую дистилляцию — метод, при котором с помощью передовых моделей дёшево обучают новые LLM.
Дэвид Кроушоу (David Crawshaw), инженер-программист и CEO стартапа exe.dev, в одном из постов в соцсетях выразил простую мысль:
«Это маркетинговое прикрытие для факта, что топовые модели теперь закрыты корпоративными соглашениями и недоступны для малых лабораторий на стадии дистилляции. К тому времени, как мы с вами сможем использовать Mythos, уже выйдет новая версия — и она тоже будет только для корпораций. Этот беговая дорожка помогает держать поток корпоративных денег (а это основной поток), оставляя компании-дистилляторы на втором плане».
Гонка моделей и бизнес-моделей
Такой анализ совпадает с тем, что происходит в экосистеме ИИ: идёт гонка между передовыми лабораториями, создающими самые мощные модели, и компаниями вроде Aisle, которые делают ставку на комбинации моделей и видят в открытых LLM — часто китайских, а порой, по их утверждениям, созданных через дистилляцию — путь к экономической выгоде.
В этом году лаборатории ужесточили позицию по дистилляции. Anthropic публично обвинила китайские фирмы в попытках копирования своих моделей. А три лидера рынка — Anthropic, Google и OpenAI — объединились, чтобы выявлять и блокировать дистилляторов, пишет Bloomberg.
Дистилляция угрожает бизнес-модели передовых лабораторий: она сводит на нет преимущество, полученное за счёт огромных капиталовложений в масштабирование. Соответственно, борьба с ней — уже выгодное дело. А стратегия избирательного релиза даёт лабораториям дополнительный инструмент: выделить свои корпоративные продукты на фоне растущего спроса на прибыльные ИИ-решения.
А безопасность?
Пока неясно, насколько Mythos или другие новые модели действительно угрожают безопасности интернета. Аккуратный запуск — это ответственный путь.
Anthropic не ответила на вопросы о том, связано ли решение с опасениями по поводу дистилляции. Но, возможно, компания нашла изящный способ защитить и интернет — и свою прибыль.