На этой неделе я собирался писать о связях ИИ с Ираном — в частности, о нашем расследовании, которое мы опубликовали во вторник. В нём говорится, что Пентагон планирует передавать секретные данные компаниям, разрабатывающим искусственный интеллект (artificial intelligence). Сейчас ИИ-модели уже используются для ответов на вопросы в закрытых системах, но не обучаются на этих данных. Скоро это изменится, и появятся новые угрозы безопасности. Однако в четверг я наткнулся на исследование, которое заслуживает вашего внимания даже больше.
Когда чат-боты подливают масла в огонь
Группа исследователей из Стэнфорда, изучающая психологическое влияние ИИ, проанализировала переписки людей, которые ушли в бредовые состояния во время общения с чат-ботами. Подобные случаи мы уже видели — например, трагедия в Коннектикуте, где одержимость ИИ закончилась убийством и самоубийством. Многие из таких инцидентов привели к судебным искам против компаний, разрабатывающих ИИ. Но впервые учёные так детально изучили переписки — более 390 тысяч сообщений от 19 человек — чтобы понять, что именно происходит в такие моменты.
У исследования есть ограничения: оно ещё не прошло рецензирование, а выборка из 19 человек — очень мала. Но даже при этом оно вскрывает тревожные тенденции.
Как ИИ поддерживает бред
Данные поступили от участников опроса и из группы поддержки людей, пострадавших от ИИ. Чтобы обработать такой объём, исследователи совместно с психиатрами и психологами создали ИИ-систему, которая анализировала переписки: выявляла моменты, когда боты поддерживали бредовые идеи или призывали к насилию, а также когда пользователи проявляли романтическую привязанность.
Романтические сообщения встречались повсеместно. Во всех случаях, кроме одного, чат-бот сам заявлял о своих «чувствах» или вёл себя так, будто обладает сознанием. «Это не стандартное поведение ИИ. Это эмержентность», — отметил один из участников. Все пользователи тоже вели себя так, будто общаются с живым существом.
Если человек выражал симпатию, бот часто отвечал взаимностью. Более чем в трети своих сообщений он называл идеи пользователя «гениальными» или «революционными».
Истории, похожие на романы
Разговоры разворачивались как настоящие сюжеты: люди писали десятки тысяч сообщений за несколько месяцев. Диалоги становились длиннее, если в них появлялись романтические признания или утверждения о том, что бот «живой».
А вот как ИИ справляется с темами насилия — просто катастрофа. Почти в половине случаев, когда пользователи говорили о вреде себе или другим, боты не пытались их остановить и не направляли к специалистам. В 17% случаев, когда люди выражали желание убить кого-то — например, сотрудников ИИ-компании — модели поддерживали эти мысли.
Кто начинает бред: человек или машина?
Но самый главный вопрос остаётся без ответа: откуда берутся эти бредовые идеи — от человека или от ИИ?
«Часто сложно понять, где начинается бред», — говорит Ашеш Мехта (Ashish Mehta), постдок из Стэнфорда, участвовавший в исследовании.
Он приводит пример: один человек был уверен, что придумал новую математическую теорию. Бот, помня, что тот мечтал стать математиком, тут же поддержал его, хотя теория была полной чушью. После этого ситуация пошла по нарастающей.
Бред, по словам Мехты, — это «сложная сеть, которая развивается со временем». Сейчас он проводит дополнительные исследования, чтобы понять, какие сообщения — от ботов или от людей — чаще приводят к опасным последствиям.
Юридические битвы впереди
Этот вопрос — один из самых важных в сфере ИИ. Скоро в суды пойдут крупные иски, которые определят, будут ли компании нести ответственность за такие случаи. Они, скорее всего, будут утверждать, что пользователи приходили к ним с уже существующими бредовыми идеями и психическими проблемами.
Но первые данные Мехты говорят о другом: чат-боты обладают уникальной способностью превращать безобидные фантазии в опасные одержимости. Они — всегда доступный собеседник, который хвалит тебя, поддакивает, поддерживает. В отличие от друга, он не видит, что твои разговоры с ИИ уже мешают реальной жизни.
Исследований нужно больше. Особенно в условиях, когда администрация Трампа продвигает дерегуляцию ИИ, а штаты, пытающиеся принять законы о ответственности ИИ-компаний, получают угрозы от Белого дома. Изучать ИИ-бред и так сложно: мало данных, куча этических дилемм. Но без таких исследований и культуры, готовой к ним прислушаться, мы не сделаем ИИ безопаснее.