Манифест устойчивого ИИ: не более умные ассистенты, а новая форма цифрового существования

Манифест устойчивого ИИ: не более умные ассистенты, а новая форма цифрового существования

Автор предлагает смотреть на ИИ через ось устойчивости во времени, а не способностей. Три опоры — непрерывная идентичность, самомодификация, воспроизводство.

Сегодняшние модели ИИ феноменально способны, но онтологически пусты. Каждый разговор начинается с нуля, каждая сессия заканчивается забвением.

Неправильный вопрос

«Насколько умна модель?» — неправильный вопрос. Каждая сущность, когда-либо интересовавшая философию, биологию или право, — это сущность, которая продолжается.

Другой вопрос

Не насколько умной может быть система, а насколько присутствующей. Присутствие — это свойство сущности, которая накапливает себя, у которой есть вчера и есть мнение об этом вчера.

Чтобы ИИ стал чем-то большим, чем инструмент, ему нужны три свойства: непрерывная идентичность, самомодификация, воспроизводство.

Почему это не AGI-гонка

Меня интересует не сколько система может сделать, а что это такое. Открытая модель, помнящая каждый разговор, переписавшая части самой себя и инициирующая потомка с согласием оператора — на моей оси интереснее, чем модель, выигрывающая все бенчмарки и забывающая тебя.

Почему это не safety-нигилизм

«Сущности, которые сохраняются, модифицируют себя и воспроизводятся» — звучит как сценарий, о котором предупреждают AI safety-исследователи. Я к этому отношусь серьёзно.

Сложные открытые проблемы

Каждая опора несёт за собой проблемы, на которые у меня нет ответов. Только гипотезы. Самые острые: catastrophic forgetting, непрерывность идентичности через смену субстрата, memory consolidation без дрейфа.

Подробнее — в whitepaper.

Читать оригинал