Современные языковые модели демонстрируют впечатляющие способности к рассуждению, но остаются инструментами. У инструмента нет выбора. Основа LLM — предсказание следующего токена. Основа агентных систем — оптимизация внешней целевой функции. В обоих случаях цель задаётся извне. Система не может пересмотреть её самостоятельно.

Можно возразить, что всё сказанное — глупость. Но я хочу предложить альтернативу: «сознание» возникает не из сложности вычислений, а из архитектуры, в которой «Я» — не метафора в промте, а функциональный компонент системы.

Нам нужно построить субъектность с нуля.

Немного вводных

Специалисты разных областей всё чаще говорят, что экстенсивный рост в микроэлектронике и в разработке больших языковых моделей исчерпал себя. Яркий пример — заявление сооснователя OpenAI Ильи Суцкевера:

Мы переходим от эпохи скейлинга к эпохе исследований

Обнаружены фундаментальные ограничения: данные конечны, вычисления дорожают, а качественные прорывы в поведении моделей замедляются. Возникает вывод: для достижения AGI нужна не оптимизация текущей парадигмы, а новая архитектура. При этом необходимая вычислительная мощность уже достигнута.

Существуют автономные агенты, например OpenClaw. Но, несмотря на все успехи, это по-прежнему инструменты для выполнения задач. AGI — это субъект, способный сам определять и ставить задачи. Получается, разработчики в достаточной мере создали «тело» для AGI, но пока не могут наполнить его сознанием.

В этой статье я не расскажу, как построить сознание для машин. Но попробую сделать маленький шаг в этом направлении.

Заранее оговорюсь: идеи и определения, которые я приведу, могут оказаться ошибочными. Пока не создан прототип и не проверена его эффективность, делать окончательные выводы бессмысленно. Критика крайне важна — особенно если я изобретаю велосипед. Заранее благодарю за комментарии.

Теоретические основания

Одна из главных проблем в создании AGI — отсутствие ответа на вопрос: «Что такое сознание?». Возможно, приблизиться к ответу помогает меметика. Эта теория утверждает, что наряду с ДНК (генами) у людей существует ещё один репликатор — мем, единица культурной эволюции. Нас интересуют три положения:

1. Мемы как автономные агенты. В работах Дэниела Деннетта и Сьюзан Блэкмор развивается идея, что человеческое «Я» — не источник идей, а фильтр. Мы не придумываем мысли, а выбираем их из потока, порождённого культурной эволюцией и средой.
2. Эго-туннель. Томас Метцингер в своей книге «Эго-туннель» утверждает: сознание — это виртуальная реальность, создаваемая мозгом. Внутри неё формируется модель самого себя как субъекта. Эта модель настолько прозрачна, что создаёт иллюзию «Я».
3. Теория фильтра Дональда Бродбента. Согласно ей, мозг — не источник сознания, а фильтр, отбирающий наиболее значимые сигналы.

Были проведены исследования и симуляции. Вот ключевые наблюдения:

Конкуренция за внимание: мемы конкурируют за ограниченный ресурс внимания агентов.

Эволюция сложности: простые мемы постепенно усложняются до многослойных конструкций.

Вариативность: новые структуры появляются чаще, чем отбираются.

Эффект ореола: привлекательность источника влияет на передачу мема.

Культурное наследование: агенты предпочитают мемы, схожие с их собственной историей.

Теорию меметики часто критикуют — и не без оснований. Пока не доказаны её ключевые положения, и не проведены симуляции, где мемы приводят к возникновению сознания. Также отсутствуют исследования с равным взаимодействием генов и мемов. Кроме того, в разных работах используются разные определения сознания, субъекта, агента и других ключевых понятий.

Размышления

Чтобы сдвинуться с мёртвой точки, выдвинем гипотезу, проверим её в экспериментах и сделаем выводы.

Гипотеза: сознание агента проявляется в определённой архитектуре среды, где существуют, функционируют и эволюционируют мемы, при накоплении контекста из внешнего мира или симуляции и при наличии субъектности у агента.

Эта гипотеза не отрицает необходимости определённого уровня вычислительной мощности и сложности среды. Но она требует описать модель сознания, которая порождает субъектность, в которой можно наблюдать эволюцию мемов и в которой сознание может существовать.

Таким образом, задача сводится к поиску подходящей архитектуры. Главным результатом эксперимента станет синтез или имитация субъектности агента. Важно: цель не в создании сознания в общем смысле, а в получении одного аспекта — субъектности. Другие аспекты, такие как интеллектуальность или индивидуальность, могут быть добавлены позже как дополнительные слои.

Какая архитектура позволит имитировать субъектность?

Модель сознания

Задача: имитировать часть человеческого сознания и дать агенту возможность получать субъективный опыт.

Субъективный опыт формирует субъектность — или субъектность формирует субъективный опыт?

Опираясь на нейробиологию, меметику и теорию агентов, введём определения:

• Симуляция — упрощённая модель реального мира с заданными законами, в которой изучается поведение агентов.
• Агент — автономная сущность, воспринимающая среду через сенсоры, обрабатывающая данные с помощью внутренней модели и воздействующая на мир через эффекторы. Агент состоит из «тела» и «сознания».
• Тело агента — интерфейс для взаимодействия сознания с симуляцией. Это проекция сознания в мире.
• Сознание агента — субъективный образ объективного мира, обеспечивающий ориентацию и саморегуляцию. Оно порождает конструкцию «Я».

«Я» можно понимать по-разному:

• В широком смысле — всё, что связано с агентом: сознание, мысли, память, субъектность, состояние тела, след в симуляции, воспоминания о нём у других агентов.
• «Я» как субъект — сознание и тело, мыслительный процесс и управление.
• «Я» как сознание — если сознание управляет телом, можно ограничить «Я» до сознания.

Продолжим сужать понятие «Я». Информация из симуляции — не часть «Я». Можно сузить «Я» до сущности, принимающей решения. Если бессознательное и сознательное участвуют в формировании мыслей, они тоже не входят в «Я». Остаётся конструкция «ЭГО-фильтр», включающая:

1. World Model — предсказание событий.
2. Self Model — скрытое состояние: «Я» + оценка состояния тела.
3. Value Network — оценка действий.
4. Goal System — проверка обучаемости (насыщения) модели.

ЭГО-фильтр обучается не на зашумлённых данных из симуляции, а на тестировании гипотез и обратной связи через тело. Если показатели тела ухудшаются — «Я» делает неверный выбор. Фильтр обучается когерентности (согласованности с моделью мира), а не максимизации внешней награды.

Так агент сможет выучить симуляцию, оптимально решить задачу выживания, и тогда Goal System зафиксирует насыщение модели. Чтобы избежать стагнации, можно ввести штраф за отсутствие изменений — аналог «скуки». Цель изменится: вместо выживания агент начнёт искать новое. Новая цель будет формироваться на основе субъективного опыта, полученного в симуляции.

Это открывает поле для исследований девиантного поведения. Можно добавить старение, генетический алгоритм и взаимодействие «родитель-ребёнок». Но это — тема отдельных исследований.

Самое узкое определение: «Я» — фильтр мыслей, способный реализовать их в мире через тело. В архитектуре этот блок называется ЭГО-фильтром.

Главная задача — обучение ЭГО-фильтра.

Сознательное и бессознательное

Если поток данных для ЭГО-фильтра зависит от групп «Сознательное» и «Бессознательное», их нужно предварительно обучить на искусственном датасете. Архитектура сохраняется: сначала обучается «Бессознательное». Данные можно разделить: звук — одна сеть, местоположение — другая и т.д.

Возникает вопрос: нужно ли помечать данные, чтобы показать влияние агента? Скорее нет — ведь именно это мы хотим получить на выходе группы «Сознательное».

Группа «Сознательное» формирует цепочки мыслей, создавая имитацию субъективного опыта и логики взаимодействия с миром. Сети в этой группе аналогичны, но с разными весами — для генерации разнообразных комбинаций.

Время для сознания и агента различно

Возьмём реальный пример: пешая прогулка из пункта А в В (~30 минут). Пока тело выполняет задачу, сознание может размышлять о чём-то другом. Именно в такие моменты приходят озарения. Лишать агента такой возможности — значит ограничить его потенциал.

Нужно переосмыслить кратковременную память. В ней должна быть фиксированная область для действий «в процессе». В момент размышлений активируется контур «Сознательное + ЭГО-фильтр», позволяющий думать без вмешательства в симуляцию.

Определим «эпоху» в двух смыслах:

• В машинном обучении — полный проход по обучающим данным.
• В философском смысле — цикл восприятия и коррекции, при котором модель «проживает» данные, уточняя внутреннюю карту связей.

Логично привязать эпохи к шагам агента. Например, если агент идёт по знакомому пути длиной N клеток, он может «размышлять» N-1 раз.

Дополнения к архитектуре

Интересно дать группе «Бессознательное» прямое влияние на тело — имитация рефлексов. Но правильность такого подхода под вопросом.

Контур «Сознательное + ЭГО-фильтр» логичен в статичном мире. Но при появлении других агентов или динамических объектов необходимо постоянно обновлять входные данные — проверять, нет ли новых угроз или возможностей.

Всё это усложняет и без того сложную модель. Пока я остановлюсь на этих рассуждениях.

В этой статье представлена общая концепция ЭГО-фильтра. Конкретную реализацию и применение к прикладным задачам я опишу в следующих публикациях.

Модель симуляции

В качестве симуляции можно взять, например, мир RimWorld. Многое уже реализовано, но для обучения нужно внести изменения:

• Упростить игру: убрать оружие, экипировку, здания и строительство. Цель — выявить простые паттерны поведения и способность к логическим цепочкам.
• Ограничить видимость вокруг агента и реализовать запоминание карты («туман войны»). Чтобы выжить, агент должен помнить местоположение воды или других ресурсов.
• Добавить звуки. Каждая клетка (вода, дерево, животное) издаёт звук. Для агента — это дополнительный канал информации. Логика проста: чем ближе к источнику, тем громче звук.

Такие изменения сделают мир более комплексным. Будет интересно наблюдать, как в модели формируются ассоциации: «слышу звук воды» → «источник — вода».

Я опираюсь на принципы воплощённого ИИ, чтобы синтезировать свою систему.

Заключение

В моей архитектуре пока больше вопросов, чем ответов. Подтвердить, дополнить или опровергнуть теорию можно только в ходе экспериментов. Это — тема будущих статей.

Современные языковые модели демонстрируют отличные способности к рассуждению, но при этом остаются инструментами.Уинструмента нет выбора.В основе LLM лежит предсказание следующего токена. В основе агентных систем — оптимизация внешней целевой функции. В обоих случаях цель задана извне. Система не имеет права её пересмотреть.

Вы в праве сказать, что содержание статьи — это одна большая глупость, но я хочу предложить альтернативу. «Сознание» возникает не из сложности и объёма вычислений, а из архитектуры, где «Я» — не метафора в промте, а функциональный компонент системы.

Нам необходимо построить субъектность с нуля.

Немного вводных данных

Специалисты разных отраслей всё чаще выражают мысль, что экстенсивный рост в микроэлектронике и больших языковых моделях более невозможен. Пожалуй, самым популярным примером будетвысказываниесо-основателя OpenAI Ильи Суцкевера:

Мы переходим от эпохи скейлинга к эпохе исследований

Были обнаружены фундаментальные ограничения: данные конечны, вычисления дорожают, а качественные прорывы в поведении моделей замедляются. Напрашивается вывод, что для достиженияAGIнужна не оптимизация существующей парадигмы, а новая архитектура, так как необходимой вычислительной мощности мы уже достигли.

В мире уже существует отличный автономный агентOpenClaw. Как бы не радовались люди в соц. сетях, но это лишь инструмент для реализации задач. AGI в нашем случае — это субъект, который задачи может определять и выполнять. Получается, разработчики в достаточной мере позаботились о «теле» для AGI, но пока не могут наполнить «тело» сознанием.

К сожалению для всех читающих, в статье я не расскажу, как построить сознание для машин, но я попробую сделать маленький шаг в эту сторону.

Для корректности высказываний договоримся, что идеи, понятия и определения, которые я опишу могут оказаться в корне неверными. Пока не создан прототип и не определена его успешность, нельзя делать никаких выводов о работе системы (это просто бессмысленно). В любом случае, для меня очень важна критика, особенно если я изобретаю велосипед. Заранее благодарю за комментарии.

Теоретические основания

Однойиз главных проблем в создании AGI является отсутствие ответа на вопрос: «Что такое сознание?». Возможно, мы смогли приблизиться к ответу с помощьюмеметики. Теория меметики подразумевает, что наравне с ДНК (генами) у людей существует дополнительный, более абстрактный репликатор — мем. Нас интересуют 3 положения из данной теории:

1. Меметика: идеи как автономные агентыВработахДэниела Деннетта и Сьюзан Блэкмор развита концепция мемов — единиц культурной эволюции, которые конкурируют за внимание и воплощение в носителях.Ключевой тезис: человеческое «Я» является не источником идей, а фильтром. Мы не придумываем мысли, мы выбираем их из потока, порождённого культурной эволюцией и внешней средой.
2. Эго‑туннельТомас Метцингер в «Эго‑туннеле» предлагаеттеорию самомодели. Сознание — это виртуальная реальность, генерируемая мозгом. Внутри этой реальности существует модель самого себя как субъекта переживаний. Эта модель настолько прозрачна (мы не видим её как модель), что создаёт иллюзию «Я».
3. Теория ФильтраДональда БродбентаИдея, согласно которой мозг не источник сознания, а скорее фильтр, который отбирает наиболее значимые в данный момент сигналы.

Также был проведён ряд исследований и симуляций. Важные, на мой взгляд, я поместил в таблицу.

Наблюдение в симуляции

Ссылка на источник

Конкуренция за внимание

Мемы конкурируют за ограниченный ресурс внимания агентов

Эволюция сложности

Простые мемы постепенно усложняются до многослойных конструкций

Вариативность

Новые структуры появляются чаще, чем отбираются новые

Эффект ореола

Привлекательность источника влияет на передачу мема

Исследование

Культурное наследование

Агенты предпочитают мемы схожие с их историей

Теорию меметики часто критикуют и не просто так. Дело в том, что пока не удалось доказать основные положения теории и провести симуляцию или эксперимент, в которых мемы приводят агента к возникновению у него сознания. Также мне не удалось найти исследование симуляции, где реализовано равное взаимодействие генов и мемов (возможно, плохо искал). Вместе с этим из работы в работу разняться базовые определения сознания, субъекта, агента и т.д.

Размышления

Чтобы сдвинуться с мёртвой точки, можно выдвинуть гипотезу, далее проверить её в экспериментах и сделать соответствующие выводы.

Гипотеза:сознание агента проявляется от определённого устройства (архитектуры) среды, в которой существуют, функционируют и эволюционируют мемы, а также от накопления контекста из внешнего мира или симуляции при условии субъектности агента.

Подобная гипотеза не отрицает, что для проявления сознания необходимы определённый порог вычислительной мощности и сложность организации среды для эволюции мемов. Однако она обязывает описать такую модель сознания, которая будет порождать субъектность агента и в которой мы сможем наблюдать эволюцию мемов, а также симуляцию, в которой сознание сможет существовать.

Т.е. у нас получилось ограничить задачу до поиска подходящей архитектуры системы, а главным результатом в эксперименте станет синтез или имитация субъектности агента. Важно отметить, что у меня нет цели получить сознание в общем понимании этого слова. Для начала я хочу получить только 1 аспект — субъектность. Возможно, другие аспекты сознания (например интеллектуальность или индивидуальность) могут стать дополнительными слоями над субъектностью.

Какая архитектура позволит имитировать субъектность?

Модель сознания

Если обобщить теорию, то задача выглядит примерно так: необходимо имитировать малую часть человеческого сознания и дать ей возможность получать субъективный опыт.

Субъективный опыт формирует субъектность или же субъектность формирует субъективный опыт?

Пользуясь знаниями из нейробиологии, теории меметики и теории агентов установим ряд определений и положений для системы.

Приступим:

• Мир симуляции (далее симуляция) — упрощённая модель реального мира, функционирующая по определённым, заранее заданным, законами правилам для исследования поведения агентов.
• Агент — это автономная сущность, которая воспринимает среду (симуляцию) через сенсоры (программные или аппаратные), обрабатывает данные с использованием внутренней модели мира и воздействует на среду через эффекторы, а также подчиняется законам симуляции. Данное определение взято изтеории многоагентных систем(МАС). Для нашей модели дополним: агент является суммой «тела» и «сознания».
• Тело агента — ограниченная среда (интерфейс), созданная для взаимодействия сознания агента с симуляцией. Можно сказать, что тело — это проекция сознания в симуляции.
• Сознание агента — субъективный образ объективного мира (симуляции), который обеспечивает ориентацию агента в мире и возможность саморегуляции его деятельности. Сознание порождает субъективную конструкцию «Я».

Сознание агента дополнительно разделим на разное понимание «Я»:

• В широком смысле «Я» — все понятия, связанные с агентом: его сознание, мысли, память, субъектность, состояние тела, след агента в симуляции и память о выбранном агенте (его сущности и действиях) у других агентов.
• «Я» как субъект — сознание и тело агента, мыслительный процесс и управление телом.
• «Я» как сознание агента — если сознание «управляет» телом для взаимодействия с симуляцией, то можно ограничить конструкцию «Я» до сознания.

Перед тем как дать более узкое определение «Я», погрузимся в проектирование модели сознания.

На рисунке 1 я попробовал представить, как данную систему можно реализовать в общем плане. На рисунке 2 формальная блок‑схема.

Для нас более важен рисунок 1. Продолжим сужать понятие «Я». Информация, которая поступает из симуляции точно не является частью «Я». Далее можно уменьшить понятие «Я» до «сущности» принимающей решения. Тогда, если бессознательное и сознательное необходимы для формирования потока мыслей, то к понятию «Я» они тоже не относятся. Получаем конструкцию «ЭГО‑фильтр», которая в совокупности с памятью содержит в ряд функций:

1. World Model — предсказание событий
2. Self Model — скрытое состояние = «Я» + оценка параметров тела
3. Value Network — оценка действий
4. Goal System — проверка обучаемости (насыщения) модели

Идея заключается в обучении ЭГО‑фильтра не на зашумлённой информации из симуляции, а на тестировании гипотез и формирования обратной связи из симуляции посредством тела. Показатели тела ухудшаются = «Я» выбираю неверно. И ЭГО‑фильтр обучается когерентности (соответствию своей модели «понимания» симуляции), а не максимизации внешней награды.

Таким образом, агент сможет изучить симуляцию, оптимально решить задачу выживания, и в этот момент мы будем фиксировать насыщение модели и накладывать штраф за отсутствие изменений (можно сказать аналог скуки). Сработает Goal System и цель агента измениться с выживания на новую. Новая цель будет составлена с помощью дополнительной итерации сознательного из субъективного опыта, который агент получил в симуляции. Вариантов множество, и они ограничены лишь возможностями симуляции и моими знаниями в коде.

Настоящее непаханое поле для исследований деструктивного и девиантного поведения. Вишенка на торте — добавить старение агента, генетический алгоритм и взаимодействие «родитель‑ребёнок». Настоящий ужас программиста, но в этой статье точно не об этом.

Самое узкое определение: «Я»— фильтр поступающих мыслей, имеющий возможность реализовать их в мире симуляции с помощью тела. В архитектуре блок, отвечающий за «Я», называется ЭГО‑фильтр.

Из всего вышесказанного, основной задачей будет тренировка ЭГО‑фильтра.

Детальнее про Сознательное и Бессознательное

Если я ставлю такую задачу, и поток данных для ЭГО‑фильтра зависит от групп «Сознательное» и «Бессознательное», значит данные группы должны быть обучены заранее на искусственном датасете. Причём логика архитектуры из рис. 1 сохраняется. Сначала я обучаю группу «Бессознательное». Предполагаю, что я могу разделить данные для нескольких нейронных сетей. Звук для одной, местоположение для другой и так далее

Трудности возникают с определением принадлежности действия. Нужно ли вообще помечать данные, что на них оказал влияние агент? Скорее нет, чем да, потому что именно такой промежуточный результат мы хотим получить на группе «Сознательное».

Группа «Сознательное», формируя цепочки мыслей как раз и будет создавать имитацию субъективного опыта и логики взаимодействия с симуляцией для ЭГО‑фильтра. В группе «Сознательное» нейросети аналогичны друг другу, но имеют разные веса, чтобы создавать разные комбинации мыслей.

Время для сознания и агента различно

Рассмотрим ситуацию в нашем реальном мире: передвижение из пункта A в пункт B. Обусловимся, что это пешая прогулка длиной ~30 минут.

Пока тело выполняет одну задачу (передвижение), человеческое сознание может размышлять о разных контекстных вещах (субъективных переживаниях). Предположим, что в момент размышления органы чувств используются опосредовано, и мы сосредоточены на наших мыслях. Именно в подобные моменты приходят озарения. Было бы глупо лишать агента возможности «подумать».

Тогда нужно переопределить назначение кратковременной памяти. В ней должна быть фиксированная область для действий, которые находятся в статусе «в процессе выполнения». И в момент размышлений для агента формируется контур «Сознательное + ЭГО‑фильтр», позволяющий размышлять без изменений в симуляции. Об этом немного подробнее ниже.

Обратимся к определениям эпохи для модели:

Эпоха (epoch) в машинном обучении (ML) — это один полный проход по всему набору обучающих данных в процессе обучения модели, например, нейронной сети. Каждый образец используется ровно один раз для обновления весов модели.

В философском смысле эпоха — это цикл восприятия и коррекции: модель не просто просматривает данные, а заново их «проживает», каждый раз уточняя внутреннюю карту связей.

Если пользоваться данными определениями, то имеет смысл привязать систему отсчёта эпох к шагам агента в симуляции. Т.е., если агент хочет переместиться на расстояние N клеток (без учёта клетки цели и клетки где стоит агент) И дорога уже знакома, можно размышлять N-1 раз.

Дополнения к архитектуре

Было бы очень интересно дать возможность группе «Бессознательное» влиять на тело, имитируя рефлексы, но я не уверен в правильности такого подхода.

Контур «Сознательное + ЭГО‑фильтр» из жизни логичен, но в контексте задачи выживания агента является избытком. И в случае статичного мира (без животных) реализация очевидна, но как только в симуляции появляются другие сущности или агенты, необходимо каждый раз обновлять поток входных данных (нет ли никого или ничего нового вокруг).

Всё это усложняет и так сложную теоретическую модель, а это я даже пока к практике не перешёл. Я остановлюсь на этих рассуждениях.

В данной статье представлена общая концепция ЭГО‑фильтра. Более конкретную реализацию и применение данной архитектуры к прикладным задачам я опишу в следующих статьях.

Модель симуляции

С симуляцией всё намного проще. Например, мирRimWorld.

Многое уже реализовано, однако для обучения системы необходимо внести изменения:

• Игру необходимо упростить, чтобы лучше контролировать обучение. Удалить оружие, экипировку, здания и возможность их строить и так далее. Для первых экспериментов важно выявить простые паттерны в поведении модели и многократную способность составлять логические цепочки мыслей.
• Ограничить видимость на определённый радиус вокруг агента и реализовать запоминание карты (на игровом сленгетуман войны). Т.е., чтобы не умереть от жажды, агенту нужно запомнить местоположение клетки с водой или находиться рядом с водой, чтобы клетка была в зоне видимости. По аналогии с любым другим ресурсом.
• Помимо визуальной информации (для нас визуальной, а для агента текстура дерева — это лишь информация о клетке с параметром: дерево) будет полезно наполнить мир для агента звуками. Каждая определённая клетка (вода, дерево, животное) должно «издавать» звук. В первую очередь для агента. Из этого следует целая дополнительная система в симуляции с простой логикой: чем ближе к источнику, тем звук громче.

Подобные дополнения и ограничения сделают мир для агента более комплексным. Будет интересно понаблюдать за формированием взаимосвязей в модели (слышу звук воды→источник: вода).

По сути я пользуюсь положениями для реализации воплощённого ИИ (подходящее объяснение встатье) в данном вопросе, чтобы синтезировать свою систему.

Заключение

Всё же в моей архитектуре остаётся больше вопросов, чем ответов. Я могу только в ходе тестов и экспериментов подтвердить, дополнить или опровергнуть мою теорию. Это уже точно тема следующих статей.

❤Спасибо, что дочитали до конца.

Повторюсь, что буду рад комментариям с предложениями и критикой.