Мысленная визуализация задействует те же сенсорные нейронные коды, что и физическое зрительное восприятие. Это открытие проливает свет на механизмы воображения и может повлиять на развитие архитектур искусственного интеллекта.
Способность человека мысленно представлять образы важна для воспоминаний, пространственного мышления и творчества. Однако нейронные основы этого процесса долгое время оставались неясными. Ранние исследования с помощью фМРТ показывали, что воображение активирует те же области мозга, что и зрение. Но из-за низкого разрешения этих методов было невозможно определить, участвуют ли одни и те же нейроны с идентичными характеристиками. Ответ пришёл благодаря регистрации активности отдельных нейронов.
Эксперименты с внутричерепной записью показали, что мозг повторно использует одни и те же сенсорные коды при восприятии и воображении. Вентральная височная кора (ВВК) применяет так называемое осевое кодирование для обработки визуальных образов. При мысленной визуализации часть этих нейронов реактивируется, причём сила их отклика сопоставима с реакцией на реальные объекты.
Эти данные подтверждают гипотезу о генеративной модели мозга: абстрактные репрезентации запускают внутренний сенсорный код, формируя физиологическую основу воображения.
Осевое кодирование в вентральной височной коре
Исследование сосредоточилось на вентральной височной коре — ключевой области, отвечающей за распознавание объектов. В эксперименте участвовали 16 пациентов с эпилепсией, которым временно имплантировали электроды для диагностики очагов приступов. Им показывали изображения лиц, животных, растений, текста и бытовых предметов.
Из всех проанализированных клеток 456 нейронов избирательно реагировали на определённые визуальные категории, образуя сеть, кодирующую изображения. Для изучения их активности учёные использовали глубокие нейросети, способные представлять объекты как координаты на множестве осей.
Оказалось, что около 80% реагирующих нейронов (367 из 456) «настроены на оси» — их активность зависит от степени совпадения визуального стимула с их предпочтительными характеристиками.
Существование осевого кода было подтверждено экспериментально: исследователи обучили генеративную нейросеть создавать новые изображения, основываясь исключительно на предсказаниях, сделанных по активности нейронов. Эти изображения вызывали ожидаемую реакцию у мозга пациентов.
«Мы использовали глубокие визуальные нейросети для создания числовых описаний объектов, чтобы понять код нейронов. Затем мы проверили этот код с помощью генеративного ИИ: создали новые изображения и успешно предсказали реакцию мозга пациентов на них».— Варун Вадия (Varun Wadia), ведущий автор исследования (Cedars-Sinai и Caltech)
Интересно, что этот механизм полностью совпадает с осевым кодированием, ранее обнаруженным у приматов в работах Дорис Цао (Doris Y. Tsao). Успешное предсказание реакций мозга подтверждает, что осевое кодирование — фундаментальный механизм, общий для людей и приматов.
Реактивация во время мысленной визуализации
Учёные проверили, использует ли воображение те же нейроны, что и зрение. Шестеро участников были попрошены детально представить ранее показанные объекты.
Данные показали, что около 40% «осевых» нейронов (43 из 107) значительно активируются при воображении. Как и при зрении, сила активации пропорциональна значению проекции на ось.
Это означает, что воображение действительно вызывает реактивацию тех же нейронов, но задействует лишь подмножество (около 40%) из них. По силе активации можно декодировать мысленные образы, реконструируя изображения на основе положения на осях. При этом мозг чётко различает восприятие и воображение — вероятно, благодаря разной степени активации.
«Мы генерируем мысленный образ ранее виденного объекта, реактивируя те самые клетки мозга, которые использовали для его восприятия в первый раз. Наше исследование раскрыло код, который мы используем для воссоздания этих изображений».— Уэли Рутисхаузер (Ueli Rutishauser), соавтор исследования (Cedars-Sinai и Caltech)
Результаты подтверждают генеративную модель восприятия: воспоминания, хранящиеся в других зонах мозга, запускают реактивацию визуального кода в ВВК, что приводит к реконструкции перцептов — субъективных образов восприятия.
Применение в психиатрии и разработке ИИ
Открытие механизмов повторного использования сенсорного кода открывает перспективы в медицине и нейротехнологиях. Способность различать восприятие и воображение особенно важна при лечении галлюцинаций, характерных для ПТСР, ОКР и шизофрении.
«Дальнейшее изучение этого нейронного процесса может открыть пути к разработке новых методов лечения посттравматического стрессового расстройства, обсессивно-компульсивного расстройства и других психических состояний, связанных с неконтролируемыми яркими образами».— Адам Мамелак (Adam Mamelak), соавтор исследования (Cedars-Sinai)
Поскольку при воображении активируется лишь около 40% визуального кода, между паттернами активации при зрении и воображении существует физиологическая разница. Вероятно, здоровый мозг использует степень активации ВВК для распознавания реальности. При психических расстройствах этот механизм может нарушаться. Это даёт основу для разработки терапий, направленных на нормализацию активности в этой зоне.
В области искусственного интеллекта открытие указывает на перспективу использования единого кода для восприятия и генерации. Современные ИИ-архитектуры часто разделяют эти функции, но объединение кодов может упростить и усилить системы.
Интеграция генеративной обратной связи в процесс восприятия может повысить эффективность ИИ. Использование генеративных и дискриминативных моделей для проверки осевого кода — яркий пример синергии нейробиологии и искусственного интеллекта.
Кроме того, принцип осевого кодирования поможет создавать более точные модели зрительной коры в исследованиях на животных, особенно при разработке терапий для нарушений памяти и восприятия. Поскольку механизм одинаков у приматов и людей, такие исследования остаются релевантными.
Оставшиеся вопросы и ограничения
Несмотря на успехи, многие аспекты остаются неясными:
- Механизм запуска: Как репрезентации из памяти выбирают нужные нейроны и как они активируются? В будущем необходимо изучить связи между гиппокампом и вентральной височной корой во время воображения.
- Низкий процент реактивации (40%): Это может означать, что воображение вовлекает дополнительные контуры, модулирующие активность нейронов в ВВК.
«Срабатывают ли подобные механизмы при более сложных формах визуализации — например, при способности придумать с нуля совершенно новое произведение искусства — еще предстоит выяснить. Но теперь у нас есть четкая гипотеза того, как это может работать».— Уэли Рутисхаузер
Следует учитывать и методологические ограничения. Все участники — пациенты с эпилепсией. Хотя электроды располагались в здоровых тканях, заболевание могло повлиять на результаты. Кроме того, выборка для этапа с воображением невелика из-за строгих критериев отбора.
Также важно не переоценивать результаты: декодирование мысленных образов возможно только при наличии априорных данных об осевом коде конкретного человека. Это лабораторный эффект, а не шаг к устройствам для «чтения случайных мыслей».
Люди визуализируют образы благодаря реактивации вентральной височной коры. Мозг использует осевое кодирование как при зрении, так и при воображении. Воображение задействует меньшее количество нейронов, но опирается на те же клетки и тот же базовый код. Разница в уровне активации, по-видимому, и позволяет нам отличать реальность от иллюзии.
Раскрыв этот код, учёные наметили путь к лечению психиатрических расстройств, связанных с нарушениями восприятия. Более глубокое понимание взаимодействия осевого кода с другими зонами мозга ускорит разработку новых терапий.