Одна из особенностей современных трансформеров — односторонняя направленность механизма внимания. Он работает только в прошлое: каждый токен может обращаться лишь к предыдущим. Обычно это объясняют казуальностью: слово не может ссылаться на то, чего ещё не существует — например, на будущие слова в предложении.
Парадокс внимания
Но что происходит в уже сформированном предложении? Возьмём пример: «Зелёное яблоко лежит на столе». Слово «зелёное» описывает «яблоко» — логично предположить, что оно должно на него ссылаться. Однако в процессе генерации модель обрабатывает токены по одному. Когда она анализирует «зелёное», слово «яблоко» ещё не обработано — значит, внимание на него установить нельзя.
Даже если все слова уже известны, архитектура трансформера по-прежнему не позволяет ссылаться вперёд. Причина — не семантика, а вычислительная эффективность.
Роль KV-кэша
Ключевую роль здесь играет KV-кэш — механизм, хранящий вычисленные значения Key и Value для каждого токена. Это позволяет не пересчитывать их при генерации следующих токенов, что критично для скорости и масштабирования.
Если бы внимание могло работать вперёд, при добавлении нового токена все предыдущие KV-значения пришлось бы пересчитывать — потому что теперь они могли бы на него ссылаться. Это полностью свело бы на нет выгоду от кэширования.
Проблема критического мышления у LLM
В ходе эксперимента с различными моделями (Sonnet, ChatGPT, Mistral) выявилась тревожная закономерность. Изначально модели ссылались на общепринятое объяснение — «слово не знает будущего». При уточнении — «а если все слова уже есть?» — некоторые признавали, что «зелёное» может ссылаться на «яблоко».
Но стоило упомянуть KV-кэш, как модели мгновенно «вспоминали»: нет, вперёд ссылаться нельзя — это нарушит работу кэша. То есть модели обладают знанием, но не способны самостоятельно его связать с контекстом.
Модели дают либо среднестатистический ответ, либо соглашаются: «Вы абсолютно правы» — даже если утверждение противоречиво.
Не удалось заставить ни одну модель самостоятельно прийти к выводу о роли KV-кэша. Только при прямом упоминании термина происходила «эврика».
Тревожные выводы
Этот эксперимент вскрывает две проблемы:
- Современные LLM слабы в критическом мышлении и логической интеграции знаний.
- Экспертное сообщество часто повторяет упрощённые объяснения, не вникая в технические детали — например, роль KV-кэша в ограничении внимания.
Если даже продвинутые модели не могут связать базовые принципы своей архитектуры, вопросы к их использованию в исследовательских агентах становятся всё более обоснованными.