Народ выдает массовую острую реакцию на галлюцинации нейросетей. Выкатывают разработчикам претензии: «нейронка врет и игнорирует контекст!». Инженеры сначала пытались вяло отбиваться классическим: GIGO и RTFM. Но недовольство потребителя растет.
Сначала меня удивил масштаб этого хайпа. И я себя спросила: а почему я пару дней поговорила с нейросетью, увидела первый галюн и не удивилась, и не разозлилась? Я ей просто спокойно указала на несоответствие.
Инструменты и навыки
Макроуровень — профподготовка. Я системно натренирована видеть баги мышления и галлюцинации у людей и относиться к этому спокойно. Работа с абсурдом — моя специальность и прямая обязанность.
Но это недостаточный ответ. Он мгновенно возносит психотерапевтов и сопричастных на Олимп, что совершенно не соответствует действительности. Не может быть, чтобы мое мышление работало принципиально «лучше», чем у инженера. Процесс в голове идет ровно тот же самый.
Механика сбоя: Constraint Violation
Что здесь происходит с точки зрения мышления? Нарушение параметров (enum). Человеческий когнитивный аппарат не справляется с противоречием. Удерживать рамки задачи префронтальной корой — метаболически дорого. Поэтому мозг (Система 1) сбрасывает исходный промпт, ныряет в свою базу данных, находит привычный ассоциативный ряд(Алена -> Елена -> Лена), берет токен с самым высоким статистическим весом и выдает его.
В психологии этот феномен называют когнитивным искажением — jumping to conclusions (прыжок к выводам). Чинится он банальным промптом: «непонятно — спроси».
Разработчики бесятся, когда LLM на просьбу «отвечай только да или нет» начинает рассуждать. Но, глядя на это через клиническую оптику, напрашивается гипотеза. ИИ не сломан. Возможно, мы воссоздали собственный баг.