В предыдущей статье я пытался определить пределы применения LLM в решении творческих и исследовательских задач. В этой статье рассмотрим, насколько большие возможности у языковых моделей в области продуктовых и маркетинговых исследований в бизнесе.
Существуют задачи, которые LLM уже сейчас выполняют успешно, и те, с которыми они не справляются. Цель статьи — понять, какие исследовательские подходы могут быть полностью автоматизированы, а где участие человека останется необходимым даже при достижении LLM своего технологического предела — при условии, что их архитектура не изменится принципиально.
Исследования в позитивистской традиции
В позитивистской логике познание — это способ получения объективного знания о мире. Исследовательские методы рассматриваются как инструменты для извлечения этого знания из реальности. Различия между ними носят инструментальный характер: точность, скорость, стоимость.
Предполагается, что социальная реальность объективна, а цели и ценности людей — данность, существующая независимо от исследователя. Задача — лишь выбрать правильный метод, чтобы обнаружить нужные сущности в сознании респондентов.
Например, в методе Кано предполагается, что пользователь уже осознаёт свойства продукта и может соотнести их с уровнем удовлетворённости. Ключевые различения — какие свойства важны и как они связаны с ценностью — фиксируются заранее.
Этот подход превращает глубинные интервью в нечто среднее между допросом и анкетированием. Интервью строго структурировано, чтобы ответы можно было однозначно сопоставлять. Информант — носитель готового знания, а исследователь — следователь, который должен извлечь «истинные» ответы.
Конструктивистская позиция
Исследовательские подходы — не нейтральные инструменты. Каждый из них несёт в себе определённое видение мира: набор различений, через которые реальность становится наблюдаемой и описываемой.
Возьмём метафору вопросов. Их делят на «открытые» и «закрытые», будто между ними чёткая граница. Но любая формулировка задаёт рамку — систему различений. Даже вопрос «Расскажите, что для вас важно при выборе кофе?» уже содержит предмет («кофе»), контекст выбора и предположение, что у человека есть осознанные критерии.
Всё исследование устроено аналогично — это масштабированный вопрос к миру. Цель, метрики и метод сбора данных очерчивают невидимый контур, за который невозможно выйти в результатах. Поэтому спор «количка против кача» бессмысленен: опрос с чекбоксами — узкий кадр, глубинное интервью — широкоугольник. Разница не в типе, а в степени фрейминга и в том, какой фрагмент реальности описывается.
Классификация исследовательских подходов
Познание социальной реальности — это не извлечение фактов, а работа с различениями, которые делают эти факты возможными. Люди не «видят мир как есть», а проводят различия (между важным и неважным, удобным и неудобным) и через них конструируют реальность.
Исследование — это способ работы с различениями, и он зависит от уровня познания. На разных уровнях различения либо принимаются как заданные, либо уточняются, либо ставятся под вопрос и пересобираются.
Можно выделить три уровня:
- Уровень 1: Исследование как наполнение матрицы знания
- Уровень 2: Исследование как формирование матрицы знания
- Уровень 3: Исследование как создание матрицы знания
«Матрица знания» — это система различений, через которую описывается реальность: какие сущности выделяются, какие свойства им приписываются, какие связи считаются допустимыми. Это невидимая рамка, внутри которой возможны «факты» и их интерпретация. Рассмотрим уровни подробнее.
Уровень 1: Наполнение матрицы знания
На этом уровне различения заданы заранее и представлены в виде атрибутов, метрик или категорий. Они воспринимаются как характеристики реальности, не требующие уточнения. Исследование сводится к сбору данных и применению фиксированной процедуры. Результат — «факт»: число или категория, соответствующая заранее заданной системе.
Нет обратной связи с реальностью на уровне различений: данные могут меняться, но сама система не корректируется. Несоответствия интерпретируются как шум или ошибка, а не как повод пересмотреть основания описания.
К этому уровню относятся:
- Исследования на основе описательной или байесовской статистики: воронки продаж, NPS, CSI, индексы конверсии, модели приоритизации (Кано, MaxDiff, TURF)
- Исследования с t-тестами и ANOVA: A/B-тесты для сравнения вариантов
- «JTBD-интервью», «CustDev-интервью», юзабилити-тестирование — формализованные практики, близкие к качественному контент-анализу
- Ценовые исследования (Van Westendorp, Gabor-Granger, Conjoint) — описательная статистика и регрессионные модели
Задачи этого уровня не требуют LLM. Большинство можно было автоматизировать и раньше — они сводятся к линейным алгоритмам. Ограничения были инженерными, а не принципиальными. LLM лишь снимают издержки формализации, позволяя воспроизводить алгоритмы без явного программирования.
Переход ко второму уровню начинается, когда метрики расходятся с реальностью. Например, NPS высокий, но клиенты уходят. На уровне 1 это объясняют техническими причинами: ошибка выборки, неправильный момент измерения. Исследователь пытается «починить» процесс, оставаясь в рамках системы.
Если корректировки не помогают, возникает концептуальный вопрос: что мы вообще измеряем? Что значит «лояльность» в этом контексте? Это и есть переход ко второму уровню.
Уровень 2: Формирование матрицы знания
Здесь признаётся, что различения не заданы изначально, а формируются в процессе исследования. Цель — найти такую конфигурацию различений, которая лучше всего соответствует реальности. Появляется обратная связь: категории уточняются, формулировки меняются, модель подстраивается под данные.
Объективность и повторяемость перестают быть главными целями. Допускается интерпретация. Растёт роль исследователя — его опыта, насмотренности, способности видеть значимые различия. Однако границы есть: метод задаёт допустимые способы изменения различений.
К этому уровню относятся исследования, требующие интерпретации и постепенного уточнения, например:
- Абдуктивный анализ
- Конструктивистская обоснованная теория (Чармаз)
- Рефлексивный тематический анализ (Браун и Кларк)
Сюда не относятся жёстко формализованные подходы, такие как контент-анализ по Майрингу.
Типичные формулировки: «построение модели принятия решений» или «уточнение концептуальной модели продукта». В количественных исследованиях — сегментация ЦА в сложных продуктах, где требуется интерпретация: выбор метода, количество кластеров, описание сегментов.
Такие исследования принципиально возможны на LLM, но только при вмешательстве в параметры модели. Промптинг и RAG (Retrieval-Augmented Generation) здесь недостаточны.
Подходы вроде LoRA (Low-Rank Adaptation) и Representation Engineering (RepE) выглядят перспективно: они позволяют модифицировать веса или активации, тем самым уточняя систему различений — то есть корректируя семантическое поле, в котором модель интерпретирует данные. Эти методы уже могут работать на существующем оборудовании за разумное время.
Метод и интуиция исследователя позволяют в цикле обратной связи приближать модель к реальности. Но у этого процесса есть предел: сам метод — это тоже система различений, которая задаёт границы возможного.
Когда новые итерации перестают давать содержательные изменения — воспроизводят банальности или глупости — это сигнал о достижении предела. Внутри системы это невозможно осознать: банальности кажутся здравым смыслом, новизна — ошибкой.
Если бы LLM обладала сознанием, она не смогла бы понять, что галлюцинирует, потому что воспринимала бы свои ответы как корректные. Чтобы увидеть галлюцинацию, нужно сделать объектом анализа не результат, а самого себя как исследователя — включить в обратную связь собственную систему различений. Это и есть переход к третьему уровню.
Уровень 3: Создание матрицы знания
На этом уровне система различений сама становится объектом исследования. Исследователь работает не только с данными, но и с тем, через что они осмысляются. Он может ставить под вопрос исходные категории, пересматривать понятия и создавать новые различения.
Субъективность перестаёт быть помехой — она становится частью познания. Исследование превращается в герменевтический круг, где в обратную связь включается не только результат, но и сама модель. Меняется не отдельный элемент, а вся система различений — вместе с тем, какие факты вообще могут быть сформулированы.
Здесь такие понятия, как «проблема», «ценность», «продукт», не принимаются как заданные. Исследование направлено не на описание внутри рамки, а на выявление и пересборку самой рамки.
Типичные формулировки: «анализ того, как стратегические задачи трансформируются в операционные решения», «анализ языка успеха и неуспеха в компании», «анализ культурных кодов бренда».
С методологической точки зрения сюда относятся:
- Мультимодальный семиотический анализ (Кресс)
- Критический дискурсивный анализ
- Фукоянский дискурсивный анализ
Однако уровень определяется не методом, а тем, становится ли объектом анализа сама система различений.
Реализация таких исследований на LLM требует способности включать в обратную связь собственную систему различений — то есть изменять семантическое поле в процессе работы. На текущей архитектуре это технически невозможно: у модели нет механизма для устойчивой и управляемой трансформации своей системы различений в ходе одного процесса.
Можно попытаться симулировать такую обратную связь, связав несколько моделей в итеративный цикл: одна генерирует, другая критикует и возвращает результат. Такие архитектуры уже используются — например, self-reflection и multi-agent системы.
Но это не полноценная обратная связь второго порядка, а её приближение: все модели работают в рамках одной и той же системы различений. Это можно назвать «обратной связью порядка 1.5».
Поэтому современные LLM не могут самостоятельно проводить исследования третьего уровня — например, анализировать дискурсивные рамки компании или выявлять, как в ней формулируются проблемы.
В то же время они могут быть мощным инструментом для исследователя, который занимается такой работой.
Если система способна оперировать другими системами, ничто не мешает ей построить репрезентацию самой себя. В терминах Дугласа Хофштадтера — это форма сознания. Но LLM в текущей архитектуре принципиально не способны к этому: они не могут сделать свою систему различений объектом устойчивой трансформации.
Тем не менее, в ближайшей перспективе LLM смогут полностью выполнять задачи первого уровня, а затем и второго. Именно эти уровни составляют подавляющее большинство современных бизнес-исследований. Это означает, что основной объём исследовательской работы будет автоматизирован.
Что это значит для индустрии? Вот несколько прогнозов:
- Большинство исследований станет коммодити — доступной за небольшие деньги. Конкуренция сместится в сторону стратегических, брендинговых и культурных исследований, требующих работы с системой различений.
- Исчезнет разделение между UX-исследователями, CX-менеджерами, аналитиками и маркетологами. Появится новая роль — «философ-исследователь», координирующий ансамбль LLM-агентов с разными профилями.
- Размывается граница между бизнес-практиками и академической теорией. Работа на уровне систем различений требует философского и методологического мышления, делая разделение на «прикладное» и «теоретическое» менее релевантным.