В последние годы прогресс в NLP принято измерять количеством параметров — чем больше, тем лучше. Однако для узкоспециализированных задач это не всегда оправдано. Мы исследовали, можно ли заранее, ещё до обучения, определить оптимальный размер модели на основе структуры данных.

Гипотеза и подход

Мы выдвинули гипотезу: структура текстов предметной области, отражённая в графе со-встречаемости слов, определяет минимально необходимую архитектуру трансформера. Вместо того чтобы выбирать модель «на глаз», мы предложили метод, при котором гиперпараметры выводятся из метрик графа.

Эксперимент проводился на задаче классификации приоритета студенческих запросов в университете. Мы прошли полный цикл — от анализа текстов до обучения и сравнения моделей разного размера — и показали, что минимальная модель, спроектированная на основе графа, достигает идеальной точности, превосходя более крупные аналоги в эффективности в десятки раз.

Данные и предобработка

В качестве датасета использовали 5000 студенческих обращений из файла university_query_train.csv. Каждое включало текст запроса, департамент и метку приоритета: High, Medium, Low. Задача — классификация по трём уровням срочности.

На этапе предобработки отказались от предобученных эмбеддингов и стоп-слов. Построили собственный словарь, включив только токены, встречающиеся не менее двух раз. В итоге получили 90 уникальных токенов — «чистый» язык предметной области.

Построение и анализ графа со-встречаемости

Граф строился с помощью библиотеки NetworkX: вершины — слова, рёбра — со-встречаемость в окне из пяти слов. Полученные метрики:

• Узлов: 86
• Рёбер: 824
• Плотность: 0,225 — граф достаточно связный
• Средняя степень узла: 19,16 — у каждого слова в среднем 19 соседей
• Коэффициент кластеризации: 0,617 — высокий, слова образуют устойчивые тематические группы
• Диаметр графа: 4 — максимальное расстояние между любыми двумя словами составляет всего 4 шага

Это говорит о высокой компактности и связности предметной области: информация передаётся через небольшое число промежуточных слов.

Переход от графа к архитектуре модели

Мы разработали эвристический метод перевода графовых метрик в гиперпараметры трансформера:

• Размер словаря (vocab_size): равен числу узлов — 86.
• Размерность эмбеддингов (d_model): зависит от средней степени и кластеризации.
  • Минимальная архитектура: 8 × log₂(avg_degree) × (1 + clustering) ≈ 55
  • Оптимальная: 20 × avg_degree × (1 + clustering × 0,5) ≈ 512
• Количество слоёв (num_layers): определяется диаметром графа.
  • Минимальное: ceil(diameter / 3) ≈ 2
  • Оптимальное: diameter + 2 ≈ 6
• Количество голов внимания (nhead): коррелирует с алгебраической связностью графа. Выбирается в диапазоне от 2 до 8.

Эксперимент и результаты

Были обучены три модели: минимальная (75K параметров), промежуточная и стандартная. Все использовали кросс-энтропийную функцию потерь и оптимизатор AdamW.

• Минимальная модель достигла точности Accuracy = 1,0 всего за пять эпох.
• Промежуточная и стандартная также показали идеальный результат, но требовали значительно больше ресурсов и времени.

Все модели справились с задачей, но минимальная оказалась в 43 раза эффективнее по количеству параметров.

Практические выводы

Эксперимент подтверждает: для специализированных задач избыточные параметры не улучшают качество, но резко увеличивают затраты. Граф со-встречаемости — это не просто аналитический инструмент, а основа для осознанного проектирования моделей.

1. Граф со-встречаемости отражает структуру предметной области. Его метрики дают понимание сложности и связности данных.
2. Размер модели должен соответствовать сложности данных. Для плотных и компактных графов крупные трансформеры избыточны.
3. Экономия может быть колоссальной: в нашем случае модель сократилась в десятки раз без потери качества. Это снижает затраты на вычисления и позволяет запускать модели на устройствах с ограниченными ресурсами.

Рекомендации для разработчиков

Чтобы спроектировать эффективную модель:

• Постройте граф со-встречаемости для вашего корпуса.
• Вычислите ключевые метрики: avg_degree, clustering, diameter, algebraic_connectivity.
• Используйте их для расчёта гиперпараметров:
  • d_model = k × avg_degree × (1 + clustering), где k = 8 (минимум) или 20 (оптимум)
  • num_layers = ceil(diameter / 3) (минимум), с возможным увеличением на 2–3 слоя
  • nhead от 2 до 8 — чем выше кластеризация, тем больше голов

Такой подход позволяет проектировать модели, в которых выбор архитектуры диктуется не модой, а математикой и структурой данных.

В последние годы мы привыкли, что прогресс в NLP измеряется гига- и терабайтами параметров. Кажется, единственный путь к улучшению качества модели — увеличение ее размера. Но так ли это для специализированных задач?

Мы решили пойти от обратного: можно ли заранее, еще до обучения, понять, насколько большой должна быть модель, чтобы эффективно решать конкретную задачу классификации?

Эксперимент строится на простой, но мощной гипотезе: структура текстов предметной области, отраженная в графе со-встречаемости слов, диктует минимально необходимую архитектуру трансформера. Мы прошли полный цикл — от анализа текстов студенческих запросов до обучения трех моделей разного размера — и подтвердили, что минимальная модель, спроектированная на основе графовых метрик, не уступает «стандартной» по качеству, превосходя ее по ресурсоэффективности в десятки раз.

1. Данные и постановка задачи

В качестве датасета мы использовали university_query_train.csv — 5000 студенческих обращений в университет. Каждая запись включает текст запроса, название департамента и метку приоритета (High, Medium, Low). Задача — классифицировать запросы по трем категориям срочности.

На этапе предобработки мы сознательно отказались от предобученных эмбеддингов и стоп-слов. Вместо этого построили собственный словарь, включив только токены, встречающиеся в корпусе не менее двух раз. Получился «чистый» язык предметной области — всего 90 уникальных токенов.

2. Построение графа со-встречаемости и его анализ

Ключевая идея — построить граф, где вершины — слова (токены), а ребра показывают, как часто эти слова встречаются рядом в тексте (в окне из пяти слов). Для построения мы использовали библиотеку NetworkX.

Полученные метрики:

• Узлов (токенов): 86
• Ребер (связей): 824
• Плотность графа: 0,225 (граф достаточно связный)
• Средняя степень узла: 19,16 (у каждого слова в среднем 19 соседей)
• Средний коэффициент кластеризации: 0,617 (высокий — слова формируют устойчивые тематические группы)
• Диаметр графа: 4 (максимальное расстояние между двумя словами — всего 4 шага)

Что из этого следует? Предметная область очень компактна. Слова тесно связаны друг с другом, а информация между любыми двумя понятиями передается через небольшое количество промежуточных токенов.

3. От графа — к архитектуре трансформера

Мы разработали эвристический метод, который транслирует метрики графа в гиперпараметры модели. Логика проста: архитектура должна соответствовать структуре данных.

1.Размер словаря (vocab_size) напрямую равен количеству узлов в графе (86).2. Размерность эмбеддингов (d_model) должна быть достаточной, чтобы закодировать информацию о связях слова.•Минимальная архитектура: 8 log2(avg_degree) (1 + clustering) ≈ 55. Оптимальная архитектура: 20 avg_degree (1 + clustering * 0,5) ≈ 512.•Количество слоев (num_layers) определяется диаметром графа. Минимальная: ceil (diameter / 3) ≈ 2 слоя. Оптимальная: diameter + 2 ≈ 6 слоев.

Количество голов внимания (nhead) коррелирует с алгебраической связностью графа (мерой его «кластеризуемости»). Значения варьируются от 2 до 8.

1. Размер словаря (vocab_size) напрямую равен количеству узлов в графе (86).
2. Размерность эмбеддингов (d_model) должна быть достаточной, чтобы закодировать информацию о связях слова.•Минимальная архитектура: 8 log2(avg_degree) (1 + clustering) ≈ 55.•Оптимальная архитектура: 20 avg_degree (1 + clustering * 0,5) ≈ 51
3. Количество слоев (num_layers) определяется диаметром графа.•Минимальная: ceil (diameter / 3) ≈ 2 слоя.•Оптимальная: diameter + 2 ≈ 6 слоев.
4. Количество голов внимания (nhead) коррелирует с алгебраической связностью графа (мерой его «кластеризуемости»). Значения варьируются от 2 до 8.

Итоговые архитектуры для эксперимента

Параметров (прибл.)

Минимальная

Промежуточная

Стандартная

«Стандартную» архитектуру мы включили специально — она близка к конфигурациям, которые часто выбирают «на глаз» для подобных задач.

4. Эксперимент и результаты

Все три модели обучались классифицировать приоритет запроса с использованием кросс-энтропийной потери и оптимизатора AdamW.

• Минимальная модель (всего 75K параметров) достигла идеальной точности (Accuracy = 1,0) на тестовой выборке за пять эпох.
• Промежуточная и стандартная модели тоже показали идеальный результат, но с гораздо большими затратами вычислительных ресурсов и времени.

Все три модели справились с задачей на 100%. Но минимальная сделала это в 43 раза эффективнее по количеству параметров.

«Стандартные» архитектуры часто содержат избыточную емкость для узких, специализированных задач. Здесь мы не просто сэкономили память — сократили время обучения и инференса, что критически важно для production-систем.

5. Выводы и практические рекомендации

Эксперимент подтверждает: графовый анализ текстов — не академическое упражнение, а рабочий инструмент инженера.

1. Граф со-встречаемости — карта предметной области. Его метрики (средняя степень, диаметр, кластеризация) дают четкое представление о сложности и связности данных.
2. Размер модели должен соответствовать сложности данных. Если граф маленький и плотный, нет смысла использовать гигантские трансформеры.
3. Экономия ресурсов может быть колоссальной. В нашем случае модель удалось уменьшить в десятки раз без потери качества — прямой путь к снижению затрат на облачные вычисления и к внедрению моделей на мобильных устройствах.

Методика для инженеров

Хотите спроектировать эффективную модель для своей задачи? Начните с графа со-встречаемости для вашего корпуса текстов. Вычислите ключевые метрики — avg_degree, clustering, diameter, algebraic_connectivity — и используйте их как отправную точку для гиперпараметров.

Размерность эмбеддингов считается по формуле

d_model = kavg_degree(1 + clustering),

где k — коэффициент от 8 (для минимальной архитектуры) до 20 (для оптимальной). Количество слоев определяйте через диаметр графа: ceil (diameter / 3) для начала, с возможностью добавить 2–3 слоя для более сложных зависимостей. Количество голов внимания — от 2 до 8, где большее значение соответствует большему числу потенциальных кластеров в графе.

Это первый шаг к осознанному проектированию архитектур, где выбор параметров диктуется не модой, а математикой и структурой данных.