Перед вами PDF на 30 страниц с десятками архитектурных чертежей. На каждом — кухня, ванная или офис с рядом шкафов. Задача: определить каждый шкаф, понять его тип, подсчитать двери и полки, считать размеры и подобрать подходящие позиции из каталога с сотнями артикулов.

В строительстве и дизайне интерьеров эту работу до сих пор выполняют вручную. Специалисты часами сверяют чертежи с каталогами — рутина, отнимающая десятки человеко-часов на проект.

Мы автоматизировали процесс и создали систему, которая принимает PDF с чертежами и каталог мебели, а на выходе выдаёт рекомендации с точностью 87%.

Рассказываем, как прошли путь от наивной попытки использовать одну мультимодальную модель до продуманного пайплайна, сочетающего YOLO, кластеризацию, Gemini и трансформеры для семантического поиска.

Наивный подход: всё в одну LLM

Первая идея была простой: отправить изображение чертежа и каталог напрямую в мультимодальную модель. Мы начали с Gemini 2.5 Pro — на тот момент она показывала лучшие результаты в визуальных задачах.

Для простых случаев модель справлялась. Но при масштабировании возникли проблемы.

• Несовпадение модальностей: чертежи в 2D, каталог — в 3D-рендерах. Визуально это разные представления одного объекта, и модель не всегда устанавливает соответствие.
• Специфика типов шкафов: у каждого типа — свои признаки (выдвижной, навесной, с остеклением). Один промпт не может охватить все правила.
• Ошибки подсчёта: модель систематически ошибалась в количестве шкафов и «галлюцинировала» размеры — критично для подбора.

Мы протестировали три топовые модели на 20 планах и полном каталоге из 120 страниц (около 1500 шкафов). Ни одна не достигла приемлемого качества.

Затем попробовали RAG: структурировали каталог, чтобы улучшить поиск. Это немного помогло (до ~40% у Gemini), но фундаментальные ошибки остались.

Проблемы были в визуальном анализе. Мы приняли решение: разделить задачу на специализированные этапы и использовать для каждого свой инструмент. Это стало переломным моментом.

Подзадачи и финальная архитектура

Мы разбили задачу на пять этапов:

• Детекция шкафов на чертеже
• Кластеризация шкафов
• Извлечение размерностей
• Описание признаков шкафа
• Семантический поиск и ранжирование по каталогу

Этап 1: детекция шкафов

Первый этап — самый важный. Ошибка здесь распространяется на все последующие шаги.

Мы разметили более 5000 планов, выделив классы шкафов. Точность детектора достигла 96% (mAP@0.5) — высокий результат для разнообразных стилей чертежей.

Главная сложность — вложенные шкафы. Например, двухдверный шкаф может состоять из двух однодверных, а высокий — из навесного и нижней части.

Мы решили это с помощью иерархии bbox: алгоритм анализирует перекрытие детекций, строит дерево родитель-потомок и исключает дубликаты. Если однодверный шкаф полностью вписан в двухдверный того же класса — система понимает, что это единый объект.

Этап 2: кластеризация шкафов

После детекции нужно сгруппировать визуально одинаковые шкафы. Это важно для точного подсчёта и уменьшения нагрузки.

Мы реализовали два режима в зависимости от класса:

• По ключевым точкам: строится матрица попарных расстояний между признаками (ручки, паттерны дверей). Работает хорошо для шкафов с текстурными деталями.
• По геометрическому сходству: нормализованные изображения шкафов сравниваются по попарному расстоянию. Эффективно для геометрических паттернов.

Этап 3: извлечение размерностей

Размеры — ключевой параметр. На чертежах они указаны по-разному: выносные линии, коды (например, ZW 34|24|36), надписи.

Разработка универсального детектора размеров была бы сопоставима по сложности со всем пайплайном. Слишком много стилей: со стрелками, без, с кодировкой, с ручными подписями.

Вместо этого мы используем vLLM: отправляем кроп шкафа и весь план. Модель находит шкаф и считывает размеры.

На тесте из 100 планов:

• Gemini 2.5 Pro — 81%
• Gemini 3 — 87%

Рост точности стал важным бустом для всей системы.

Этап 4: описание признаков и подготовка каталога

4.1 Описание признаков

Этот этап — сердце системы. Качество подбора зависит от точности описания.

Для каждого шкафа генерируется структурированный JSON с признаками, специфичными для его класса. Каждый класс имеет свой промпт с детальными инструкциями: как отличить дверь от полки, проверить остекление и т.д.

Мы сравнили три модели:

• Gemini 2.5 Pro: качественные описания, но ошибки в остеклении и подсчёте полок
• GPT-4: ошибки в подсчёте, краткие описания
• Gemini 3: минимальное количество ошибок, точный подсчёт, детальные описания

Переход на Gemini 3 дал самый значительный прирост в качестве.

4.2 Подготовка каталога

Каталог мебели мы перевели в машиночитаемый формат. Каждый артикул описан в JSON с теми же признаками, что и шкафы на чертежах.

Для описания 3D-рендеров использовали GPT-4 (оригинал упоминал GPT-5, но на момент публикации GPT-5 не существует; скорее всего, имелся в виду GPT-4). Модель генерирует текстовое описание и выделяет признаки. Каталог хранится как набор JSON-файлов.

Мы выбрали текстовые признаки, потому что визуальные эмбеддинги не позволяют точно различить шкафы, отличающиеся лишь количеством полок или остеклением.

Этап 5: рекомендательная система

Финальный этап — поиск топ-3 подходящих артикулов для каждого шкафа. Процесс включает три фазы:

• Фильтрация: по классу шкафа применяются специфичные правила (например, количество ящиков). Реализовано три прохода с постепенным ослаблением условий, чтобы найти альтернативу, даже если точного совпадения нет.
• Проверка размеров: кандидаты сверяются по габаритам. Если ни один не подходит — включается режим без фильтрации по размеру.
• Ранжирование: оставшиеся кандидаты оцениваются по композитному скору, учитывающему сходство признаков и размеров.

Результаты

Итоговая точность системы:

• Детекция шкафов — 96%
• Извлечение размерностей — 87%
• Описание признаков — 87%
• Точность рекомендации — 87%

По сравнению с начальным подходом (максимум 34% у Gemini 2.5 Pro), это прирост более чем в 2.5 раза. Обработка документа занимает 5–7 минут — на порядок быстрее ручного способа.

Заключение

• LLM пока не всесильны. Мультимодальные модели не справляются с комплексными задачами, требующими одновременного анализа, подсчёта и поиска. Разделение на этапы дало кратный прирост качества.
• Специфичные правила критически важны. Без учёта вложенности и предметных ограничений универсальный матчинг работает плохо. Знание предметной области не заменить одной нейросетью.
• Gemini 3 — заметный прорыв. Переход с Gemini 2.5 Pro дал прирост 6–13% на разных этапах. Качество визуального анализа архитектурных чертежей существенно выросло.

Перед вами PDF документ на 30 страниц с десятками архитектурных чертежей (elevation). На каждом кухня, ванная или офис с рядами шкафов. Ваша задача: определить каждый шкаф на чертеже, понять его тип, подсчитать количество дверей и полок, считать размерности и по этим данным найти наиболее подходящие позиции в каталоге мебели, который содержит сотни артикулов.

В мире строительства и дизайна интерьеров эту работу до сих пор делают вручную: специалисты часами листают каталоги, сверяют размеры и характеристики. Строительные компании, дизайн-студии, подрядчики по отделке все они сталкиваются с одной и той же рутиной, которая отнимает десятки человеко-часов на каждый проект.

Мы решили автоматизировать этот процесс и построили систему, которая принимает на вход PDF с архитектурными чертежами и каталог мебели, а на выходе даёт список рекомендаций с точностью 87%.

В этой статье мы расскажем, как проходили путь от наивной веры в всемогущие vLLM до продуманного пайплайна, комбинирующего YOLO детекцию, кластеризацию компьютерного зрения, Gemini для извлечения признаков и трансформеров для семантического поиска по каталогу.

Содержание

• Наивный подход: скормить все в LLM
• Подзадачи и финальная архитектура решения
• Этап 1: детекция шкафов на чертеже
• Этап 2. Кластеризация шкафов
• Этап 3. Извлечение размерностей
• Этап 4. Описание признаков шкафа
• Этап 5. Семантический поиск и ранжирование по каталогу
• Результаты
• Заключение

Наивный подход: скормить всё в LLM

Первая мысль была простой и, как потом оказалось, наивной. Зачем писать сложную систему, если можно отправить изображение чертежа вместе с PDF каталогом прямо в мультимодальную модель? Берём лучшую vLLM, даём ей всё в контекст и получаем результат.

Мы начали с Gemini 2.5 Pro, которая на момент тестирования показывала лучшие результаты в визуальных задачах. Отправляли фото плана и урезанный каталог из 15 страниц, на каждой по 10-16 шкафов. Для простых типов мебели модель справлялась, могла найти и порекомендовать нужный шкаф.

Проблемы начались при масштабировании. Когда каталог вырос с 15 до 120 страниц (порядка 1500 шкафов), модель стала захлебываться объёмом информации. Кроме того, обнаружились фундаментальные несоответствия:

• Несовпадение модальностей: каталог представлен в 3D рендерах, а чертежи в 2D формате. Визуально это совершенно разные представления одного и того же объекта, и модель не всегда находит соответствие между ними.
• Специфика типов шкафов: у каждого типа (выдвижной, навесной, умывальник, полочный) свои особые признаки и правила подбора. Одному промпту невозможно передать все тонкости, и модель не способна удержать эти правила в контексте.
• Ошибки подсчёта: модель систематически ошибалась в подсчёте количества шкафов на плане и галлюцинировала размерности, а это критически важные параметры для подбора.

Следующим шагом было найти лучшую модель, и мы протестировали три ведущие модели на выборке из 20 планов с полным каталогом (120 страниц):

Сильные стороны

Слабые стороны

Gemini 2.5 Pro

Лучше других в анализе изображений

Сбивается в подсчёте, галлюцинирует размеры

Точнее считает количество шкафов

Не может подобрать по каталогу, отвечает случайно

Grok 4 (xAI)

Среднее между Gemini и GPT

Уступает Gemini в глубине анализа

Результаты были неутешительными: ни одна из моделей не смогла даже приблизиться к приемлемому качеству. Стало понятно, что задача слишком многогранна для единого end to end решения на базе vLLM.

Однако, прежде чем отказаться от “наивного” подхода, мы попробовали структурировать каталог через RAG (Retrieval-Augmented Generation). Идея была в кодировке каталога таким образом, чтобы модель лучше ориентировалась в нем.

Мы протестировали несколько стратегий индексации PD-каталога, включая чанкирование по страницам и семантическое разбиение. RAG немного улучшил качество поиска по каталогу (до ~40% у Gemini), однако фундаментальные проблемы остались нерешенными: подсчёт количества шкафов, галлюцинации размеров и путаница в типах мебели.

Эти ошибки были на стороне визуального анализа. В итоге мы приняли решение: разделить задачу на специализированные подзадачи и использовать для каждой наиболее подходящий инструмент. Это стало переломным моментом проекта.

Подзадачи и финальная архитектура решения

Проанализировав ошибки и сильные стороны каждого подхода, мы декомпозировали задачу на пять последовательных этапов, каждый из которых решается наиболее подходящим инструментом:

• Этап 1. Детекция шкафов на чертеже
• Этап 2. Кластеризация шкафов
• Этап 3. Извлечение размерностей
• Этап 4. Описание признаков шкафа
• Этап 5. Семантический поиск и ранжирование по каталогу

Этап 1. Детекция шкафов

Первый и самый важный этап – точно обнаружить каждый шкаф на чертеже. Если ошибка случается здесь, она каскадом распространяется на все последующие шаги. А это очень плохо.

Для обучения мы разметили более 5000 оригинальных планов, выделив определенные классы шкафов, благодаря, которым можно будем в будущем отдельно рекомендовать позиции из каталога. Итоговая точность детектора на тестовом датасете составила 96% (mAP@0.5). Это достаточно высокий результат для архитектурных чертежей, учитывая разнообразие стилей.

Самая нетривиальная проблема детекции – вложенные шкафы. На чертежах одни шкафы визуально вложены в другие.

Например, высокий однодверный шкаф может состоять из навесного шкафа сверху и нижней части, а двухдверный – это два однодверных рядом. И важно, чтобы модель это понимала как отдельный большой шкаф, а не несколько составляющих.

Мы решили эту проблему введением правил иерархии детектируемых bbox. Алгоритм анализирует перекрытие детекций, строит иерархию типа родитель-потомок и исключает дубликаты. Например, если однодверный шкаф полностью вписан в двухдверный того же класса, то система понимает, что это агрегация из однодверных.

Этап 2. Кластеризация шкафов: два режима

После детекции нужно сгруппировать визуально одинаковые шкафы. Это важный шаг и вот почему:

• Во-первых, это позволяет точно подсчитать количество одинаковых шкафов.
• Во-вторых, если два шкафа визуально идентичны, достаточно описать один и назначить общий результат подбора – это уменьшает количество работы.

Мы реализовали два подхода, выбор между которыми зависит от класса детекции:

• Алгоритм вычисляет ключевые точки для каждого шкафа, строит матрицу попарных расстояний по которым и проводит группирования классов. Такой подход хорошо работает для шкафов с явными текстурными признаками, такими как ручки, паттерны дверей.
• Алгоритм нормализует шкаф и рассчитывает попарное расстояние схожести. Такой алгоритм отлично справляется с геометрическими паттернами шкафов.

Этап 3. Извлечение размерностей

Размерности шкафов – один из ключевых параметров для подбора по каталогу. Но на чертежах размеры указываются разными способами: выносные линии, dimension codes (например, ZW 34|24|36, где числа кодируют Height|Depth|Width), а иногда отдельные надписи.

Мы рассмотрели вариант с детекцией размерных надписей и привязкой к ближайшему шкафу. Но стили чертежей слишком разнообразны: где-то выносные линии со стрелками, где-то кодировка, где-то размеры написаны прямо под шкафом. Разработка универсального детектора для всех стилей по сложности была бы сопоставима со всем остальным пайплайном.Калинин Влад, разработчик

Поэтому вместо этого мы используем vLLM: отправляем кроп шкафа вместе с полным изображением плана, и модель должна найти этот шкаф на плане и считать его размерности.

На расширенном тестировании в 100 планов: Gemini 2.5 Pro давал точность 81%, а с выходом Gemini 3 точность выросла до 87%. Этот скачок стал важным бустом для всей системы.

Этап 4. Описание признаков шкафа и подготовка каталога

4.1 Описание признаков

Этот этап – сердце системы. От того, насколько точно описан каждый шкаф, зависит качество подбора. Мы формируем для каждого шкафа структурированный JSON с чётко определённым набором признаков, специфичных для его класса.

Каждый класс шкафов имеет свой промпт, который учитывает именно те признаки, которые релевантны для данного типа. Например, у навесного шкафа проверяется наличие остекления, а у умывальника этот признак игнорируется. Промпт содержит детальные инструкции по визуальному анализу чертежа: как отличить дверь от полки и т.п.

Мы сравнили три модели для задачи описания признаков:

Точность рекомендации

Характерные ошибки

Ошибки в подсчете дверей и полок, краткие описания

Gemini 2.5 Pro

Качественные описания, но ошибки в остеклении и полках

Минимум ошибок, точный подсчёт признаков

Переход на Gemini 3 дал самый существенный прирост в качестве детекции всей системы. Модель делает точное описание, не ошибается в подсчете признаков и генерирует достаточно детальные описания для последующего семантического поиска.

4.2 Подготовка каталога

Параллельно с обработкой чертежей мы подготовили каталог мебели в машиночитаемом формате. Каждый артикул каталога описан в JSON с тем же набором признаков, что и шкафы на чертежах.

Для описания 3D рендеров каталога мы использовали GPT-5, которая генерирует полное текстовое описание каждого артикула и выделяет его признаки. Каталог хранится как набор JSON файлов, каждый из которых описывает один артикул.

Мы выбрали именно текстовые признаки, потому что при тестировании на визуальном сходстве многие шкафы схожи и отличаются только количеством полок, остеклением и т.п. и ни одна модель эмбеддер не сможет так точно отличить 2 шкафа по эмбеддингам. В текстовом же формате мы можем указать все особенности каждого шкафа.

Этап 5. Рекомендательная система

Рекомендательный блок – финальный и самый сложный этап пайплайна. Для каждого шкафа система находит топ 3 наиболее подходящих артикулов из каталога.

Процесс состоит из трёх фаз:

• Фильтрация. Для каждого класса шкафов определяется набор ограничений, специфичных для этого типа, например для навесных полок это количество выдвижных ящиков. Фильтрация реализована через три прохода с постепенным ослаблением ограничений. Это позволило нам точно найти альтернативу в каталоге, даже если не было точно подходящего шкафа
• Проверка размеров. Кандидаты, прошедшие фильтрацию, проверяются на совпадение размеров. Если ни один кандидат не прошел по размерам, используется ретрай безразмерной фильтрации.
• Ранжирование. Оставшиеся кандидаты ранжируются по композитному скору:

Результаты

Итоговая точность всей системы на расширенном тестовом наборе:

Детекция шкафов

Извлечение размерностей

Описание признаков

Точность рекомендации

По сравнению с изначальным подходом, где всё делалось в LLM (максимум 34% у Gemini 2.5 Pro), финальная система даёт 87% точности – прирост более чем в 2.5 раза. При этом система обрабатывает документ за 5-7 минут, что на порядок быстрее ручной работы.

Заключение

• LLM пока не всесилен.Несмотря на впечатляющие демо компаний, мультимодальные модели пока не справляются с комплексными задачами, требующими одновременно подсчёта объектов, считывания размеров, классификации и поиска по большому каталогу. Разделение на специализированные этапы дало кратный прирост качества.
• Специфичные правила критически важны.Без специфичных фильтров и правил вложенности универсальный матчинг работал бы значительно хуже. Знание предметной области невозможно заменить одними нейросетями.
• Gemini 3– заметный прорыв для визуальных задач. Переход с Gemini 2.5 Pro на Gemini 3 дал прирост в 6–13%на разных этапах. Качество визуального анализа архитектурных чертежей выросло существенно.