В седьмом выпуске дневника TAPe-детекции — важный шаг: переход от трансформеров к более лёгкой архитектуре. Рассказываем, как сократилось число параметров, как работают локальные ассоциации между патчами и почему на изображении лица появляется неявная сегментация без прямого обучения.

Напоминание: что такое TAPe

TAPe (Theory of Active Perception) — математическая теория и технология активного восприятия. Она разбивает изображение на устойчивые признаки и задаёт структуру связей между ними. В рамках TAPe+ML изображение преобразуется в структурированные элементы — TAPe-патчи, которые заменяют сырые пиксели.

Эти элементы используются как основа для различных задач: от self-supervised обучения до классификации, поиска и детекции объектов. В этом дневнике мы отслеживаем прогресс на датасете COCO.

Отказ от трансформеров

Мы успешно перешли от трансформеров к более простой архитектуре. Причина в том, что данные TAPe изначально структурированы и устойчивы — глобальное внимание (Global Attention) становится избыточным.

Это позволило сократить число параметров на порядки. Сейчас объём, необходимый для эмбеддингов, значительно меньше, чем у аналогов.

Уход от трансформеров открыл путь к условным объединениям патчей для выделения объектов и их классификации. Первые эксперименты уже показывают перспективу.

Локальные ассоциации патчей

Ассоциации между патчами носят локальный характер. При выборе «хода» от одного патча в учёт идёт только его ближайшее окружение — более далёкие области теряют контекстуальную связь.

Каждый патч может быть связан с другими в своей локальной области по двум признакам:

• Похожи по содержанию — например, все содержат кожу; это следует из предобучения эмбеддингов.
• Принадлежат одному объекту — например, все части лица человека; это результат целенаправленного обучения ассоциациям.

Изменение таких ассоциаций возможно, но требует аккуратной грануляции.

Пример с лицом: как проявляются ассоциации

На изображении из COCO жёлтым обозначен центральный патч, оранжёвым — все патчи, ассоциированные с ним. Все они визуально относятся к лицу человека.

Полное обрамление лица — задача кластеризации. Мы не обучаем модель различать кожу лица и шеи, поэтому границы могут выходить за пределы лица. Однако в большинстве случаев лицо целиком попадает в выделенную область.

Таким образом, возникает неявная классификация понятия «кожа». Прямо это не задаётся, но следует из структуры: одежда становится естественной границей внутри объекта «человек», а контрастные патчи помогают собрать целостное описание.

Сдвиг центра и появление сегментации

При смещении центрального патча ассоциации сохраняются с небольшими корректировками — соотношения между патчами несимметричны, как и следует из принципов TAPe.

Когда центр уходит за пределы исходной зоны, новые и старые области пересекаются, но общий контур объекта (в данном случае — человека) остаётся стабильным. Фактически, это даёт «почти бесплатную» сегментацию — без специального обучения.

Ограничения и перспективы

• Расширение патчей до полного покрытия объекта возможно, но пока не реализовано — для текущего демо это избыточно.
• Есть небольшие неточности (например, смещение одного патча). Модель обучалась всего одну минуту — это уйдёт при более длительной и качественной тренировке.
• Сегментация — направление будущих исследований. Сейчас фокус на детекции, к которой эти результаты напрямую ведут.
• Скорость работы — 120 кадров в секунду.

В этом посте продолжаем дневник TAPe‑детекции и рассказываем, что получилось после отказа от трансформеров: насколько сократилось число параметров, как работают локальные ассоциации TAPe‑патчей и почему на лице человека у нас начинает “сам по себе” появляться зачаток сегментации.

Если вы тут впервые, сначала можно посмотреть:

• базовую статью про TAPe+ML —TAPe + ML: универсальная архитектура компьютерного зрения
• FAQ по TAPe‑детекции —FAQ по TAPe‑детекции объектов (как мы учимся детектить объекты одномоментно и в десятки раз эффективней/дешевле ML)
• как TAPe чувствует себя против SOTA —Как наш "домашний" НИИ обошёл DINOv2, ViT и десятки ML‑моделей в видео‑разметке с помощью TAPe
• предыдущие части dear дневника TAPe‑детекции на COCO:День 1. TAPe и YOLOДень 2. 115k параметров у нас vs 2 млн + у YOLOДень 3. Почему нам не нужен градиентный спускДень 4. Датасет COCO. Начало.День 5. 98% на 2% COCO, меньше “фона” и первые боксы.День 6. Синтетика, эмбеддинги и первый уход от трансформеров

Небольшое напоминание: что такое TAPe и зачем он нам

TAPe (Theory of Active Perception) — это математическая теория и технология, которая описывает (и моделирует) механизм активного восприятия: она разбивает изображение на устойчивые признаки и задаёт структуру связей между ними. В TAPe+ML мы используем эти элементы и далее работаем уже с ними, а не с сырыми пикселями.

В рамках TAPe+ML TAPe‑алгоритмы превращают изображение в элементы TAPe — структурированные “строительные блоки” с известными связями между ними, давая компактное векторное представление вместо сырых пикселей. На этих представлениях мы уже строим эксперименты: от self‑supervised задач в духе DINO/iBOT до классических ML‑методов (кластеризация, поиск, классификация) и детекции объектов на COCO, за которыми как раз следим в этом дневнике.

Почему мы смогли уйти от трансформеров

В экспериментах, как и планировали, ушли от трансформеров. Напомним: причина, по которой это возможно, в том, что TAPe-данные уже имеют такую структуру, что как таковое Global Attention не нужно – глобальность закрывается за счет того, что TAPe-данные стабильны и структурированы.

Это привело к очень большому снижению количества параметров. На данный момент времени количество параметров, необходимое для эмбедингов, на порядки меньше любых аналогов.

Уход от трансформеров позволил продвинуться к следующей степени – к условным объединениям любого количества патчей для выделения объектов и дальнейшей классификации их. Уже в первых экспериментах с этим успех (по крайней мере на первый взгляд), и есть пара интересных замечаний.

Локальные ассоциации TAPe‑патчей

Во-первых, играет роль некоторая локализация. То есть – если выбирать “ход” от некоего патча, то только некая окружность вокруг него будет ассоциирована с ним, потому что контекстуально, при дальнейшем росте, область выглядит по-другому.

Каждый патч может иметь ассоциации в своем локальном окружении с неким количеством других патчей, которые из тренировки:

• на него похожи в том или ином смысле (например, на всех есть кожа); это следует из первичной тренировки эмбеддингов;
• относятся к одному и тому же объекту; это следует уже конкретно из того, что мы тренируем ассоциации к объекту (то есть говорим, что все патчи в этой области принадлежат объекту типа “человек”).

При этом при попытке изменять такой патч дальше для решения задач проблем не возникает, просто это нужно немного гранулировать.

Пример с лицом: как выглядят ассоциации

Как хороший пример - изображение:

Это одно из изображений в базе COCO. Центровой патч обозначен жёлтым. Оранжевым – все патчи, которые ассоциируются как относящиеся к этому патчу. Как видно, все оранжевые патчи по смыслу ассоциируются с тем же самым, что и жёлтый патч, а именно с лицом человека.

При этом полностью обвести лицо человека – простая задача кластеризации. Мы не тренируемся отличать шею человека от его лица, поэтому обведение не гарантировано останется на лице, и может захватить другие патчи, где есть кожа в целом, например, но в наших экспериментах зачастую лица полностью входили в свою область.

В итоге мы можем в некотором роде классифицировать понятие “кожа”. Да, напрямую мы этого не делаем, но из обучения так выходит, потому что одежда – это натуральная граница внутри самого объекта “человек”, и эти сегменты мы находим, потому что полагаемся на самые контрастные патчи, чтобы собрать из них общее описание всего объекта.

Сдвиг центра и “зачаток” сегментации

Если сдвинуть жёлтый патч в сторону, то ассоциация остаётся прежней, с небольшими изменениями, потому что соотношение между патчами несимметричное (из принципов TAPe так и должно следовать).

Если начать передвигать центральный патч за пределы первой зоны, то новая и старая зоны начинают пересекаться - при этом сохраняя всё тот же контур самого “объекта” (человека в этом случае всё-таки). Фактически, мы “бесплатно” получаем модель сегментации.

Ограничения, будущее и скорость

Добавим пару вещей здесь:

• Рост этих патчей до покрытия всего объекта также будет – просто сейчас для такого мини-демо это бессмысленно;
• Некоторые неточности (на уровне того, что один патч уходит не туда) ещё есть - модель, показанная здесь, тренировалась буквально одну минуту. Это исправится правильной (то бишь более долгой, законченной) тренировкой, а также улучшением модели в целом;
• Сегментация – это будущее исследование, пока вся работа идёт в сторону детекции, к чему эти результаты подводят. Конечный результат очень близок.
• Модель работает со скоростью 120 кадров в секунду на данный момент времени.