У нас было две бесплатные видеокарты T4 в Kaggle, 30 ГБ оперативной памяти и безумная идея: что будет, если взять веса классической модели (Gemma-4-31B) и хирургическим путём, без дообучения, вшить их в MoE-архитектуру (DeepSeek-V4)?

Анатомия эксперимента

Наша цель — структурное сращивание (grafting):

• Донор (Плоть): 4 слоя от 31-миллиардной модели Gemma, сжатой до 4-бит NF4.
• Экзоскелет: Пустая архитектура DeepSeek-V4 с её роутером Mixture-of-Experts (MoE).

Казалось бы, достаточно загрузить обе модели, скопировать веса слоёв и запустить. Но библиотека transformers воспротивилась на каждом шаге.

Препятствие 1: Identity Theft и паранойя конфигов

Сначала библиотека отказалась признавать наш кастомный тип модели gemma4. Мы обошли это, принудительно зарегистрировав тип в глобальном словаре CONFIG_MAPPING.

Затем возникла ошибка: AttributeError: 'dict' object has no attribute 'to_dict'. Оказалось, внутри модуля generation конфигурация десериализуется в обычный словарь dict, после чего код падает, пытаясь вызвать у него методы объекта-конфига.

Решение (Monkey-patching): Мы создали прокси-класс, который имитирует объект конфигурации. При ошибке словарь оборачивается в этот класс, и выполнение продолжается.

Препятствие 2: Квантовый парадокс инициализации

Экзоскелет DeepSeek больше, чем 4 слоя Gemma. Библиотека попыталась заполнить недостающие слои случайными значениями через normal_(). Но PyTorch выдал: NotImplementedError: "normal_kernel_cuda" not implemented for 'Byte'.

Проблема в том, что веса Gemma загружены через bitsandbytes в 4-битном формате (как uint8), а normal_() работает только с float.

Решение: Мы перехватили вызов TORCH_INIT_FUNCTIONS["normal_"] и запретили инициализацию для сжатых тензоров.

Препятствие 3: Спрятанные эксперты и OOM

DeepSeek-V4 хранит MoE-экспертов не в ModuleList, а в монолитном классе DeepseekV2Experts. Python не мог по ним итерироваться. Кроме того, при распаковке весов Gemma-31B мы мгновенно исчерпали память в Kaggle.

Решение:

1. Мы написали рекурсивный «сонар» — функцию, которая ищет слои по наличию атрибутов gate_proj и up_proj.
2. Чтобы избежать OOM, разнесли модели по разным GPU. Веса переносили микро-порциями через CPU, сразу вызывая gc.collect() для освобождения памяти.

Идеальный скрипт некроманта

После десятков падений мы создали стабильный скрипт, который обходит все защиты и выполняет трансплантацию. Он стал шаблоном для скрещивания любых несовместимых моделей.

Что в итоге?

Без fine-tuning, согласования словарей и проекций скрытых состояний модель генерирует бессмыслицу:

The experimental hybrid AI said: vdotsD... Buddhist... tomato supervised...

Но цель эксперимента — не создать рабочий чат-бот. Цель — доказать: в машинном обучении нет непробиваемых архитектурных барьеров. При понимании тензоров, Python и с помощью «костылей» можно скрестить любые модели — даже в бесплатном ноутбуке Kaggle.

Добро пожаловать в Ghetto MLOps. Ломайте библиотеки с удовольствием!

У нас было две бесплатные видеокарты T4 в Kaggle, 30 ГБ оперативной памяти и безумная идея: что будет, если взять веса классической модели (Gemma-4-31B) и хирургическим путем, без всякого дообучения, вшить их в MoE-архитектуру (DeepSeek-V4)?

В академической среде вам скажут, что это невозможно: разные размерности, несовместимые слои нормализации, разные принципы роутинга токенов. Но в парадигмеGhetto MLOpsнет слова «невозможно». Есть только вопрос:сколько костылей потребуется, чтобы это скомпилировалось?

Спойлер: нам пришлось взломать реестр Hugging Face, переписать методы инициализации PyTorch в рантайме и написать рекурсивный сонар для поиска спрятанных слоев. В этой статье мы расскажем, как обойти защиты библиотекиtransformersи создать собственного ИИ-мутанта.

Анатомия эксперимента

Наша цель состояла в структурном сращивании (Grafting).

• Донор (Плоть):4 слоя от 31-миллиардной моделиGemma(сжатой до 4-бит NF4).
• Экзоскелет:Пустая архитектураDeepSeek-V4с её хитрым роутером Mixture-of-Experts (MoE).

Звучит просто: загружаем обе модели, цикломforпроходимся по слоям, делаем.copy_()нужных матриц и радуемся. На практике библиотекаtransformersоказала нам ожесточенное сопротивление.

Вот с чем нам пришлось столкнуться и как мы это лечили.

Препятствие 1: Identity Theft и паранойя конфигов

Первое, что сделала библиотека — отказалась признавать наш кастомный тип моделиgemma4. Мы обошли это, принудительно зарегистрировав тип в глобальном словареCONFIG_MAPPING.

Но дальше началась мистика. При попытке загрузить модель,transformersвыдавал ошибку:AttributeError: 'dict' object has no attribute 'to_dict'.

Оказалось, внутри модуляgenerationбиблиотека случайно десериализует объект конфигурации в обычный питоновский словарь (dict), а затем сама же падает, пытаясь вызвать у него свои внутренние методы.

Решение (Monkey-patching):Мы написали «бронебойный патч». Если функция падает сAttributeError, мы на лету заворачиваем словарь в кастомныйProxy-класс, который притворяется объектом конфигурации.

Препятствие 2: Квантовый парадокс инициализации

Поскольку экзоскелет DeepSeek физически больше 4 слоев Геммы, библиотека решила заполнить недостающие пустоты случайным шумом, вызвав методnormal_(нормальное распределение).

И тут PyTorch впал в кому:NotImplementedError: "normal_kernel_cuda" not implemented for 'Byte'.

Дело в том, что веса донора загружались черезbitsandbytesв 4-битах (как сырые байтыuint8). А генератор шума PyTorch работает только с числами с плавающей точкой (float).

Решение:Мы перехватили вызовTORCH_INIT_FUNCTIONS["normal_"]прямо в исходниках библиотеки и запретили ей трогать тензоры, если они сжаты в байты.

Препятствие 3: Спрятанные эксперты и OOM

Архитекторы DeepSeek оказались затейниками: они не положили MoE-экспертов в обычныйModuleList, а завернули их в монолитный классDeepseekV2Experts. Питон отказался по нему итерироваться. Более того, при попытке распаковать 31B-слой Геммы для переноса весов, мы мгновенно ловилиOut Of Memory(OOM) в оперативной памяти Kaggle.

Решение:1. Мы написали «умный сонар» — рекурсивную функцию, которая ныряет в любую структуру классов и ищет слои по наличию атрибутовgate_projиup_proj.

2. Для борьбы с OOM мы разнесли модели по разным GPU, а веса переносили микро-порциями через CPU, мгновенно вызываяgc.collect(), чтобы сборщик мусора очищал оперативку.

Идеальный скрипт некроманта

После десятков падений мы выковали монолитный код, который обходит все защиты и производит успешную трансплантацию. Этот скрипт — готовый шаблон для скрещивания любых несовместимых моделей.

Что в итоге?

Конечно, без Fine-Tuning'а, согласования словарей (Vocab Size) и проекций скрытых состояний, модель генерирует чистую «цифровую шизофрению»:

TheexperimentalhybridAIsaid:vdotsD...Buddhist...tomatosupervised...

Но суть этого эксперимента не в том, чтобы получить ChatGPT за ноль рублей. Суть в доказательстве концепции:в машинном обучении нет непробиваемых стен архитектуры. Имея базовое понимание тензоров, Python и горсть костылей, вы можете скрестить ужа с ежом прямо в бесплатном ноутбуке Kaggle.

Репозиторий-мавзолей с нашей Химерой доступен на Hugging Face:livadies/DeepGemma-V4-Chimera-Ghetto-MoE

Добро пожаловать в Ghetto MLOps. Ломайте библиотеки с удовольствием!