Несколько дней подряд я занимался восстановлением легаси-модели ai-forever/rugpt3xl — классической языковой модели от SberDevices с 1,3 млрд параметров. Это скромный по современным меркам foundation-модель, разработанная ещё в 2021 году. Она умеет только продолжать текст, но обучена исключительно на русскоязычном корпусе и генерирует русский язык очень уверенно.

Модель была обучена с нуля, а её архитектура представляет собой глубокую модификацию GPT-2. Подробнее о ней можно прочитать в научной статье “A family of pretrained transformer language models for Russian” на Google Scholar.

Почему это важно

Модель формально доступна на HuggingFace, но фактически была недоступна для использования — она «заживо замурована» в устаревшем стеке технологий. Для её запуска требовались Megatron-LM, DeepSpeed, apex и древние версии PyTorch 1.7 и transformers 3.5. Это делало запуск в 2026 году почти невозможным.

Я хотел сдуть с неё пыль, конвертировать в современный формат и сделать доступной для всех — чтобы любой желающий мог запустить её локально, протестировать или дообучить на своём датасете.

Ранее я трижды пытался это сделать, но не хватало опыта и инструментов. В этот раз я воспользовался современными кодовыми агентами: предварительную работу выполнял Cursor, а я корректировал направление и тестировал результат.

Конвертация в формат Hugging Face

Цель была проста: получить полностью рабочую модель, максимально близкую к оригиналу, которую можно загружать через transformers и дообучать — как с помощью LoRA, так и через SFT-тренеры.

После анализа исходников ai-forever/ru-gpts, современной библиотеки transformers и примеров кастомных моделей (например, DeepSeek-Coder), удалось понять структуру весов и реализовать конвертацию.

Ключевое отличие оригинальной модели — объединённая QKV-проекция размером [6144, 2048], которую нужно разбить на три отдельных слоя (Q, K, V) по [2048, 2048]. Также потребовалось явно добавить lm_head, скопировав веса из токенизационных эмбеддингов.

Был составлен полный маппинг весов из формата Megatron-LM в структуру, близкую к GPT2Model. На его основе написан скрипт convert.py, который преобразует оригинальный чекпоинт mp_rank_00_model_states.pt в модель с safetensors-весами.

Создание кастомных классов

Оригинальный код модели — это толстая обёртка вокруг Megatron-LM, требующая torch.distributed, инициализации model parallelism и других устаревших компонентов. Для современного использования это неработоспособно.

Я создал новые классы с нуля, вдохновляясь структурой transformers:

• RuGPT3XLConfig — наследник PretrainedConfig с параметрами модели
• RuGPT3XLAttention — multi-head attention с отдельными Q/K/V и поддержкой DynamicCache
• RuGPT3XMLP — перцептронный блок (up_proj → GELU → down_proj)
• RuGPT3XLDecoderLayer — декодерный слой (LayerNorm → Attention → LayerNorm → MLP)
• RuGPT3XLModel — базовая модель (эмбеддинги + 24 слоя + финальный LayerNorm)
• RuGPT3XLForCausalLM — обёртка с lm_head

Преимущества новой реализации:

• Нет зависимостей от Megatron-LM, DeepSpeed, apex, torch.distributed
• Стандартный forward(), совместимый с любыми тренерами
• Результаты возвращаются в CausalLMOutputWithPast
• Поддержка KV-кеша через DynamicCache для быстрой генерации
• Поддержка gradient checkpointing для экономии памяти при обучении
• Работа на CPU, GPU, с device_map="auto" — без обязательного CUDA

Математика осталась идентичной оригиналу: те же размерности, Pre-LayerNorm, GELU, токенизатор. Изменилась только обвязка — теперь она современная и удобная.

Конвертированная модель доступна на HuggingFace: evilfreelancer/ruGPT3XL.

Тестирование

Первые тесты показали, что модель генерирует связный текст на промптах вроде “Москва — столица”, “Искусственный интеллект — это”, “В далёком космосе”. Для foundation-модели 2021 года на 1,3 млрд параметров это достойный результат.

Дальнейшее тестирование проводилось на 24 промптах разного типа — от продолжения текста (“Однажды в студёную зимнюю пору”) до вопросов через chat template (“Вопрос: Какая столица России? Ответ:”). Тесты проводились на RTX 4090 (48 Гб, float16).

Ключевые наблюдения:

• Средняя скорость генерации — 66,7 токенов/сек
• На коротких промптах модель часто останавливается рано (15–30 токенов)
• На длинных — уверенно генерирует до max_new_tokens
• Ответы на вопросы иногда творческие: на “Кто написал «Войну и мир»?” модель ответила “Пушкин”
• Хорошо справляется с продолжением фактического текста — рецепты, физика, история
• На вопрос “Сколько планет в Солнечной системе?” ответила “Пять”, а затем ушла в рассуждения о цивилизациях Млечного Пути

Модель была протестирована на бенчмарке MERA — открытом наборе из 23 задач для оценки русскоязычных моделей. Общий скор — 0,198 (на модерации).

Результаты по ключевым задачам:

• PARus (здравый смысл) — 0,500
• ruHateSpeech — 0,558
• BPS (код/математика) — 0,528
• RWSD (рассуждения) — 0,488
• ruTiE (диалоговый контекст) — 0,502
• ruMMLU — 0,252 (на уровне случайного угадывания, что ожидаемо для base-модели)

Математика (SimpleAr — 0,012, ruModAr — 0,001) и генерация кода (ruHumanEval, ruCodeEval — 0/0/0) находятся на нуле, что логично — модель никогда не обучалась этим задачам.

Конвертация в GGUF

Для дальнейшего упрощения использования я конвертировал модель в формат GGUF для llama.cpp. Благодаря предыдущей работе с transformers, это оказалось относительно просто.

Модель структурно близка к GPT-2, поэтому достаточно было объединить отдельные q_proj, k_proj, v_proj обратно в единый QKV-тензор, как того ожидает LLM_ARCH_GPT2.

Я отправил PR #21011 в llama.cpp, прошёл ревью, внес правки (включая хеш токенизатора), и пулл-реквест был успешно смержен.

После этого я смог конвертировать и сквантовать модель. GGUF-версии доступны на HuggingFace: evilfreelancer/ruGPT3XL-GGUF.

Теперь модель можно запускать:

• Прямо в терминале через llama.cpp
• Через локальный OpenAI-совместимый сервер с веб-интерфейсом
• В Ollama — где теперь собрано всё семейство ruGPT-3: small (125M), medium (356M), large (760M) и xl (1.3B)

Так появился цифровой музей классических русских языковых моделей в современной упаковке.

Ссылки

• evilfreelancer/ruGPT3XL — модель в формате HuggingFace (safetensors)
• evilfreelancer/ruGPT3XL-GGUF — квантованные GGUF-веса для llama.cpp и Ollama
• EvilFreelancer/rugpt3xl-convert — исходники скриптов конвертации
• evilfreelancer/rugpt3 — всё семейство ruGPT-3 на Ollama
• PR #21011 в llama.cpp — патч для поддержки RuGPT3XL (смержен)
• ai-forever/rugpt3xl — оригинальная модель
• ai-forever/ru-gpts — оригинальная кодовая база
• “A family of pretrained transformer language models for Russian” — научная статья

Несколько дней к ряду я занимался реставрацией легаси моделиai-forever/rugpt3xl, это классическая языковая модель от SberDevices на 1.3B параметров, крошка по современным меркам, на которой сберовцы обкатывали свои научные наработки аж в далёком 2021м году. Подробнее о ней можно почитать в статье“A family of pretrained transformer language models for Russian”на Google Scholar.

Да, она foundation, то есть умеет только продолжать текст, не может выполнять инструкции или работать в режиме чата. Но обучена она на корпусе русского языка и этот самый русский генерит очень бодро. У неё есть две примечательные особенности: её обучали с нуля, архитектура представляет собой глубокую модификацию GPT-2.

Предыстория

Меня давно беспокоило, что эта модель просто пылится на полке истории, она лежит на HuggingFace, формально доступна, но запустить её почти нереально, так как нужен стек технологий пятилетней давности. По сути модель заживо замурована в своём чекпоинте, а ведь это одна из первых серьёзных русскоязычных моделей, обученных с нуля. Мне давно хотелось сдуть с неё пыль, отреставрировать и выставить в импровизированном музее, чтобы любой желающий мог её потрогать руками и даже при желании обучить на своём датасете.

До этого момента пытался трижды, но все предыдущие разы не хватало знаний и опыта работы с внутренностями моделей, да и кодовые агенты тогда были не чета нынешним.

Проблема была в том, что оригинальный чекпоинт суть сыройmp_rank_00_model_states.pt, чтобы его загрузить, нужен полный стекMegatron-LM,DeepSpeed,apex, и всё это до кучи завязано на древние версии PyTorch 1.7 и transformers 3.5, короче говоря, запустить её в 2026 году “как есть” задача нетривиальная.

Но решил попробовать ещё один раз, благо думаю где мне знаний будет мало кодовый агент поможет, поднял старые заметки, склонировал всё что может понадобиться для работы и написал подробные спецификации, предварительную работу делал Cursor, а я уже тестировал и пинал фантазии ИИ в нужную сторону.

Конвертация в HuggingFace формат

Задача агента была простая, для начала он должен был изучить исходникиai-forever/ru-gpts, исходники современной библиотекиtransformers, веса и конфиги моделиdeepseek-ai/DeepSeek-Coder-V2-Lite-Instructв качестве примера того, как на HuggingFace можно закидывать кастомные классы моделей и конфигов, чтобы всё работало корректно сtrust_remote_code=True.

Моя основная цель была в том, чтобы получить полностью рабочую модель, идентичную ориигинальной на столько на сколько это возможно, которую можно было бы запустить черезtransformers, и при этом чтобы её можно было обучать, хоть черезLoRA, хоть черезSFT-тренеры из поставкиtransformers.

Спустя несколько часов пинаний и уточнений удалось понять, как устроены веса модели ruGPT3XL и как их можно конвертировать в формат, близкий к тому что описано в классеGPT2Model.

Вот как выглядит оригинальная структура модели из чекпоинта Megatron-LM:

А вот так выглядит структура GPT2 моделей:

Главное отличие в том, что сшитая QKV проекция размерностью[6144, 2048]разбивается на три отдельных линейных слоя Q, K, V размерностью[2048, 2048]каждый, плюс явныйlm_head, который нужно будет скопировать из весов эмбеддингов.

Вот полная таблица маппинга:

Megatron-LM (оригинал)

HuggingFace (конвертированная)

word_embeddings.weight

model.embed_tokens.weight

position_embeddings.weight

model.embed_positions.weight

transformer.layers.{i}.input_layernorm.*

model.layers.{i}.input_layernorm.*

transformer.layers.{i}.attention.query_key_value.weight

model.layers.{i}.self_attn.{q,k,v}_proj.weight

transformer.layers.{i}.attention.query_key_value.bias

model.layers.{i}.self_attn.{q,k,v}_proj.bias

transformer.layers.{i}.attention.dense.*

model.layers.{i}.self_attn.o_proj.*

transformer.layers.{i}.post_attention_layernorm.*

model.layers.{i}.post_attention_layernorm.*

transformer.layers.{i}.mlp.dense_h_to_4h.*

model.layers.{i}.mlp.up_proj.*

transformer.layers.{i}.mlp.dense_4h_to_h.*

model.layers.{i}.mlp.down_proj.*

transformer.final_layernorm.*

model.norm.*

lm_head.weight(копияmodel.embed_tokens.weight)

Зная маппинг выполнить конвертациюи не составлаяет уже большого труда, получился скриптconvert.py, который берёт оригинальный чекпоинт и превращает его в HuggingFace-модель с safetensors весами.

Но конвертация весов это только полдела, далее потребовалось написать кастомные классы модели и конфигурации, которые transformers смог бы загрузить.

В оригинальном репозиторииru-gptsесть классRuGPT3XLэто толстая обёртка вокруг мегатроновскогоGPT3Model, завёрнутого ещё и вFP16_Module. Чтобы просто загрузить модель,from_pretrainedпервым делом поднимаетtorch.distributedпроцесс-группу, инициализируетmpu(model parallelism utils), скачивает веса и deepspeed-конфиг, и только потом собирает модель черезsetup_model. KV-кеша нет, без CUDA иtorch.distributedничего не работает, красивый артефакт своей эпохи, но для современного пользователя всё это просто мёртвый груз.

Новые классы писались с нуля по примерам transformers, иерархия такая:

• RuGPT3XLConfig- наследникPretrainedConfigиз трансформерс со всеми параметрами модели (vocab_size, hidden_size, num_layers и так далее)
• RuGPT3XLAttention- multi-head attention с отдельными Q/K/V проекциями и поддержкойDynamicCacheиз трансформерс
• RuGPT3XMLP- блок персептрона (up_proj -> GELU -> down_proj)
• RuGPT3XLDecoderLayer- слой декодера (LayerNorm -> Attention -> LayerNorm -> MLP)
• RuGPT3XLModel- базовый трансформер модели (эмбеддинги + 24 слоя + финальный LayerNorm)
• RuGPT3XLForCausalLM- обёртка конструктор сlm_head

Принципиальные отличия от оригинала:

• Никаких зависимостей от Megatron-LM, DeepSpeed, apex, mpu, torch.distributed и прочей древности
• Типовойforward()с сигнатурой, которую ожидает любой тренер, хоть LoRA/Pert, хоть SFTTrainer
• Результаты возвращаются вCausalLMOutputWithPastиз трансформерс вместо кастомногоModelOutput
• Полноценный KV-кеш через трансформеровскийDynamicCacheдля быстрой генерации
• Поддержка gradient checkpointing на этапе обучения для оптимального управления памятью во время обучения
• Ну и самое главное, моделька работает на CPU, GPU, черезdevice_map="auto"без обязательного CUDA

По сути математика внутри осталась идентичной - тот же Pre-LayerNorm, та же GELU, те же размерности, тот же токенизатор, но вот обвязка вокруг модельки стала современной.

Веса залил на HuggingFace:evilfreelancer/ruGPT3XL.

Тестирование

Первым делом запустил пробную генерацию черезgenerate.pyскрипт, который грузит модель и скармливает ей несколько промптов:

На выходе три дефолтных промпта, и моделька вполне связный текст пишет - “Москва - столица”, “Искусственный интеллект - это”, “В далеком космосе”. Видно, что русский язык она знает хорошо, фразы строит грамотно, контекст держит, для foundation-модельки на 1.3B параметров прямиком из 2021 года это более чем достойно.

Дальше захотелось потыкать модельку посерьёзнее. Написалmanual_test.py- скрипт на 24 промпта разного характера, от свободного продолжения текста (“Однажды в студёную зимнюю пору”, “Для приготовления борща нужно”) до простых вопрос-ответов через chat template (“Вопрос: Какая столица России? Ответ:”), гонял на RTX 4090 48Гб во float16,тутрезультаты.

Пара интересных наблюдений по результатам:

• Средняя скорость генерации - 66.7 t/s на RTX 4090 (float16, batch_size=1)
• На коротких промптах моделька часто останавливается рано (15-30 токенов), на длинных уверенно генерит до max_new_tokens
• Вопрос-ответ через chat template работает, но ответы иногда… творческие. На “Кто написал Войну и мир?” модель уверенно ответила “Пушкин” (ну, foundation-модель, чтож поделать)
• Хорошо справляется с продолжением фактического текста - рецепт борща, физика, история
• На “Сколько планет в Солнечной системе?” ответила “Пять”, а потом ушла в рассуждения про цивилизации Млечного Пути

Ну и напоследок прогнал модельку черезMERA, это такой открытый бенчмарк для оценки русскоязычных моделей, 23 задачи разного типа (логика, математика, знания о мире, код, этика, рассуждения). Загрузил результаты наmera.a-ai.ru, общий скор получился0.198(пока ещё на модераци).

Для понимания контекста - это base-модель 2021 года на 1.3B параметров, без instruction tuning, без RLHF, без всего того, что сейчас считается обязательным. Она умеет только продолжать текст. И тем не менее на некоторых задачах показывает вменяемые результаты:

• PARus (здравый смысл) - 0.500
• ruHateSpeech - 0.558
• BPS (код/математика) - 0.528
• RWSD (рассуждения) - 0.488
• ruTiE (диалоговый контекст) - 0.502
• ruMMLU - 0.252 (при random baseline ~0.25 для 4 вариантов ответа, модель на грани случайного угадывания, что для base-модели ожидаемо)

А вот математика (SimpleAr - 0.012, ruModAr - 0.001) и генерация кода (ruHumanEval, ruCodeEval - 0/0/0) ожидаемо в ноль, ведь модель и не учили решать подобные задачи.

Конвертация в GGUF

Но я не остановился на достигнутом. Захотелось развить успех и конвертировать модельку в GGUF формат дляllama.cpp. Благодаря тому, что я потратил время на конвертацию в формат transformers, реализовать поддержку в llama.cpp удалось очень быстро. Там всего-навсего нужно было прокачать Python-конвертерconvert_hf_to_gguf.py- модель по структуре похожа на GPT-2, поэтому патч объединяет отдельныеq_proj,k_proj,v_projобратно в единый QKV тензор, как того ожидаетLLM_ARCH_GPT2.

ОтправилPR #21011в llama.cpp с наработками (кстати), прошёл ревью, были мелкие правки по хешу токенизатора, в итоге PR смерджили, а я смог конвертировать и квантовать модельки.

GGUF залил на HuggingFace:evilfreelancer/ruGPT3XL-GGUF.

Запуск инференса прямо в терминале:

Или поднять локальный OpenAI-совместимый сервер с веб-интерфейсом:

Ну и под конец залил модельку наOllama, там теперь собрано всё семейство ruGPT-3 в одном месте, все четыре размера - small (125M), medium (356M), large (760M) и xl (1.3B):

Такой вот музей классических русских языковых моделей в современной упаковке.

• evilfreelancer/ruGPT3XL- сконвертированная модель в формате HuggingFace (safetensors)
• evilfreelancer/ruGPT3XL-GGUF- квантизированные GGUF-веса для llama.cpp и Ollama
• EvilFreelancer/rugpt3xl-convert- исходники скриптов конвертации
• evilfreelancer/rugpt3- всё семейство ruGPT-3 на Ollama
• PR #21011 в llama.cpp- патч для поддержки RuGPT3XL (смерджен)
• ai-forever/rugpt3xl- оригинальная модель
• ai-forever/ru-gpts- оригинальная кодовая база обучения
• “A family of pretrained transformer language models for Russian”- научная статья

Послесловие

Печально, что наш бигтех вместо развития своих решений типа того же ruGPT илии YaLM решили пойти по пути копирования и “инициализации из весов” других решений. По моему скромному мнению линейка ruGPT-3 была той самой точкой бифуркации, после которой мы свернули куда-то не туда, но это уже совсем другая история.

Ну я в свою очередь благодарю вас за прочтение, надеюсь мои наработки пригодятся, буду рад фидбеку в комментариях или втелеграме.