2 апреля вышла ACE-Step 1.5 XL — open source модель для генерации музыки с 4-миллиардным DiT-декодером. Она распространяется по MIT-лицензии, работает локально и требует от 4 ГБ VRAM для базовой версии. По бенчмарку SongEval модель превосходит Suno v5.

Почему это важно

До сих пор генерация музыки делилась на два лагеря: закрытые коммерческие сервисы вроде Suno, Udio и ElevenLabs Music с хорошим качеством, но за подписку — и open source-решения с посредственным результатом.

ACE-Step 1.5 — первая open source модель, которая по стандартным бенчмаркам обгоняет коммерческих конкурентов. Её называют «моментом Stable Diffusion для музыки» — точкой, когда технология перестала быть закрытой и стала доступна всем.

Разработкой занимали ACE Studio и StepFun. Подробности опубликованы в научной статье на arXiv (2602.00744), что для музыкальных AI-моделей — большая редкость.

Архитектура: LM + DiT

Ключевая особенность — двухстадийная архитектура. Вместо одного большого трансформера модель использует два этапа.

Стадия 1: Language Model (LM) как планировщик. Модель от 0,6 до 4 миллиардов параметров получает текстовый промт и генерирует «чертёж» песни: структуру, стиль, аранжировку, текст. Используется Chain-of-Thought — модель пошагово разбивает задачу на компоненты.

Это не генерация звука, а планирование. LM решает, какие инструменты использовать, как устроены куплеты и припевы, какой темп. Результат — промежуточное представление, которое передаётся дальше.

Стадия 2: Diffusion Transformer (DiT) как генератор аудио. DiT (2B для базовой версии, 4B для XL) принимает план и генерирует аудио. Для сжатия используется DCAE (Deep Compression AutoEncoder) от Sana — это позволяет работать с малым объёмом VRAM.

Разделение планирования и синтеза — ключевое преимущество. LM хорошо справляется с логикой композиции, но плохо генерирует звук. DiT отлично создаёт аудио, но нуждается в чётком плане. Вместе они работают эффективнее.

Основные характеристики:

• SongEval: 8,09 (у Suno v5 — ниже, точное значение не раскрывается)
• Lyric Alignment: 8,35 — хорошая синхронизация вокала с текстом
• Скорость: полный трек за ~2 секунды на A100, ~10 секунд на RTX 3090
• VRAM: от 4 ГБ (базовая), от 12 ГБ (XL с offload)
• Длительность: от 10 секунд до 10 минут

Turbo-версия работает за 4–8 шагов диффузии — значительно меньше, чем у обычных моделей (50–100 шагов). Дистилляция позволяет сократить шаги без сильной потери качества.

Дополнительные функции

Кроме text-to-music модель поддерживает:

• Cover generation — переаранжировка трека в другом стиле
• Audio repainting — перегенерация отдельных тактов без изменения остального
• Vocal-to-BGM — генерация аккомпанемента по вокальному треку
• LoRA fine-tuning — адаптация под стиль на основе нескольких треков

Repainting — интересная возможность. Можно сгенерировать трек, а затем заменить только неудачный фрагмент. На практике переходы между частями пока звучат неестественно. Авторы честно указывают на это.

Ограничения модели

Разработчики открыто сообщают о слабых местах — что редко встречается в промо-материале.

Непостоянство результата. Качество сильно зависит от random seed и длительности. Один и тот же промт может дать шедевр или полную ерунду. Авторы называют это «gacha-style results» — как в играх с рандомным лутом.

Вокал. «Грубая синтезация без нюансов» — так описывают вокал разработчики. Для фоновой музыки и инструментала — приемлемо. Для вокальных композиций, где голос в центре, — пока недостаточно.

Жанры. Китайский рэп, по признанию авторов, генерируется плохо. Вероятно, другие нишевые стили тоже будут проблемными — модель обучена в основном на мейнстримных жанрах.

Контроль. «Требуется более точное управление параметрами» — нельзя задать BPM, тональность или аккордовую прогрессию. Описание стиля остаётся на усмотрение модели.

Как попробовать

Самый простой способ — демо на Hugging Face: huggingface.co/spaces/ACE-Step/Ace-Step-v1.5.

Достаточно ввести описание стиля и (опционально) текст песни — через несколько секунд будет готов результат. Без регистрации и установки.

Для локального запуска:

Скрипт автоматически скачает модели и запустит интерфейс Gradio. Базовой версии хватит RTX 3060 (12 ГБ). Для XL требуется 20 ГБ и выше (RTX 3090, 4090, A100).

Поддерживается Mac на Apple Silicon, AMD с ROCm и другие платформы — не только NVIDIA.

Также доступен нод для ComfyUI — подойдёт тем, кто уже работает в этой экосистеме.

Suno умерла?

Нет. Заголовки вроде «Suno убили» — кликбейт.

Suno — это сервис: вводишь промт вроде «весёлый поп-рок про кота» — и через минуту получаешь трек. Без установки, GPU и настроек.

ACE-Step — это модель, которую нужно скачать, установить и настроить. Результат зависит от промта и случайного seed. Для музыкантов и разработчиков, готовых экспериментировать, — отличный инструмент. Для обычного пользователя, который хочет «нажал — получил» — Suno остаётся проще.

Но для тех, кому важны приватность (данные не в облаке), кастомизация (LoRA под свой стиль) и отсутствие подписки — ACE-Step 1.5 меняет правила игры. Впервые можно получить качество уровня коммерческих сервисов полностью локально и бесплатно.

2 апреля вышла ACE-Step 1.5 XL — open source модель для генерации музыки с 4-миллиардным DiT-декодером. MIT-лицензия, работает локально, от 4 ГБ VRAM для базовой версии. По бенчмарку SongEval обходит Suno v5.

Я потратил пару дней на изучение архитектуры и тесты — расскажу, что внутри, где модель действительно впечатляет, а где промо-материалы приукрашивают.

Почему это важно

До сих пор генерация музыки была поделена на два лагеря: закрытые коммерческие сервисы (Suno, Udio, ElevenLabs Music) с хорошим качеством, но за подписку — и open source модели с посредственным результатом.

ACE-Step 1.5 — первая open source модель, которая на стандартных бенчмарках обходит коммерческих конкурентов. Её называют «Stable Diffusion moment для музыки» — момент, когда технология перестала быть закрытой и стала доступна всем.

Разработчики — ACE Studio и StepFun. Научная статья на arXiv (2602.00744), что для музыкальных AI-моделей — редкость.

Архитектура: LM + DiT

Самое интересное — архитектура. ACE-Step не использует один большой трансформер для всего. Вместо этого — двухстадийный пайплайн:

Стадия 1: Language Model (LM) как планировщик.Модель от 0.6B до 4B параметров получает текстовый промт и генерирует «чертёж» песни: структуру, стиль, аранжировку, текст. Используется Chain-of-Thought — модель рассуждает пошагово, разбивая задачу на компоненты.

Это не генерация аудио — это планирование. LM решает, какие инструменты использовать, какая структура у куплетов и припевов, какой темп. Результат — промежуточное представление, которое передаётся на вторую стадию.

Стадия 2: Diffusion Transformer (DiT) как генератор аудио.DiT (2B для базовой, 4B для XL) принимает план от LM и генерирует само аудио. Используется DCAE (Deep Compression AutoEncoder) от Sana для сжатия аудио в латентное пространство — это то, что позволяет работать с малым количеством VRAM.

Разделение планирования и синтеза — ключевое решение. LM хорошо справляется с высокоуровневой структурой (куплет-припев-бридж), но плохо генерирует аудио напрямую. DiT хорошо генерирует аудио, но ему нужен чёткий план. Вместе они работают лучше, чем каждый по отдельности.

По данным из статьи:

• SongEval: 8.09 (Suno v5 — ниже, точная цифра для Suno не публикуется авторами)
• Lyric Alignment: 8.35 — модель хорошо синхронизирует вокал с текстом
• Скорость: полный трек за ~2 секунды на A100, ~10 секунд на RTX 3090
• VRAM: от 4 ГБ (базовая), от 12 ГБ (XL с offload)
• Длительность: от 10 секунд до 10 минут

Turbo-версия генерирует за 4-8 шагов диффузии — это очень мало. Обычные диффузионные модели используют 50-100 шагов. Дистилляция позволяет сократить количество шагов без критической потери качества.

Что модель умеет кроме text-to-music

• Cover generation— переаранжировка существующего трека в другом стиле
• Audio repainting— перегенерация отдельных тактов без изменения остального
• Vocal-to-BGM— генерация аккомпанемента по вокальному треку
• LoRA fine-tuning— персонализация на нескольких треках для захвата стиля

Repainting — любопытная фича. Можно сгенерировать трек, послушать, и если не нравится один кусок — перегенерировать только его. В теории. На практике — авторы сами пишут, что переходы в местах склейки звучат неестественно. Честно с их стороны.

Что реально не работает (из limitations самих авторов)

Авторы честно перечисляют проблемы — это редкость для промо-материалов:

Output Inconsistency.Результат сильно зависит от random seed и длительности. Одинаковый промт может дать отличный трек и полную ерунду. Авторы называют это «gacha-style results» — как в играх, где тебе выпадает рандомный лут.

Вокал.«Coarse vocal synthesis lacking nuance» — вокал грубоватый, без тонкостей. Для фоновой музыки и инструментала — нормально. Для вокальных треков, где голос — главный элемент — пока слабо.

Некоторые жанры.Китайский рэп, по признанию авторов, генерируется плохо. Скорее всего, и другие нишевые жанры будут проблемными — модель обучена преимущественно на мейнстримных стилях.

Контроль.«Needs finer-grained musical parameter control» — нельзя задать конкретный BPM, тональность, аккордовую прогрессию. Вы описываете стиль словами, а модель интерпретирует как хочет.

Как попробовать

Самый быстрый способ— демо на Hugging Face:huggingface.co/spaces/ACE-Step/Ace-Step-v1.5

Просто вводите описание стиля и (опционально) текст песни — и через несколько секунд получаете результат. Без регистрации, без установки.

Локальная установка:

Скрипт сам скачает модели и запустит Gradio-интерфейс. Для базовой версии хватит RTX 3060 (12 ГБ). Для XL нужно 20 ГБ+ (RTX 3090, 4090, A100).

Поддерживает Mac на Apple Silicon, AMD с ROCm, Intel — не только NVIDIA.

Через ComfyUI— есть готовый нод, если вы уже работаете в этой экосистеме.

Suno умерла?

Нет. Заголовок «Suno убили» — красиво, но не точно.

Suno — это сервис, а не модель. Вы открываете сайт, пишете «весёлый поп-рок про кота» и через минуту получаете готовый трек. Никакой установки, никаких GPU, никаких конфигов.

ACE-Step — это модель, которую нужно скачать, установить, настроить. Результат зависит от вашего промта и от того, какой seed выпадет. Для музыканта или разработчика, который готов экспериментировать — отлично. Для человека, который хочет «нажал кнопку — получил песню» — Suno по-прежнему проще.

Но для тех, кому важна приватность (данные не уходят в облако), кастомизация (LoRA на своём стиле) и отсутствие подписки — ACE-Step 1.5 меняет расклад. Впервые можно получить коммерческое качество генерации музыки полностью локально и бесплатно.

GitHub:github.com/ace-step/ACE-Step-1.5Демо:huggingface.co/spaces/ACE-Step/Ace-Step-v1.5

Пробовали генерировать музыку с помощью AI? Для каких задач это реально полезно, а где пока рано?