В проекте llama.cpp добавлена поддержка моделей Gemma4, которые умеют распознавать речь.

Модели Gemma4

Модели Gemma4 поддерживают режим LLM, распознавание изображений, видео и речи, а также работу с кодом.

Поддерживаются следующие модели:

• Gemma-4-E4B-it: 4,5 млрд параметров
• Gemma-4-E2B-it: 2,3 млрд параметров

Функционал

Обе модели поддерживают:

• режим LLM (большая языковая модель)
• распознавание изображений и видео
• распознавание речи и перевод
• работу с кодом
• поддержку 35+ языков, включая русский
• контекст 128к

Использование

Для работы с моделями Gemma4 требуется формат GGUF (кванты), который можно скачать на сайте Hugging Face.

Также необходимо использовать параметры `-b 1024 -ub 1024` для стабильной работы.

Модель была протестирована на RTX 4090D с квантами Q8_0, используя 10 ГБ VRAM.

Эксперимент

Было проведено экспериментальное развертывание llama.cpp в Интернет без авторизации.

Модель пока не всегда понимает промпты, но будет интересно получить обратную связь.

Сегодня (12 апреля) в проект llama.cpp залили PR, который добавляет новый функционал - работа с audio.

Речь идёт о поддержке моделей Gemma4, которые умеют распознавать речь:

https://huggingface.co/google/gemma-4-E4B-it

• Total Parameters 4.5B effective (8B with embeddings)

https://huggingface.co/google/gemma-4-E2B-it

• Total Parameters 2.3B effective (5.1B with embeddings)

Обе модели поддерживают:

• режим LLM (большая языковая модель), поддерживается режим thinking (размышления)
• распознавание изображений: объектов, фотографий, документов, скриншотов экрана, рукописного текста.
• распознавание видео
• распознавание речи (ASR) и распознавание речи с переводом (speech-to-translated-text translation)
• работа с кодом
• поддерживается 35+ языков (включая русский).
• контекст 128k

Так как в этой статье речь идёт о работе с llama.cpp, то требуется формат GGUF (кванты), который можно взять вот тут:

https://huggingface.co/ggml-org/gemma-4-E4B-it-GGUF

https://huggingface.co/ggml-org/gemma-4-E2B-it-GGUF

Так как поддержка добавлена только сегодня, то этот функционал ещё не работает в опубликованном контейнере докера (будет завтра). Я компилировал из исходников и запускал у себя на RTX 4090D:

C параметрами по умолчанию движок работает нестабильно, падает:

https://github.com/ggml-org/llama.cpp/issues/21816Gemma 4 E4B audio assert error

Нужно добавлять `-b 1024 -ub 1024`, как в примере у меня выше.

Я использовал квант Q8_0 - используется 10 GB VRAM.

Я решил провести эксперимент, и выставил llama.cpp в Интернет, безо всякой авторизации:

https://habr.acloud.app/

Так что можете попробовать, если интересно. Если Хабр положит мой компьютер, то ссылку уберу отсюда.

Так как поддержку только добавили, то выглядит это немного "сыровато". Модель не всегда понимает промпты. Так что будет интересно получить обратную связь.

НаRedditнарод пишет, что вроде бы ещё поддерживается модель Voxtral, но я до неё ещё не добрался.