Если вы пользуетесь голосовыми ассистентами — Алисой, Siri, Google Assistant — ваш голос каждый раз отправляется в облако. Там он распознаётся, и ответ приходит обратно. Система работает неплохо, но требует интернет-соединения, имеет задержку и подразумевает передачу личных данных на сторонние серверы. А что если всё это можно делать прямо на устройстве?

Сегодня на устройствах возможны два сценария: либо используются дешёвые чипы, распознающие лишь несколько заученных команд вроде «включи свет», либо задействуются мощные процессоры, быстро сажающие батарею. Между этими крайностями — пустота: полноценное распознавание произвольной речи на устройстве, без интернета и с низким энергопотреблением.

Недавно появились микроконтроллеры (MCU) со встроенным нейроускорителем (NPU). Возможны ли на их основе автономные системы распознавания речи? Анализ публикаций и проектов показал: готовых решений, реализующих распознавание произвольной речи на таких чипах, пока нет.

Из чего состоит система

Ключевая часть системы — акустическая модель — реализована на микроконтроллере STM32N6 с NPU. Подход разбивает распознавание на три этапа, что позволяет сэкономить память и повысить точность:

• Акустическая модель — самая ресурсоёмкая часть. Преобразует сырые аудиоданные с микрофона в последовательность фонем (минимальных звуковых единиц речи).
• Декодер — собирает из фонем слова, используя словарь и языковые правила.
• Рескоринг — перепроверяет результат, учитывая контекст, и выбирает наиболее вероятную фразу.

На данный момент реализована и протестирована только акустическая модель — это основа всей системы. Декодер и рескоринг компактнее и находятся в разработке.

Демонстрация работы

В реальном времени устройство распознаёт произвольные фразы. Для наглядности добавлен простой интерпретатор: внизу экрана отображаются фонемы, выданные моделью, а вверху — преобразованные в слова и числа.

Пока используется жёсткое сопоставление фонем со словами — по сути, таблица «фонемы → слово». Это ограничивает возможности системы. После внедрения полноценного декодера с языковой моделью точность значительно вырастет, и система сможет распознавать любые слова, а не только заранее заданные.

Энергопотребление

Полное энергопотребление устройства при активном распознавании — всего ~0,215 Вт. При этом:

• NPU и ядро Cortex-M55;
• внешняя память (Flash + PSRAM);
• внешние пины микроконтроллера.

Оптимизация пока не проводилась. Ядро Cortex-M55 используется только для вычисления мел-спектрограммы и не участвует в работе нейросети — его можно перевести в спящий режим или снизить частоту. NPU загружен всего на 10,4% — есть большой резерв для улучшений.

В реальном сценарии (просыпается по ключевому слову → распознаёт → засыпает) фоновое потребление будет минимальным. Устройство сможет долго работать от батареи.

Сигнал на входе модели: датасет и микрофон

Модель обучалась на датасете LibriSpeech. Сравнение мел-спектрограмм показывает, что сигнал с микрофона устройства сохраняет основные структуры речи, несмотря на шум. Пока фильтрация не применяется — шумоподавление станет следующим шагом.

Точность модели

Характеристики акустической модели:

• Размер: 8,5 млн параметров;
• PER (dev_clean): 5,51%;
• PER (dev_other): 13,75%;
• Потеря точности при квантовании до int8: 0,4% (dev_other) / 0,15% (dev_clean);
• Время инференса на NPU: 52 мс на 500 мс аудио;
• Полная латентность: 985 мс (включая 485 мс «окна в будущее»).

Метрика PER (Phone Error Rate) измеряет долю ошибок в распознанных фонемах. Чем она ниже, тем точнее модель «слышит» звуки, из которых потом формируются слова.

Обучение проводилось на полном датасете LibriSpeech, после чего модель была квантована до int8. Результаты получены не в симуляции, а на реальном устройстве: валидационный набор был обработан через NPU, данные передавались по UART, а метрика рассчитывалась на ПК.

Сравнение с другими решениями

Прямое сравнение затруднено: большинство публикаций приводят WER (ошибки на уровне слов), а не PER (ошибки на уровне фонем). WER зависит от декодера и языковой модели, поэтому сравнивать его с PER некорректно.

Тем не менее, при 8,5 млн параметров модель показывает PER 5,51% на test_clean — это сопоставимо с wav2vec 2.0 Base (5,74%) и HuBERT Base (5,41%), которые в 11 раз больше по размеру. Ни одна из них не работает на микроконтроллере. Данная модель — единственная в списке, выполняемая на NPU в реальном времени.

Точность указана для расширенного набора фонем из 72 символов — более сложная задача по сравнению со стандартными наборами из 39–44 фонем.

Планируемые результаты с декодером: при добавлении фонемного декодера ожидается WER ~16–25% на сложном датасете LibriSpeech dev_other при общем размере системы около 8–16 млн параметров.

Потенциал и запас роста

Сейчас используется лишь малая часть возможностей чипа:

• RAM занята на 18% — модель можно увеличить примерно в четыре раза;
• NPU загружен на 10,4% — вычислительный ресурс практически не задействован;
• Энергопотребление не оптимизировано — текущие ~0,2 Вт можно значительно снизить.

В ближайших планах — разработка фонемного декодера и языковой модели, а также внедрение шумоподавления. Это позволит повысить точность и расширить применимость системы.

Где MCU с NPU может заменить облако

Система не заменит Siri или Алису — диктовка длинных текстов невозможна из-за ограничений памяти. Однако она превосходит классические KWS (keyword spotting) системы, которые распознают только точные команды.

Новые возможности:

• Умный дом без облака: управление светом, климатом, техникой естественной речью. «Сделай в зале поуютнее», «в детской чуть потеплее» — система понимает контекст, комнату и параметр. Данные не покидают устройство.
• Голосовой ввод данных: показания счётчиков, измерений, кодов. «Давление сто тридцать два» — система извлекает число. Удобно при занятых руках или в перчатках.
• Промышленное оборудование: команды с параметрами. «Подать заготовку на позицию три», «скорость двадцать процентов» — управление без панели.
• Медицинские устройства: тонометры, глюкометры. Пациент говорит: «после еды», «утром натощак» — проще, чем кнопки.
• Склад и логистика: сотрудник с занятыми руками диктует: «на полке Б двенадцать — три коробки», «это брак, убери».
• Транспорт и спецтехника: в поле, на стройке, в шахте. «Поехали на базу», «переключи на экономный» — без интернета.
• Детские игрушки и образовательные устройства: робот, понимающий свободную детскую речь — имена, числа, цвета. Без Wi-Fi, подписок и передачи голоса.
• Устройства для людей с ОВЗ: управление коляской или протезом. «Поедем вперёд», «немного левее» — естественно и автономно.

Заключение: так смогут ли заменить?

Сейчас работает акустическая модель, распознающая фонемы произвольной речи на микроконтроллере — в реальном времени, без интернета, с потреблением ~0,2 Вт. Для диктовки она не подойдёт, но для голосовых команд, ввода данных и управления — более чем достаточна.

Там, где облако избыточно, а KWS слишком примитивен, микроконтроллер с NPU выигрывает по цене, энергопотреблению и автономности. Чип дешевле процессора, не требует сложной аппаратной платформы и тяжёлого ПО.

Впереди — реализация декодера, языковой модели, шумоподавление и оптимизация энергопотребления. Каждый шаг приближает момент, когда MCU с NPU будут решать всё больше задач, где важны приватность, автономность и работа без интернета.

Если вы пользуетесь голосовыми ассистентами — Алисой, Siri, Google Assistant — ваш голос каждый раз отправляется в облако. Там он распознаётся, и ответ приходит обратно. Работает неплохо, но нужен интернет, есть задержка, и по сути вы передаёте свой голос на чужие серверы. А что на самом устройстве? Здесь пока всё скромно: либо дешёвые чипы, которые знают десяток заученных команд типа «включи свет», либо мощные процессоры, которые быстро расходуют батарею и не подходят для компактных устройств.

Между этими крайностями — пустое место: распознавание произвольной речи прямо на устройстве, без облака, с низким потреблением. Недавно появились микроконтроллерыMCUсо встроенным нейроускорителемNPU. Я стал разбираться — может ли такой чип закрыть этот разрыв? Изучил доступные публикации и проекты — готовых решений, которые бы это делали, я не нашёл.

Из чего состоит система

Я реализовал ключевую часть системы распознавания речи на микроконтроллереSTM32N6со встроеннымNPU.

Рисунок 1. Разделение системы на акустическую модель,декодери блокрескоринга.

Подход, который я использовал, разбивает распознавание на три части — это позволяет сэкономить оперативную память и улучшить конечную точность:

• Акустическая модель— наиболее ресурсоёмкая часть. Принимает сырой звук с микрофона и превращает его в поток фонем (мельчайших неделимых звуков, образующих человеческую речь).
• Декодер— собирает из фонем слова, опираясь на словарь и правила языка.
• Рескоринг— перепроверяет результат и выбирает наиболее вероятную фразу с учётом контекста.

Пока я сделал и протестировал именно акустическую модель — это фундамент, без которого остальное не имеет смысла.Декодерирескорингкомпактнее, над ними работаю сейчас.

Демонстрация работы

На видео устройство работает в реальном времени — произносятся произвольные фразы, и система их распознаёт. Для наглядности я написал простой интерпретатор, который переводит фонемы в слова. Внизу экрана — сырые фонемы, как их выдаёт модель. Вверху — слова и числа, полученные из этих фонем.

Важно учитывать: в демо пока используетсяжёсткое сопоставление фонем со словами— по сути, таблица «фонемы→слово». Это существенно ограничивает возможности. Когда будет готов полноценный фонемныйдекодерс языковой моделью, точность заметно вырастет, и система сможет распознавать любые слова, а не только заданные в таблице.

Энергопотребление

Рисунок 2. График потребляемой мощности при активной работеNPU.

Здесь, пожалуй, самый приятный результат — энергопотребление. Всё устройство при активном распознавании речи потребляет всего~0.215 Вт:

Потребление

NPU+ ядро (Cortex-M55)

Внешняя память (Flash + PSRAM)

Внешние пины микроконтроллера

И этобез какой-либо оптимизации. Я пока не занимался снижением потребления — запустил как есть. ЯдроCortex-M55сейчас считает только мел-спектрограмму и в работе нейросети не участвует, поэтому его можно переводить в спящий режим или снижать частоту. АNPUзагружен на 10.4% — тоже есть куда оптимизировать.

В реальном сценарии (проснулся по ключевому слову → распознал → заснул) фоновое потребление будет минимальным. От батареи такое устройство сможет работать долго.

Сигнал на входе модели: датасет и микрофон

Рисунок 3.Мел-спектрограммафрагмента речи из датасетаLibriSpeech.

Рисунок 4.Мел-спектрограмматого же фрагмента, записанного микрофоном устройства.

На рисунке 3 —мел-спектрограммаизLibriSpeech(датасет, на котором обучалась модель), на рисунке 4 — тот же фрагмент, но записанный микрофоном отладочной платы. Запись воспроизводилась через динамик телефона. Тем не менее, основные структуры речи сохранены, и модель получает вполне рабочий сигнал. Шума на реальной записи больше — пока никакой фильтрации перед подачей в нейросеть не применяется. Шумоподавление — один из ближайших шагов.

На что способна модель - результаты точности

Размер модели

8.5 млн параметров

PER(dev_clean)

PER(dev_other)

Потеря точности приквантовании

0.4% (dev_other) / 0.15% (dev_clean)

ВремяинференсаNPU

52 мс на 500 мс аудио

ИтоговаяЛатентность

Где:dev_clean— более чистые валидационные записиLibriSpeech,dev_other— более сложные и шумные записи, в том числе с акцентами. Соотношение 2,5 ожидаемо и коррелирует с опубликованными результатами других моделей.

Качество акустической модели измеряется метрикойPER(Phone Error Rate)— это доля ошибок в распознанныхфонемах. Чем ниже — тем лучше модель «слышит» звуки, из которых потомдекодерсобирает слова.

Обучение проводилось на полномLibriSpeech, затем модель былаквантована до int8— потеря точности минимальная. Цифры в таблице — не с компьютера, ас самого устройства: весь валидационный датасет был прогнан черезNPU, результаты забирались поUARTи метрика рассчитывалась на ПК. Это реальные числа, полученные на целевом железе.

Про задержку:985 мс— это полнаялатентность, из которых 485 мс занимает «окно в будущее» (модель подглядывает вперёд, чтобы точнее предсказыватьфонемы).

Сравнение с другими решениями

Сравнивать напрямую сложно: у меня метрикаPER(ошибки на уровне фонем), а в большинстве статей приводятWER(ошибки на уровне слов).WERзависит не только от акустики, но и от декодера и языковой модели — так что это разные вещи. Но для общего понимания я собрал результаты моделей похожего и большего размера:

PER(test_clean)

WER(dev_clean)

WER(dev_other)

WER(test_clean)

STM32N6NPUacoustics model

wav2vec 2.0 Base

HuBERT Base

QuartzNet 5x5

QuartzNet 10x5

Что стоит отметить: при8.5M параметровмодель показываетPER5.51%наtest_clean. Это сопоставимо с wav2vec 2.0 Base (5.74%) и HuBERT Base (5.41%) — при том что они в11 раз больше. И ни одна из них не работает на микроконтроллере. Данная модель — единственная в этой таблице, которая целиком выполняется наNPUв реальном времени.

Точность указана для расширенного наборафонемиз 72 символов, что является более сложной задачей по сравнению со стандартными наборами из 39-44 фонем.

Планируемые результаты сдекодером:при добавлении фонемного декодера ожидаемая точностьWER~16-25% на сложном датасетеLibriSpeechdev_otherпри итоговом размере системы около 8-16M параметров.

Потенциал и запас роста

Рисунок 5. Текущая загрузка ресурсовMCURAMи доступный запас для масштабирования модели.

По сути, я пока использую малую часть возможностей этого чипа.

RAM занята на 18%.В ней размещены только параметры активации — значит, модель можно увеличить примерно в четыре раза, не меняя железо.

NPUзагружен на 10.4%.Вычислительный запас огромный — можно ставить модель посложнее или гонять параллельные задачи.

Энергопотребление пока не оптимизировалось.Текущие ~0.2 Вт — это с ядром на полной частоте и без спящих режимов. Есть значительный запас для снижения.

Сейчас я работаю надфонемнымдекодероми языковой моделью. Декодер будет видеть вероятности всехфонемна каждом шаге и выбирать наиболее вероятные слова — это должно заметно поднять точность.

Также в планах —фильтрация шумаперед нейросетью. Пока она отсутствует, и в шумных условиях модели приходится работать с «грязным» сигналом.

Где MCU с NPU может заменить облако

Стоит сразу обозначить границы: это не замена Siri или Алисе. Диктовать длинные тексты в микроконтроллер не получится — для этого нужны модели от 100 МБ, которые на такой платформе просто не поместятся.

Но вот что система уже умеет и чего не умеет классическийKWS(keyword spotting): она распознаётпроизвольные слова и фразы. Не нужно заучивать команды. Можно сказать «сделай потеплее», «прибавь градусов пять» или «температуру вверх» — и всё это будет интерпретировано как одно действие. ОбычныйKWSтак не может: он ждёт точного совпадения с шаблоном.

Ниша —голосовые команды, короткие сообщения и ввод данных голосом, на устройстве, без интернета. Вот где я вижу применение:

Умный дом без облака.Управление светом, климатом, техникой — но не заученными командами, а нормальной речью. «Сделай в зале поуютнее», «на кухне слишком ярко», «в детской чуть потеплее» — система разбирает фразу и понимает, что вы хотите, в какой комнате и какой параметр менять. И ни одно слово не уходит за пределы дома.

Голосовой ввод данных— показания счётчиков, результаты измерений, коды. Можно говорить как удобно: «давление сто тридцать два», «на манометре сто тридцать два» — система извлечёт число. Когда оператор работает в перчатках или руки заняты — это существенно упрощает процесс.

Промышленное оборудование.Здесь не просто «старт/стоп» — а команды с параметрами: «подать заготовку на позицию три», «скорость двадцать процентов». Оператор не отходит к панели, а управляет голосом прямо у станка.

Медицинские устройства.Тонометры, глюкометры, браслеты. Пациент может проговорить контекст: «после еды», «утром натощак». Это проще, чем тыкать кнопки, и смартфон рядом не нужен.

Склад и логистика.Сотрудник с занятыми руками диктует в гарнитуру: «на полке Б двенадцать — три коробки», «это брак, убери». Устройство разбирает фразу и извлекает ячейку, количество, действие.

Транспорт и спецтехника— там, где интернета нет: в поле, на стройке, в шахте. Водитель говорит естественным языком: «поехали на базу», «переключи на экономный». Не нужно вспоминать точную команду из инструкции.

Детские игрушки и образовательные устройства.Робот, который понимает не десять фраз, а свободную детскую речь — имена, числа, цвета. Без подписок, без Wi-Fi, без передачи голоса ребёнка куда-то на серверы.

Устройства для людей с ограниченными возможностями.Управление коляской, протезом голосом. «Поедем вперёд», «немного левее», «останови» — работает так же, как формальные «движение вперёд», «стоп». Здесь особенно важно, что устройство автономно и обеспечивает длительную работу от аккумулятора.

Заключение: так смогут ли заменить?

На текущий момент работаетакустическая модель, которая распознаётфонемыпроизвольной речи на микроконтроллере —в реальном времени, без интернета, потребляя ~0.2 Вт. Для диктовки текстов она не подойдёт, но для голосовых команд, ввода данных и управления устройствами — вполне достаточна. Там, где облако избыточно, аKWSслишком примитивен, микроконтроллер выигрывает ещё и по цене: чип дешевле микропроцессора, потребление ниже в разы, а разработка проще — не нужна тяжёлая аппаратная платформа и сложный программный стек.

Дальше я планирую реализовать фонемныйдекодери языковую модель — чтобы изфонемполучались нормальные слова и фразы. Плюс, оптимизировать потребление и добавить шумоподавление. С каждым из этих шаговMCUсNPUбудут отбирать у облака всё больше задач, где важны автономность, приватность и работа без интернета.

• LibriSpeech - датасет для обучения и оценки
• STM32N6 - семейство микроконтроллеров с NPU
• Видео-демонстрация проекта (YouTube)
• Jeff Lai (Interspeech 2021) - публикация
• Semantic Scholar - статья (PDF)
• QUARTZNET Deep ASR (PDF)
• UC Berkeley (2024) - технический отчёт (PDF)