Сидя на очередном митинге в Teams с коллегами, говорящими на французском, автор в очередной раз понял, что упускает суть обсуждения — уровень языка оставлял желать лучшего. Вместо того чтобы полагаться на встроенные инструменты, он решил создать собственное решение.

Результат — небольшая утилита, которая перехватывает звук с устройства, разбивает его на фразы, распознаёт речь с помощью Whisper и переводит на указанный язык. Поддерживаются русский, английский и французский.

Как это работает

Программа написана на C#. Основной функционал реализован с минимальным объёмом кода — около 80% сгенерировано с помощью ИИ, остальное — ручные правки.

Для распознавания речи (STT) автор тестировал несколько локальных решений:

• Sherpa с ONNX-моделями — нашлась только потоковая версия для французского, не совместимая с архитектурой приложения.
• Foundry Local от Microsoft — слишком сырая, использует тот же Whisper, но обмен данными происходит через файлы.
• Другие варианты не подошли или забыты.

В итоге остановился на Whisper. Модель base работает быстро, но не учитывает контекст. Small уже пытается следить за логикой, но может подтормаживать. Medium не успевает за живой речью — очередь фрагментов быстро растёт. К сожалению, не удалось задействовать NPU/GPU, нагрузка ложится на оперативную память, но качество распознавания остаётся хорошим.

Перевод

Реализовано два варианта перевода:

• Через OpenAI — нужно указать ключ, модель и URL.
• Через Azure Translator — достаточно указать ключ. Обеспечивает быструю обработку и 2 миллиона бесплатных символов в месяц, но требует учётной записи Azure.

Интеграция с Yandex API не реализована — требуется платёжный аккаунт, а у автора нет способов оплаты из РФ. Однако добавить новый переводчик просто: в коде есть чёткий интерфейс ITranslationService.

Локальные библиотеки для перевода автор рассмотрел, но не нашёл подходящих решений.

Особенности и настройки

Если выбрать один и тот же язык для распознавания и перевода, программа работает как диктофон — просто транскрибирует речь и, при необходимости, сохраняет аудио.

Вторая строка настроек отвечает за разбиение речи на фразы. Можно регулировать чувствительность по громкости и длительности пауз. В правом нижнем углу отображается уровень звука и флаги определения речи — это помогает точно настроить параметры.

Важно: программа перехватывает только звук, воспроизводимый через динамики или наушники. Микрофон системы она не слышит — это не инструмент для записи разговоров.

Рекомендуемая модель — small, с температурой 0.1–0.2. Качество аудио на совещаниях обычно высокое, поэтому результат получается стабильным.

Утилита создана для узкой задачи, но может быть полезна тем, кто регулярно участвует в международных звонках. Исходный код доступен на GitHub: https://github.com/whitebehemoth/chacka.

Сидя на очередном teams митинге с коллегами на французском, и в очередной раз понимая, что упускаю смысл совещания, ибо уровень этого самого французского оставляет желать лучшего, подумал, что надо что-то делать.

И так как их много, а меня — мало, делать что-то предстояло мне. Teams и прочие платформы, конечно, имеют опции на такой случай, но не просить же включать запись каждый раз.

Получилась небольшая программа, которая берёт воспроизводимый звуковой поток, делит его на фразы, через whisper распознаёт в указанный язык (проверял русский, английский, французский) и переводит.

Писал для себя, но если вдруг кому пригодится она сама, её части или идея — буду рад. Всё лежит тутhttps://github.com/whitebehemoth/chacka

Всё написано на C#, правда руками процентов 20, в основном правки. Да и самого кода-то в общем-то не так и много.

Для распознавания речи (STT) пробовал несколько локальных решений

• Sherpa (onnx модели) но для фр. нашел только потоковую версию, что под мою архитектуру не ложилось.
• Foundry Local от микрософта - но они еще очень сырые, и там тот же виспер, еще и общаться с ним через файл.
• Что-то еще было точно, но забыл

Короче, остался c whisper, он в общем-то неплохо распознаёт и английский и французский и русский. Base модель, самая мелкая, работает быстро, но за логикой не следит — что поняла, то и выдала. Small — уже пытается в логику, но может немного подтормаживать. Medium уже не успевает за беседой, очередь чанков быстро растёт. Обидно, что не получилось с NPU/GPU и нагружается обычная память, но в общем-то качество нормальное и так.

Для перевода в программе есть два варианта — через OpenAI (нужно в настройках указать ключ, модель и URL) и через Azure translator, там только ключ указать. (2 миллиона символов в месяц бесплатно и работает шустро, но нужно иметь учётку azure). Хотел еще yandex API, но там нужно обязательно billing account, но у меня способов оплаты в рф нету. Но если кому нужен другой переводчик — там очень простой интерфейс ITranslationService и подключить новую реализацию в общем-то просто.

Смотрел на локальные библиотеки для перевода, но чего-то вменяемого не нашел.

Выглядит программа так: (скрин из утреннего митинга)

Из неочевидного в настройках — если выбрать один и тот же язык для перевода — тогда программа будет просто распознавать речь (и сохранять аудио, если было включено). Этакий режим диктофона.

Вторая строка в настройке — исключительно для разбивки фраз. Можно подкручивать амплитуду голоса и длину паузы между фразами, если предложения режутся неаккуратно. В правом нижнем углу выводится статистика по текущему значению звука с флажками, показывающими определяется ли речь — специально для тонкой настройки.

Кстати, микрофон, если не в микшере, не ловится. В общем это не полноценная "запись разговора", а только того, что слышно через наушники/динамики.

Про размер модели whisper — уже говорил, — small, наверное, оптимальный вариант, температуру креативности на 0.1 — 0.2, качество звука на совещаниях обычно хорошее.

В общем такая получилась утилита для весьма узкого спектра использования, но может кому-то поможет в работе.