Всё больше разработчиков используют облачные языковые модели (LLM) для генерации кода, в том числе через автономных агентов. Однако это создаёт две ключевые проблемы:

• Утечка данных: непонятно, какая информация передаётся в облако.
• Неограниченный расход токенов, особенно при длительной работе агентов.

Для решения этих задач существуют инструменты вроде Tokentap (бывший Sherlock) — MitM-прокси, который перехватывает запросы к LLM и анализирует их в реальном времени. Это помогает контролировать безопасность и расходы.

Возможности Tokentap

• Отслеживание токенов: показывает, сколько токенов потребляет каждый запрос.
• Мониторинг контекстного окна: визуальный индикатор загруженности контекста.
• Отладка промтов: автоматически сохраняет все запросы в форматах Markdown и JSON.
• Готов к работе из коробки: не требует сертификатов, сложной настройки или виртуальных окружений.

Установка и запуск

На Linux рекомендуется установить pip и pipx для простой инсталляции с автоматическим созданием виртуального окружения:

После установки запускается прокси. Программа предложит указать папку для сохранения перехваченных промтов, после чего откроется консольная панель.

Можно также запускать локальную LLM через прокси. Поддерживаются три провайдера, часто используемых для программирования в терминале.

Пример: проксирование Gemini CLI

Предположим, установлен Gemini CLI и настроен доступ к Google. Запускаем прокси командой:

tokentap gemini

Как работает MitM-прокси

Прокси перехватывает HTTPS-трафик между клиентом и API LLM. Он расшифровывает запросы и ответы, анализирует их и передаёт дальше.

Информационная панель

• Зелёный индикатор: загрузка контекста менее 50%.
• Жёлтый: от 50% до 80%.
• Красный: более 80% — риск переполнения контекста.

Каждый запрос сохраняется в выбранную директорию в двух форматах:

• Markdown: читаемый вид для анализа.
• JSON: исходное тело API-запроса для отладки.

После завершения сессии в LLM-CLI отображается сводка по использованию токенов.

Tokentap построен на основе mitmproxy — популярного инструмента для перехвата и анализа HTTPS-трафика.

Локальные модели ИИ

Для повышения безопасности эксперты рекомендуют использовать локальные модели с Hugging Face. Они не передают данные в облако и работают полностью на устройстве пользователя.

Одним из решений для локального запуска моделей является llama.cpp. Он использует библиотеку ggml, оптимизированную для высокой производительности на обычных компьютерах без GPU.

Преимущества ggml:

• Нет внешних зависимостей.
• Работает на любой платформе.
• Не требует мощного железа.

Недавно разработчики ggml, во главе с Георгием Гергановым, присоединились к компании Hugging Face. Проект остаётся открытым и управляемым сообществом. Основное внимание будет уделено интеграции с библиотекой transformers для улучшения совместимости с моделями.

Разработчики отмечают: локальный инференс становится реальной альтернативой облачным решениям. Децентрализованная архитектура, где ИИ работает на устройствах пользователей, важна для будущего независимых и безопасных систем ИИ.

Важно: скрытые локальные модели

Некоторые приложения устанавливают локальные модели без уведомления. Например, последние версии Chrome автоматически загружают Gemini Nano — модель для локальной обработки запросов.

Отключить её можно через флаги браузера:

• chrome://flags/#optimization-guide-on-device-model
• chrome://flags/#prompt-api

После отключения можно удалить модель размером около 4 ГБ по пути:

AppData/Local/Google/Chrome/User Data/OptGuideOnDeviceModel/

И локальные, и облачные модели требуют контроля. Важно отслеживать, какие промты поступают на вход, как они обрабатываются и что возвращается. Без такого контроля нельзя полностью доверять ни одной системе ИИ.

Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы:

1. Утечка информации: мы не знаем, какие данные LLM передаёт в облако
2. Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период

Для этого есть специальные инструменты мониторинга. Например,Tokentap(бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.

Особенности программы:

• Отслеживание использования токенов: сколько токенов потребляет каждый запрос.
• Мониторинг контекстных окон: визуальный индикатор показывает, сколько накопилось токенов, по сравнению с лимитом.
• Отладка подсказок: автоматически сохраняет каждый запрос в форматах Markdown и JSON для просмотра.
• Простая конфигурация(точнее, её отсутствие): программа работает сразу после установки, не требует сертификатов или дополнительной настройки.

Для установки Tokentap на Linux желательно сначала поставить пакетыpipиpipx. Тогда инсталляция с автоматической установкой виртуального окружения проходит проще всего:

Как вариант, можно вручную установить из исходников, но тогда нужно будет вручную установить venv:

Затем запускаем прокси:

Программа предложит сохранить перехваченные промты, а затем появится консоль такого вида:

Или можно сразу запустить установленную локальную LLM через прокси:

Пока поддерживаются три провайдера LLM, все они обычно используются для программирования из консоли, в том числе запуска агентов.

Предположим, мы установили в системе Gemini CLI и подключились к аккаунту Google. Теперь запускаем прокси командойtokentap gemini:

MitM-прокси

Схема работы прокси:

Опции при запуске:

Что показывает информационная панель:

• Зелёный индикатор: < 50% от лимита токенов
• Жёлтый: 50-80% от лимита
• Красный: > 80% от лимита

Каждый перехваченный запрос сохраняется в выбранный каталог в форматах Markdown (человекочитаемый формат для удобства) и JSON (исходное тело запросов API для отладки

При выходе из LLM-CLI отображается сводка сессии в таком формате:

Судя пофрагменту исходного кода, программа работает как расширение дляmitmproxy, известного HTTPS-прокси.

Локальные модели

Чтобы избежать утечки информации, специалисты по безопасности рекомендуют использовать локальные модели из набораHugging Face. Все модели на этом сайте доступны для скачивания:

Модели работают через оболочку инференсаllama.ccpследующим образом:

Оболочка для инференсаllama.ccpоснована на тензорной библиотеке машинного обученияggml, которая обеспечивает высокую производительность больших моделей на стандартном компьютерном железе. Библиотека не имеет внешних зависимостей, работает на любой аппаратной платформе и не выдвигает высоких требований к конфигурации ПК.

Несколько недель назад авторggmlГеоргий Гергановобъявило том, что небольшой коллектив разработчиков теперь войдёт в состав компании Hugging Face, что гарантирует дальнейшую разработку интерфейса для локального запуска моделей ИИ (Local AI). Проекты ggml остаются открытыми и управляемыми сообществом, а дополнительное внимание в ближайшее время уделят интеграции с библиотекойtransformersот Hugging Face для улучшенной поддержки моделей.

Разработчики считают, что сейчас локальный инференс «становится значимой и конкурентоспособной альтернативой облачному». Для будущей сверхмощной системы ИИ важно, чтобы она работала по распределённой модели на железе пользователей, а не в дата-центре коммерческой корпорации.

Примечание. Локальная LLM может быть установлена на компьютер даже без ведома пользователя. Например, последние версии браузера Chromeпринудительно устанавливают локальную модель Gemini Nano, не предупреждая об этом.

Отключить эту опцию можно с помощью параметровOptimization Guide On Device ModelиPrompt APIв браузере, которые изменяются черезchrome://flags/.

После этого модно удалить модель размером около 4 ГБ в папкеAppData/Local/Google/Chrome/User Data/OptGuideOnDeviceModel/.

И в локальной, и в облачной нейронной модели для информационной безопасности желательно отслеживать, какие промты и токены к ней поступают, как она она их обрабатывает и какой выдаёт результат. Для облачной модели — также отслеживать и логгировать внешний трафик. Если мы не контролируем действия модели, то ей нельзя полностью доверять.