Долгое время облачные нейросети были удобным решением: открыл браузер, написал промпт — получил ответ. Но в 2026 году нестабильная ситуация в мире и зависимость от интернета заставляют задуматься о резервных вариантах. Что, если связь пропадёт? Можно ли использовать ИИ полностью автономно?

Можно. И даже комфортно.

К 2026 году локальные нейросети перестали быть нишевым хобби для технарей. Они стали реальным инструментом для повседневной работы. Да, требуются базовые технические навыки, но порог входа значительно снизился. Ниже — шесть инструментов, которые работают полностью офлайн. Установка требует интернета, но после этого Wi-Fi можно отключать.

1. GPT4All

GPT4All — десктопное приложение, идеальное для новичков. Установил, запустил, начал пользоваться. Никаких терминалов, сборки из исходников или настройки драйверов.

Установщик занимает около 300 МБ, после установки приложение весит около 1 ГБ. Выбираете модель из встроенного списка — все они уже оптимизированы. Жмёте «Download», ждёте пару минут — и можно общаться.

Особенность — функция LocalDocs. Указываете папку с файлами (PDF, Word, текст), и нейросеть отвечает на вопросы по их содержанию. Всё происходит локально: данные не уходят в облако.

Технические детали

• Работает на CPU — видеокарта не обязательна
• Поддерживает Windows, macOS, Linux
• Модели в формате GGUF (стандарт для локального запуска на базе llama.cpp)
• Потребление RAM: от 4 до 16 ГБ в зависимости от модели
• Полностью офлайн после установки
• Скорость на CPU: 15–20 токенов/сек — значительно быстрее, чем у многих конкурентов (например, Ollama на том же железе даёт 8–12)

Какую модель выбрать в 2026 году

• Phi-3-mini-4k-instruct (3.8B) — для слабых машин. Весит 2,18 ГБ, требует 4 ГБ ОЗУ. Скорость отличная, качество базовое — подходит для простых задач.
• Orca-mini-3B — ещё один лёгкий вариант. 1,98 ГБ, 4 ГБ ОЗУ. Ответы посредственные, но работает на старом железе.
• Nous-Hermes-2-Mistral-7B-DPO — хороший баланс скорости и качества. 4,11 ГБ, требует 8 ГБ ОЗУ.
• Meta-Llama-3-8B-Instruct — помощнее, но и требовательнее. 4,66 ГБ, нужно 8–16 ГБ ОЗУ.
• GPT4All-13B-snoozy — для мощных машин. 7,37 ГБ, требует 16 ГБ ОЗУ.

Если у вас 8 ГБ ОЗУ и ноутбук без дискретной видеокарты — выбирайте Mistral-7B или Llama-3-8B. Для слабых машин (4 ГБ ОЗУ) — Phi-3-mini.

Минусы, о которых стоит знать

• Качество ответов заметно ниже, чем у ChatGPT-4o, Claude 3.5 или DeepSeek-V3. Это плата за локальность и работу на CPU.
• Приложение иногда подвисает на длинных контекстах (особенно при объёмах свыше 4–5 тысяч токенов).
• Русский язык поддерживается, но модели в основном обучены на английском. Базовые запросы поймёт, но сложные формулировки могут вызвать ошибки.
• Телеметрия по умолчанию включена, но её можно отключить в настройках.

Для кого это

Для тех, кто хочет попробовать локальные нейросети без лишних сложностей. Установка занимает 5–10 минут. Не подходит для сложной аналитики, но отлично справляется с базовыми задачами: переформулировка текста, ответы по документам, простое программирование.

Вердикт: GPT4All — идеальный старт в мир локального ИИ. С ним не нужно разбираться в терминалах и CUDA. А с поддержкой LocalDocs он становится полноценным офлайн-помощником по вашим файлам.

2. Llama.cpp

Llama.cpp — библиотека на C++, позволяющая запускать большие языковые модели на обычном процессоре без видеокарты. Создана болгарским разработчиком Георгием Гергановым, и с 2023 года стала основой для большинства локальных ИИ-решений.

До Llama.cpp запуск моделей на CPU был медленным и неэффективным. Автор внедрил формат GGUF и 4-битную квантизацию, которая уменьшает размер модели в 3–4 раза с минимальной потерей качества. По сути, числа округляются — и это работает почти так же хорошо.

Установка происходит через терминал. Качаете модель в формате GGUF (например, с Hugging Face), запускаете — и получаете ответ.

На типичном ноутбуке 2024 года (Intel Core i5, 16 ГБ RAM, без видеокарты) скорости следующие:

• Phi-3 mini 3.8B — до 20 токенов/сек
• Mistral 7B — до 12 токенов/сек
• Llama 3 8B — до 10 токенов/сек
• Qwen 2.5 14B — до 6 токенов/сек

10 токенов в секунду — это примерно 460 слов в минуту. Человек читает со скоростью 200–250 слов/мин. То есть модель отвечает в 2 раза быстрее, чем вы успеваете читать.

Преимущества

• Не нужна видеокарта — экономия на железе
• Огромный выбор моделей — почти все современные имеют GGUF-версию
• Можно запускать на серверах без GPU
• Работает даже на Raspberry Pi (например, TinyLlama — 14 токенов/сек)

Недостатки

• Требует работы с терминалом. Хотя есть GUI-обёртки (например, LM Studio, GPT4All)
• Нужна ручная настройка параметров (температура, top_k, контекст)
• Поддерживает только текст — нет мультимодальности

Для кого это

Для технических специалистов, разработчиков, пользователей старых ноутбуков и тех, кто хочет полного контроля над ИИ. Подходит для интеграции в проекты и запуска на слабом железе.

3. Stable Diffusion WebUI (Forge)

Генерация изображений — одна из самых востребованных задач. Облачные сервисы (Midjourney, Kandinsky) требуют интернета, цензурируют запросы, хранят ваши данные. Локальная версия решает все эти проблемы.

Stable Diffusion WebUI Forge — улучшенная версия классического WebUI от Automatic1111. Автор — lllyasviel (создатель ControlNet). Forge оптимизирован для скорости, управления памятью и совместимости расширений.

Что даёт Forge по сравнению с оригиналом

На SDXL (1024px) на видеокартах:

• 8 ГБ VRAM: ускорение до 1,3 ГБ/с, снижение пика VRAM на 700 МБ–1,3 ГБ, разрешение в 2–3 раза выше без OOM
• 6 ГБ VRAM: экономия 800 МБ–1,5 ГБ, в 2–3 раза больше разрешение
• 24 ГБ VRAM (RTX 4090): экономия 1–1,4 ГБ, разрешение в 1,6 раза выше

Дополнительно:

• Максимальный batch size увеличивается в 4–6 раз для карт 6–8 ГБ
• С ControlNet — в 2 раза больше одновременных сетей, скорость генерации на 30–45% выше
• Может запускать SDXL на 4 ГБ VRAM и SD1.5 на 2 ГБ VRAM без дополнительных флагов

Установка

Способ 1 (через Git):

• Клонируете репозиторий
• Запускаете update.bat (Windows) или ./webui.sh (Linux/macOS)
• Затем run.bat — открывается браузер на http://localhost:7860

Способ 2 (одним кликом):

• Скачиваете архив с Git и Python
• Распаковываете в папку (без кириллицы в пути)
• Запускаете update.bat, затем run.bat

Forge удалил старые флаги вроде -medvram, lowvram, attention_xxx — они больше не нужны. Программа сама оптимизирует загрузку.

Чего нет в Forge

• Русские промпты — модель не понимает кириллицу. Нужно писать латиницей.
• Автоматическая цензура — её нет. Вы сами отвечаете за контент.
• Потребление диска — одна модель SDXL весит 6–7 ГБ, ControlNet — по 1–2 ГБ, полный набор может занять 100+ ГБ.
• Сложность настройки — сотни параметров. Но интерфейс остался привычным, без субъективных изменений.

4. Ollama

Ollama — программа, которая скачивает модели, запускает их локально и предоставляет доступ через терминал и HTTP API. Установил, написал ollama run llama3 — и получил чат, как в облачном сервисе.

После установки на Windows, macOS или Linux:

• ollama pull mistral — скачивает GGUF-модель
• ollama run mistral — запускает интерактивный чат

Для разработчиков — API по адресу http://localhost:11434/api/generate. Формат совместим с OpenAI. Отправляете JSON — получаете ответ.

Популярные модели в 2026 году

• gemma4:e2b — 2B, самый лёгкий
• gemma4:e4b — баланс скорости и качества
• llama3.1:8b — золотой стандарт
• gemma4:26b (MoE) — 4B активных параметров, как 8B по скорости
• qwen3-coder:8b — для программирования
• glm-4.7-flash — 64K контекст, для кода
• gemma4:31b (dense) — уровень GPT-4o mini
• llama3.1:70b — для мощных серверов

Все модели работают полностью офлайн после загрузки.

Почему Ollama, а не Llama.cpp напрямую

Llama.cpp — это движок. Ollama — готовый продукт на его основе. Он берёт на себя:

• Управление версиями моделей
• Автоматическую квантизацию
• Запуск модели как фонового сервиса
• Простой API

Вы теряете тонкую настройку, но получаете простоту. Для 95% задач этого достаточно.

Дополнительные функции

• Аудио: ollama transcribe gemma4 — транскрибация аудио
• Запуск Claude Code: ollama launch claude — одной строкой
• Создание кастомных моделей через Modelfile: можно задать системный промпт, температуру, примеры ответов
• Мультимодальность: модели вроде Gemma 4 или Qwen3.5-35B работают с изображениями
• Эмбеддинги: Ollama может преобразовывать текст в векторы. Поддерживает all-minilm, nomic-embed-text, mxbai-embed-large, bge-m3

Недостатки

• Сложно заглянуть под капот — Ollama скрывает детали запуска
• Модели хранятся в ~/.ollama — могут занять 50+ ГБ
• Нет тонкой настройки, как в Llama.cpp
• Нет встроенного веб-интерфейса — только терминал и API. Для чата с картинками нужен отдельный фронтенд (например, Open WebUI)
• Не подходит для продакшена — нет балансировки нагрузки и пакетной обработки
• Ограниченная многопользовательность — не для десятков запросов в секунду

5. LM Studio

LM Studio — десктопное приложение с графическим интерфейсом. Позволяет скачивать, запускать и общаться с локальными моделями в несколько кликов.

Доступно для Windows, macOS и Linux. На Mac с M-чипами работает особенно быстро благодаря поддержке Metal.

После установки — поиск моделей прямо в приложении. Каталог подтягивается с Hugging Face: видите название, размер, формат (GGUF), автора, количество скачиваний. Нажали — скачалось.

В режиме чата — красивый интерфейс с пузырьками, как в мессенджере. Можно настроить температуру, контекст, количество токенов — ползунками, без редактирования конфигов.

Настройки

Можно указать:

• Сколько слоёв модели загружать на GPU
• Количество потоков CPU
• Включить/выключить GPU-ускорение
• Сменить движок инференса (под капотом — Llama.cpp)

Режим разработчика

Вкладка Developer (ранее Server) позволяет запустить локальный API, совместимый с OpenAI и Anthropic:

• http://localhost:1234/api/v1/chat — нативный
• http://localhost:1234/v1/chat/completions — OpenAI-совместимый
• http://localhost:1234/v1/messages — Anthropic-совместимый

Можно подключить к VS Code (через Continue), SillyTavern и другие инструменты.

Преимущества

• Интуитивный интерфейс — подходит новичкам
• Встроенный поиск моделей — не нужно лезть в браузер
• Встроенный API-сервер — замена Ollama без терминала
• Реальное время — видно скорость генерации, потребление памяти, узкие места
• JIT и TTL — модели загружаются при первом запросе и выгружаются через заданное время (по умолчанию 60 минут)

Недостатки

• Потребляет 300–500 МБ RAM сверху из-за графического интерфейса. На машинах с 8 ГБ — критично.
• Закрытый исходный код — нельзя проверить, нет ли телеметрии. Разработчики утверждают, что данные не собираются.
• Не все функции Llama.cpp доступны — например, нестандартные сэмплеры или кэши.
• Управление памятью требует внимания: модели, загруженные вручную, нужно выгружать вручную. Само приложение потребляет 500–600 МБ VRAM из-за Electron.

Поддерживает внешние инструменты: поиск в интернете, выполнение кода, доступ к файлам. Встроена песочница для JavaScript/TypeScript (Deno). Минус — нет каталога интеграций, всё настраивается вручную через mcp.json.

Подводим итог

Локальные нейросети не заменят ChatGPT-5.4 или Claude-Opus-4.6 в сложных рассуждениях. Модели на 7–8 миллиардов параметров медленнее, галлюцинируют, хуже понимают русский. Для серьёзной работы на русском нужны Qwen или Gemma — они требуют 16+ ГБ RAM.

Генерация изображений на CPU — мазохизм. Одна картинка за 2–10 минут убивает творческий порыв. Без видеокарты с 6+ ГБ VRAM это испытание терпения.

Но есть и плюсы: никаких подписок, цензуры, зависимости от облачных серверов. Не нужно беспокоиться о утечке данных. Достаточно компьютера, свободного места и один вечер на настройку.

Локальные нейросети — не замена, а альтернатива. Для тех, кому важны приватность, суверенитет и свобода. Для повседневных задач — более чем достаточно.

Начните с GPT4All или Ollama — установка займёт 10 минут. Удивитесь, сколько может делать ИИ на вашем ноутбуке без интернета. А когда привыкнете — переходите к Llama.cpp и кастомным моделям.

Я долгое время была в отношениях с облачными нейросетями. Это было удобно, даже комфортно. Открыла браузер, написала промпт и через пару секунд получила ответ. Но в последнее время отношения начали давать трещину.

Интернет стал неотъемлемой частью нашей жизни, но в 2026 году мир переживает непростые времена. Ситуация крайне нестабильна, и это вызывает у каждого чувство неуверенности. Возникает закономерный вопрос: а можно ли как-то подстраховаться? Чтобы нейросеть всегда была под рукой, даже когда провайдер решил устроить себе выходной или на телефон пришло очередное оповещение о беспилотной опасности.

Оказалось, что можно. И не просто можно, а вполне себе комфортно.

К 2026 году локальные нейросети доросли до того состояния, когда их действительно имеет смысл использовать. Не как хобби для гиков с тремя видеокартами в башне, а как рабочий инструмент. Они всё ещё требуют некоторых технических знаний (куда без них). Но порог входа заметно снизился.

В этой статье я собрала шесть инструментов, которые работают полностью без интернета. Ну, почти полностью - устанавливать их придётся онлайн, но после этого можно смело отключать Wi-Fi и наслаждаться цифровым суверенитетом.

Приятного прочтения!

1. GPT4All

Начну с самого дружелюбного к новичкам инструмента.GPT4All- это десктопное приложение, которое вы скачиваете, устанавливаете и запускаете. Без танцев с терминалом, без сборки из исходников. После установки и загрузки модели вы можете работать полностью офлайн.

Установщик занимает около 300-00 МБ, а само приложение после установки весит примерно 1 ГБ. Дальше вы выбираете модель из списка - они уже подготовлены и оптимизированы. Кликаете «Download», ждёте пару минут и начинаете чат.

GPT4All умеет работать с вашими локальными документами через функцию LocalDocs. Вы просто указываете папку с файлами (PDF, Word, текст), и нейросеть отвечает на вопросы по их содержанию. Всё локально, никакой облачной обработки и отправки данных в интернет.

Технические детали

• Работает на CPU - видеокарта не обязательна
• Поддерживает Windows, macOS, Linux
• Модели в формате GGUF (стандарт для локального запуска на базе llama.cpp)
• Потребление RAM: от 4 до 16 ГБ в зависимости от модели
• Полностью офлайн после установки
• Скорость на CPU: 15-20 токенов/сек - значительно быстрее многих конкурентов (например, Ollama на том же железе даёт 8-12)

Какую модель выбрать в 2026 году

В GPT4All есть несколько актуальных опций:

• Phi-3-mini-4k-instruct (3.8B) - для слабых машин. Весит 2,18 ГБ, требует 4 ГБ ОЗУ. Скорость отличная, качество базовое, но для простых задач хватает.
• Orca-mini-3B - ещё один лёгкий вариант. 1,98 ГБ, 4 ГБ ОЗУ. Ответы посредственные, но на старом железе тянет.
• Nous-Hermes-2-Mistral-7B-DPO - хороший баланс скорости и качества. 4,11 ГБ, требует 8 ГБ ОЗУ.
• Meta-Llama-3-8B-Instruct - помощнее, но и требовательнее. 4,66 ГБ, нужно 8-16 ГБ ОЗУ.
• GPT4All-13B-snoozy - для мощных машин. 7,37 ГБ, требует 16 ГБ ОЗУ.

Если у вас 8 ГБ ОЗУ и ноутбук без дискретной видеокарты - берите Mistral-7B или Llama-3-8B. Для совсем слабых машин (4 ГБ ОЗУ) - Phi-3-mini.

Представьте ситуацию: вы решили перейти на локальные нейросети, но понятия не имеете, какая из сотен моделей на Hugging Face вам нужна.BotHubпозволяет протестировать разные модели через единый интерфейс, не тратя часы на установку и настройку. Понравилась конкретная модель? Отлично, теперь вы знаете, какую качать и запускать локально. Апо ссылкесервис дарит 300 000 капсов для первых задач новым пользователям, можно начать работать прямо сейчас!

Минусы, о которых стоит знать

• Качество ответов заметно ниже, чем у ChatGPT-4o, Claude 3.5 или DeepSeek-V3. Это плата за локальность и работу на CPU.
• Приложение иногда подвисает на длинных контекстах (я замечала проблемы на объёмах существенно больше 4-5 тысяч токенов, точная цифра зависит от модели и ОЗУ).
• Русский язык поддерживается, но модель явно тренировали в основном на английском. Базовые запросы поймёт, но сложные формулировки могут запутать.
• Телеметрия опциональна, но по умолчанию включена. Её можно отключить в настройках приложения, если хотите полной приватности.

Для кого это

Для тех, кто хочет попробовать локальные нейросети без головной боли. Установил за 5-10 минут и готов к работе. Не для сложных инженерных задач или глубокой аналитики, но для базовых консультаций, переписывания текстов, ответов на вопросы по своим документам и простого кода - вполне.

Вердикт. GPT4All - идеальный вход в мир локального ИИ для обычного пользователя с ноутбуком. С ним не нужно разбираться в терминалах, драйверах и CUDA. А с появлением поддержки LocalDocs он становится ещё и полноценным офлайн-помощником по вашим файлам.

2. Llama.cpp

Llama.cpp- это библиотека на C++, которая умеет запускать большие языковые модели на обычном процессоре без видеокарты, без 32 гигабайт RAM. Создал её болгарский разработчик Георгий Герганов, и этот инструмент буквально перевернул мир локальных ИИ в 2023 году. К 2026 он оброс сотнями форков и улучшений.

До Llama.cpp попытка запустить модель на CPU была пыткой. Медленно, неэффективно, требовало тонны памяти. Автор придумал формат GGUF и 4-битную квантизацию, которая сокращает размер модели в 3-4 раза с минимальной потерей качества. Простое объяснение: вместо того чтобы хранить числа с высокой точностью, вы их округляете. И работает это почти так же хорошо.

Как это выглядит на практике

Устанавливаете Llama.cpp через терминал:

Качаете модель в формате GGUF (например, с Hugging Face). Запускаете:

Получаете ответ.

Цифры и факты

Протестируем на среднестатистическом ноутбуке 2024 года (Intel Core i5, 16 ГБ RAM, без дискретной видеокарты):

Размер (Q4_K_M)

Скорость (токен/сек) на ноутбуке Core i5 2024

Phi-3 mini 3.8B

Mistral 7B

Llama 3 8B

Qwen 2.5 14B

Данные для типичного ноутбука 2024 года без дискретной видеокарты. На мощных серверных CPU (Intel Xeon) скорости могут быть в 3-5 раз выше.

Скорость 10 токенов в секунду - это примерно 460 слов в минуту (1 токен это примерно 0.75 слова в среднем по-русски, но для английских текстов 1.3 токена на слово). Человек читает со скоростью 200-250 слов в минуту. То есть модель отвечает примерно в 2 раза быстрее, чем вы успеваете прочитать.

• Экономия на видеокартах. Хороший CPU дешевле и доступнее
• Огромный выбор моделей. Почти все современные модели выходят с GGUF-версией
• Возможность запускать на сервере без GPU. Экономия в дата-центрах
• Совместимость с Raspberry Pi. Да, модель можно запустить на одноплатном компьютере. Но с оговоркой: TinyLlama (1.1B) выдаст около 14 токен/сек, а полноценная Gemma 3 12B - уже всего около 1.5 токен/сек. Для серьёзных моделей Pi 5 всё ещё слабоват, но сам факт, что они вообще запускаются, впечатляет

• Терминал. Не все готовы с ним работать. Хотя есть GUI-обёртки типа LM Studio и GPT4All (внутри которых как раз Llama.cpp)
• Ручная настройка. Нужно подбирать параметры (температуру, top_k, контекст) под свои задачи
• Нет мультимодальности. Чистый текст, никаких картинок

Для кого это

Для технических специалистов, которые хотят встроить локальную нейросеть в свой проект. Для тех, у кого старый ноутбук без дискретной видеокарты. Для параноиков, которые не доверяют готовым приложениям и хотят собирать всё из исходников.

3. Stable Diffusion WebUI (Forge)

Текст - это хорошо, но давайте честно, большинство людей хотят картинки. И желательно такие, которые не заблокирует цензура облачных сервисов. Тут на сцену выходит Stable Diffusion.

Stable Diffusion WebUI- это модель для генерации изображений по текстовому описанию. В облачных версиях (Midjourney, Kandinsky) вы отправляете промпт на сервер, он генерирует, вы получаете результат. Всё красиво, но нужен интернет, есть цензура (попробуйте сгенерировать что-то чуть более взрослое или политически неудобное), вы платите за каждый запрос (или сидите в очереди бесплатных генераций), ваши картинки уходят на сервер, с ними могут делать что угодно. Локальная версия решает все эти проблемы.

Что такое Forge и почему не оригинал

Stable Diffusion WebUI Forge - это платформа на основе классического WebUI от Automatic1111 (базируется на Gradio), которая сделана для ускорения инференса, оптимизации управления ресурсами видеокарты и упрощения разработки расширений. Автор - lllyasviel (тот самый разработчик, который создал ControlNet). Название Forge вдохновлено Minecraft Forge - проект задуман как кузница для WebUI.

Главное отличие от оригинала: Forge переписывает всю логику управления памятью и добавляет Unet Patcher — механизм, который позволяет расширениям (например, FreeU, SVD, Zero123, PhotoMaker) работать без конфликтов друг с другом и без танцев с бубном.

Что Forge даёт по сравнению с оригинальным WebUI

По данным из официального README, вот точные цифры ускорения и экономии памяти (для SDXL на 1024px):

Ваша видеокарта

Ускорение (it/s)

Снижение пика VRAM

Во сколько раз больше разрешение (без OOM)

8 ГБ VRAM(обычная)

700 МБ - 1,3 ГБ

в 2-3 раза

6 ГБ VRAM(слабая)

800 МБ - 1,5 ГБ

24 ГБ VRAM(RTX 4090)

1 - 1,4 ГБ

в 1,6 раза

Дополнительно:

• Максимальный batch size (количество изображений за раз) вырастает в 4-6 раз для 6-8 ГБ карт.
• При использовании ControlNet для SDXL максимальное количество одновременных ControlNet увеличивается в 2 раза, а скорость генерации с ControlNet ускоряется на 30-45%.
• Без всяких дополнительных флагов Forge запускает SDXL на 4 ГБ VRAM и SD1.5 на 2 ГБ VRAM.

Как установить (официальная инструкция из README)

Способ 1.Через Git (рекомендуется для тех, кто хочет переиспользовать свои модели и расширения из старого WebUI):

Затем запуститеupdate.bat(Windows) или./webui.sh(Linux/macOS). Это важно, ведь без запускаupdate.batвы можете использовать старую версию с незафикшенными багами.

После обновления запуститеrun.bat. Откроется браузер с адресомhttp://localhost:7860.

Способ 2.Установочный пакет в один клик (для новичков):

• Скачайте архив с Git и Python внутри (ссылка в репозитории)
• Распакуйте в папку (путь без русских букв)
• Запуститеupdate.bat, затемrun.bat

Важное отличие от оригинального WebUI. Forge удалил все старые CMD-флаги -medvram,lowvram,medvram-sdxl,precision full,no half,no half vae,attention_xxx,upcast unetи другие. Они больше не нужны и ничего не делают. Forge сам решает, как загружать модели.

Если вы всё же хотите вмешаться, есть несколько флагов для особых случаев, используйте на свой страх и риск:

• --always-offload-from-vram- выгружает модели из VRAM чаще, медленнее, но безопаснее (полезно, если работаете с несколькими программами сразу)
• --cuda-malloc- ускоряет на миллисекунды, но может крашить программу
• --cuda-stream- ускоряет на 15-25% на RTX 3060/4050 с 6 ГБ, но на старых картах (GTX 1080/2060) вызывает чёрные изображения или OOM
• --pin-shared-memory- работает только с--cuda-stream, даёт ещё +20% скорости на 30xx/40xx с малым VRAM, но на GTX 1060/1050 гарантированно крашит программу

Forge настоятельно не рекомендует использовать флаги, если вы не уверены, что они вам нужны.

Чего нет в Forge

• Русский язык в промптах. Модель не понимает кириллицу. Промпты нужно писать латиницей. (Есть отдельные русскоязычные модели, но они менее качественные.)
• Автоматическая цензура. Её нет, вы сами отвечаете за то, что генерируете.
• Потребление диска. Одна модель SDXL весит 6–7 ГБ, ControlNet к ней - по 1-2 ГБ на тип, полный набор легко займёт 100+ ГБ. Это не баг, это особенность локальной работы.
• Сложность настройки. Сотни параметров влияют на результат. Но вы всегда можете вернуться к стандартному WebUI-интерфейсу, который Forge не меняет (авторы обещают, что никогда не будут добавлять ненужные субъективные изменения в интерфейс).

Ollama- это программа, которая скачивает модели из интернета (один раз, при установке), запускает их на вашем компьютере, отдаёт доступ через HTTP API, как настоящий облачный сервис, и даёт консольный чат для быстрых тестов. Установили, написалиollama run llama3, задали вопрос, получили ответ. Настолько просто, насколько это вообще возможно в мире локальных нейросетей.

Как это работает

После установки на Windows, macOS или Linux вы открываете терминал и пишетеollama pull mistral. Ollama скачивает готовую GGUF-модель из своего реестра и сохраняет в локальное хранилище.Квантизация уже выбрана за вас, если нужна кастомная, тогда используйте Modelfile.Дальше вы запускаетеollama run mistral, и открывается интерактивный чат прямо в терминале. Никакого дополнительного софта.

А если вы разработчик, то можете обращаться к модели через API. Отправляете curl-запрос наhttp://localhost:11434/api/generateс JSON-телом, где указываете модель и промпт, и получаете ответ в том же формате, что и от OpenAI. Разница только в адресе.

Какие модели доступны

Ollama поддерживает сотни моделей. Вот актуальный топ на 2026 год:

Размер (Q4)

Особенность

gemma4:e2b

Самый лёгкий, эффективный 2B

gemma4:e4b

Баланс скорости и качества

llama3.1:8b

Золотой стандарт, общий

gemma4:26b(MoE)

4B активных параметров, как 8B по скорости

qwen3-coder:8b

Для программирования

glm-4.7-flash

Для кодинга с контекстом 64K

gemma4:31b(dense)

Уровень GPT-4o mini

llama3.1:70b

Нужен мощный сервер

Все модели работают полностью офлайн после скачивания.

Почему Ollama, а не Llama.cpp напрямую

Llama.cpp - это движок. Ollama - это готовый продукт на его основе. Ollama берёт на себя управление версиями моделей, автоматическую квантизацию (выбор точности под ваше железо), запуск модели в фоне как сервиса и простой API без настройки. Вы теряете возможность тонкой настройки, но приобретаете простоту. Для 95% задач этого достаточно.

Что ещё умеет Ollama

Начиная с версии v0.20.0, Ollama поддерживает аудио, вы можете выполнитьollama transcribe gemma4и получить текст из аудиофайла. А командаollama launch claudeодной строкой поднимает Claude Code с локальной моделью - никаких переменных окружения.

Вы можете создать свой собственный образ модели через Modelfile: указать базовую модель, системный промпт, температуру и даже встроить примеры ответов. Это сохраняется в файл, которым можно поделиться с коллегой.

Мультимодальные модели (например, Gemma 4 или Qwen3.5-35B) умеют работать с изображениями. Вы передаёте путь к картинке вместе с промптом, и модель описывает, что на ней происходит.

Ollama может превращать текст в вектор - числовой отпечаток, который нужен для поиска по документам или кластеризации. Популярные эмбеддеры: all-minilm, nomic-embed-text, mxbai-embed-large, bge-m3.

• Если что-то пошло не так, сложно лезть под капот. Ollama скрывает детали запуска Llama.cpp.
• Модели хранятся в~/.ollamaи могут занять 50+ ГБ, если вы любите скачивать всё подряд
• Не получится выкрутить параметры, которые есть в чистом Llama.cpp
• Нет встроенного веб-интерфейса, только терминал и API. Для чата с картинками нужен отдельный фронтенд (например, Open WebUI)
• Не для продакшена. Ollama не поддерживает непрерывную пакетную обработку и многопользовательскую балансировку.
• Ограниченная многопользовательность. Если вам нужно обслуживать десятки запросов в секунду, смотрите в сторону vLLM или TensorRT-LLM.

5. LM Studio

LM Studio - это десктопное приложение с графическим интерфейсом, которое позволяет скачивать, запускать и общаться с локальными моделями в несколько кликов. Вы открываете программу, выбираете модель из списка, нажимаете скачать, ждёте пару минут и начинаете чат.

Приложение есть для Windows, macOS и Linux. На Mac с M-чипами оно работает особенно шустро благодаря встроенной поддержке Metal.

Как это выглядит на практике

После установки вы попадаете на главный экран, где есть поиск моделей. LM Studio подтягивает каталог с Hugging Face прямо в приложение - вы видите названия моделей, их размер, формат (GGUF), автора и количество скачиваний. Нашли нужную - нажали скачать. Модель сохраняется на диск.

Когда загрузка закончена, вы переходите на вкладку Chat. Выбираете модель из выпадающего списка, настраиваете параметры (температуру, контекст, количество токенов) ползунками (никаких текстовых конфигов) и начинаете диалог. Модель отвечает в красивом пузырьковом интерфейсе, как в любом современном мессенджере.

Что можно настраивать

Несмотря на простоту, LM Studio не прячет важные настройки. Вы можете указать, сколько слоёв модели загружать на видеокарту (если она есть), а сколько оставить на процессоре. Выбрать количество потоков для CPU. Включить или выключить GPU-ускорение. Сменить движок инференса (под капотом всё тот же Llama.cpp). Всё это - через галочки и выпадающие списки, без редактирования текстовых файлов.

Для продвинутых пользователей есть вкладка Developer (раньше называлась Server). LM Studio может запустить локальный API, совместимый с OpenAI и Anthropic, прямо из интерфейса. Вы нажимаете кнопку Start Server, и любое приложение на вашем компьютере может обращаться к модели черезhttp://localhost:1234. Например, вы можете подключить к нему Continue в VS Code или SillyTavern для ролевых игр. Доступны три типа эндпоинтов:

• Нативный:http://localhost:1234/api/v1/chat
• OpenAI-совместимый:http://localhost:1234/v1/chat/completions
• Anthropic-совместимый:http://localhost:1234/v1/messages

• Интерфейс. Это главное преимущество LM Studio. Вы не пугаете новичков чёрным экраном терминала. Всё интуитивно понятно: скачать, загрузить, спросить.
• Поиск моделей встроен прямо в приложение. Не нужно открывать браузер, искать на Hugging Face, разбираться в типах файлов. LM Studio показывает только совместимые модели и сразу говорит, сколько места они займут.
• Встроенный сервер API превращает LM Studio в замену Ollama для тех, кто не хочет работать с терминалом. Нажали кнопку - получили эндпоинт.
• LM Studio показывает технические метрики в реальном времени. Вы видите, насколько быстро генерирует модель, сколько памяти ест, где узкое место. Это помогает подбирать настройки под своё железо без угадывания.
• LM Studio получил поддержку JIT (Just-In-Time) загрузки и TTL (Time-To-Live). Если вы обращаетесь к модели через API, она загружается автоматически при первом запросе. Если к ней нет обращений в течение заданного времени (по умолчанию 60 минут), она выгружается сама.

• LM Studio потребляет заметно больше оперативной памяти, чем чистый Llama.cpp или Ollama. Графический интерфейс и встроенный браузер для каталога моделей висят в фоне и жрут свои 300-500 мегабайт сверху. На машинах с 8 ГБ это критично.
• Приложение закрытое. Исходный код LM Studio не опубликован. Вы доверяете разработчикам, что они не встроили телеметрию или что похуже. При этом разработчики заявляют, что «LM Studio не собирает данные и не отслеживает ваши действия». Для коммерческого использования требуется отдельная лицензия.
• Некоторые продвинутые возможности Llama.cpp в LM Studio не вынесены в интерфейс. Например, специфические сэмплеры или нестандартные форматы кэша. Если вам нужно что-то необычное, придётся возвращаться к терминалу.
• Управление памятью требует понимания. LM Studio умеет автоматически выгружать модели, но только если они загружены через API (JIT-загрузка с TTL). Для моделей, загруженных вручную через интерфейс, их нужно выгружать вручную кнопкой Unload - иначе они остаются в памяти. Кроме того, само приложение LM Studio потребляет 500-600 МБ видеопамяти (VRAM) на старте из-за Electron-фреймворка.

LM Studio позволяет подключать внешние инструменты для расширения функций модели: поиск в интернете, выполнение кода, доступ к файловой системе. Одна интеграция уже встроена - песочница для JavaScript/TypeScript (Deno). Минус: нет каталога интеграций, всё нужно настраивать вручную через редактированиеmcp.json.

Подводим итог

Локальные нейросети не заменят ChatGPT-5.4 или Claude-Opus-4.6 в сложных рассуждениях. Модели на 7-8 миллиардов параметров отвечают медленнее, иногда галлюцинируют и хуже понимают русский язык. Для серьёзной работы с текстом на русском вам понадобятся модели типа Qwen или Gemma, а они требуют 16+ ГБ RAM.

Генерация изображений на CPU - это вообще мазохизм. Одна картинка за 2-10 минут убивает любой творческий порыв. Если у вас нет видеокарты с 6+ ГБ VRAM, локальная генерация картинок станет испытанием терпения.

Однако, есть и другая сторона медали. Вам не нужен доступ к облачным серверам, не нужны подписки за $20 в месяц, не нужно мириться с цензурой и беспокоиться, куда утекают ваши данные. Всё, что требуется, это компьютер, немного свободного места на диске и один вечер на настройку.

Локальные нейросети - это не замена облачным сервисам. Это альтернатива для тех, кому важны приватность, суверенитет данных и свобода от внешних ограничений. Для повседневных задач, где не нужен ИИ уровня ассистента-миллиардера, локальных моделей более чем достаточно.

Начните с GPT4All или Ollama, установка займёт 10 минут. Удивитесь, как много может делать нейросеть на вашем собственном ноутбуке без единого запроса в интернет. А когда привыкнете, то переходите к Llama.cpp и сборке собственных моделей.

Спасибо за прочтение и удачи!