Ollama и LM Studio на ноутбуке: сколько RAM и VRAM нужно, какие версии моделей запускать

Прямой ответ

Для локального инференса LLM на ноутбуке ключевой ресурс — VRAM видеокарты, а при её нехватке — пропускная способность обычной оперативной памяти. Ориентиры для моделей в 4-битном квантовании (Q4_K_M — стандарт баланса качество/размер):

• 7–8B Q4 ≈ 4,5–5 ГБ VRAM/RAM + запас на контекст → реально на 8–16 ГБ ОЗУ даже без дискретной GPU (медленно, но работает).
• 13–14B Q4 ≈ 8–9 ГБ → комфортно при 16 ГБ ОЗУ или VRAM 8 ГБ.
• 30B+ Q4 ≈ 18–20 ГБ → только 32–64 ГБ ОЗУ; на типичном ноутбуке это уже компромисс со скоростью.

Ollama и LM Studio — два самых простых способа запустить это без программирования: оба работают с GGUF-моделями и движком llama.cpp, оба бесплатны для локального использования.

Как память превращается в требования: простая математика

Размер модели в памяти ≈ число параметров × бит на параметр / 8. Для Q4_K_M (~4,5 бита с учётом overhead) получаем ≈ 0,55–0,6 ГБ на миллиард параметров, плюс контекст: каждое увеличение окна контекста требует дополнительного KV-кэша — у 8B-модели длинный контекст (32k+) может добавить несколько гигабайт. Отсюда правило выбора:

1. Определите VRAM: nvidia-smi (Windows/Linux) или спецификация (у MacBook — единая память, под модель доступно 60–75% от общего объёма, зависит от версии macOS и настроек).
2. Выберите модель, которая вместе с контекстом помещается в VRAM с запасом ~1 ГБ.
3. Не помещается — берите квантование ниже (Q4 → Q3) или модель меньше. Качество падает ступенчато: для кода и анализа Q4 оптимален, Q3 — компромисс, Q2 — заметная деградация.

Ollama: запуск и полезные команды

# установка (Linux/macOS) или installer для Windows — с ollama.com
ollama run llama3.1:8b          # скачает ~4.7 ГБ (Q4_K_M) и откроет чат
ollama list                     # установленные модели
ollama ps                       # что сейчас в памяти и сколько VRAM/RAM занято

Полезные параметры через Modelfile/переменные:

• OLLAMA_KEEP_ALIVE — сколько держать модель в памяти между запросами (экономит время при работе из IDE).
• num_ctx в параметрах запроса — размер контекста; не ставьте «максимум» без нужды, KV-кэш ест память.
• ollama pull <model> / ollama cp — управление локальной библиотекой; импорт своих GGUF — через Modelfile с FROM ./model.gguf.

Ollama автоматически делает offload: слои, не поместившиеся в VRAM, уходят в RAM и считаются на CPU. Скорость падает пропорционально, поэтому «модель запустилась» не равно «модель работает быстро»: следите за ollama ps — колонка PROCESSOR покажет соотношение GPU/CPU.

LM Studio: когда он удобнее

LM Studio — графическое приложение (Windows/macOS/Linux) с каталогом GGUF-моделей, локальным сервером, совместимым с OpenAI API, и тонкой настройкой offload по слоям. Плюсы для ноутбука:

• наглядно видно, сколько слоёв влезло в VRAM, и можно подобрать максимум вручную;
• есть Vulkan-бэкенд — вариант для ноутбуков без NVIDIA (iGPU AMD/Intel работают, но медленнее дискретных карт);
• локальный API-сервер позволяет подключить IDE-ассистента к своей модели без отправки кода в облако.

Для разработчика связка «LM Studio (сервер) + Continue/Cline в редакторе» — рабочий способ получить приватный автокомплит на своём железе.

Что реально потянет типичный ноутбук 2026 года

Важно: у ноутбуков одна и та же GPU (например, RTX 4060) имеет разный TGP и объём VRAM не увеличивается — 8 ГБ у 4060 Laptop это потолок, и 14B-модель целиком в VRAM не влезет.

Практические ограничения и ошибки новичков

1. «Модель еле отвечает» — скорее всего большая часть слоёв на CPU. Проверьте ollama ps / индикатор offload в LM Studio, уменьшите контекст или модель.
2. Ноутбук греется и шумит — длительная генерация на CPU нагружает все ядра; работайте от сети и с нормальным охлаждением, это штатная, но тяжёлая нагрузка.
3. Кончается место на SSD: модели весят 4–20 ГБ каждая; ollama list + удаление неиспользуемых (ollama rm).
4. Качество 8B-модели переоценено: для сложного кода маленькие модели уверенно ошибаются. Локальная модель — приватность и офлайн, а не замена фронтирным облачным моделям.
5. Для обучения/дообучения (LoRA) ресурсов ноутбука обычно мало — см. PyTorch и CUDA на ноутбуке.

Приватность как главная причина

Локальная модель не отправляет запросы наружу — это единственный способ работать с конфиденциальным кодом и документами без согласия на облачную обработку. Следующий шаг после чата — приватный поиск по своим документам: как собрать RAG без облака, разбираем в статье локальный RAG на ноутбуке.

Экспресс-настройка под слабый ноутбук

Порядок действий, если модель «не тянет»: сначала уменьшите num_ctx до 4096 (KV-кэш — первая статья расхода после весов), затем перейдите с 13–14B на 7–8B, и только потом снижайте квантование ниже Q4. Обратный порядок (сразу Q3/Q2 большой модели) даёт худшее качество, чем меньшая модель в Q4 — эмпирика, подтверждаемая оценочными наборами llama.cpp. И держите одну модель в памяти: две загруженные модели делят VRAM и выталкивают друг друга.

FAQ

Сколько ОЗУ нужно минимум для Ollama? Для 7–8B Q4 — 8 ГБ впритык, комфортно 16 ГБ. ОЗУ важно, когда модель не влезает в VRAM и работает на CPU.

Можно ли использовать игровую VRAM 8 ГБ для 13B-модели? Только с частичным offload: в VRAM поместится часть слоёв, скорость будет промежуточной между чисто CPU и чисто GPU.

Чем Ollama отличается от LM Studio по скорости? Движок один (llama.cpp), разница в пределах погрешности. Выбирайте по удобству: CLI/API — Ollama, GUI и ручной offload — LM Studio.

Стоит ли ждать «достаточно быструю» локальную модель для кода? Тренд — малые специализированные модели (code-серии 3–8B): они уже полезны для автокомплита и рефакторинга на среднем железе, а общая память расходуется по той же формуле.

Источники: документация и FAQ Ollama (GitHub), документация LM Studio, проект llama.cpp (ссылки в шапке).