PyTorch с CUDA на ноутбуке: драйверы, VRAM и что реально можно обучать

Прямой ответ

Ноутбучная NVIDIA-видеокарта подходит для трёх ML-задач: обучение небольших моделей (классификаторы, мелкие CNN, дообучение с LoRA), инференс любых моделей, влезающих в VRAM, и отладка пайплайнов перед запуском на сервере. Ключевое отличие ноутбуков — VRAM не расширяется: 6–8 ГБ у RTX 4050/4060 Laptop и 12–16 ГБ у 4080/4090 Laptop — это потолок, вокруг которого строится весь процесс.

Шаг 1. Драйвер и проверка CUDA

Современный PyTorch устанавливается без ручной установки CUDA Toolkit — нужные runtime-библиотеки лежат в pip-пакете. От системы требуется только драйвер NVIDIA актуальной версии:

nvidia-smi            # версия драйвера и поддерживаемая CUDA

В правом верхнем углу вывода — максимальная версия CUDA, которую поддерживает драйвер; сборка PyTorch должна быть не выше неё. Обновляйте драйвер через официальный установщик NVIDIA или пакетный менеджер (на Linux — драйвер из репозитория дистрибутива).

Проверка PyTorch:

import torch
torch.__version__                 # например 2.x.x+cu124
torch.cuda.is_available()         # True
torch.cuda.get_device_name(0)     # название GPU

Если False — почти всегда причина одна из трёх: установлена CPU-сборка (переустановите с индекса для CUDA — команда генерируется на pytorch.org/get-started/locally), драйвер устарел, либо на Windows видеокарта «спрятана» за гибридной графикой (проверьте, что процесс python запускается на dGPU в настройках графики Windows).

Шаг 2. Считаем VRAM: что влезет

Память при обучении = веса + градиенты + состояния оптимизатора + активации. Грубая оценка для float32 и Adam: ~16 байт на параметр без учёта активаций. Отсюда:

Правило практики: батч упирается в активации — уменьшение batch_size в 2 раза снижает пик памяти заметно сильнее, чем кажется, ценой более долгой эпохи.

Шаг 3. Экономия памяти: обязательный набор

1. Смешанная точность (AMP):

scaler = torch.amp.GradScaler('cuda')
with torch.amp.autocast('cuda'):
    loss = model(x)

Экономит ~30–40% памяти активаций и ускоряет обучение на RTX-картах (тензорные ядра).

2. Gradient accumulation — эмуляция большого батча: loss / accum_steps, шаг оптимизатора раз в N итераций.
3. Gradient checkpointing — пересчёт активаций вместо хранения: минус 30–50% VRAM, плюс ~20–30% времени.
4. QLoRA (4-бит база + LoRA-адаптеры) — стандарт дообучения LLM на 8–16 ГБ VRAM (библиотеки PEFT/bitsandbytes).
5. Освобождение кэша: между экспериментами torch.cuda.empty_cache() и удаление старых тензоров; Jupyter-ядро с накопленными переменными — частая причина «фантомного» OOM.

Шаг 4. Dataloader и SSD

GPU-обучение часто упирается не в видеокарту, а в подгрузку данных. Признак: nvidia-smi показывает утилизацию GPU 20–40% при живом процессе. Лечение:

• num_workers=4–8 и pin_memory=True в DataLoader;
• данные — на NVMe SSD, лучше в одном файле (parquet/webdataset/lmdb), а не тысячами картинок;
• предобработка (ресайз, аугментации) — в воркерах, не в основном процессе.

Скорость NVMe здесь критична: датасет на SATA-SSD или HDD сведёт на нет преимущества GPU.

Типичные ошибки ноутбука

1. CUDA out of memory — уменьшите батч, включите AMP/checkpointing; проверьте, не держит ли память предыдущий эксперимент.
2. Троттлинг и падение частот — ноутбук греется: обучение ведите от сети, с приподнятым корпусом и чистой системой охлаждения; мониторинг — nvidia-smi -l 1 (температуры и Perf: P0). Об обслуживании СО — в статье про систему охлаждения ноутбука.
3. TGP-ограничение: у мобильных GPU производительность зависит от лимита мощности (TGP) конкретной модели ноутбука — одна и та же RTX 4060 даёт разную скорость у разных вендоров; сравнивать «ноутбучную» и «десктопную» 4060 напрямую нельзя.
4. Батарея: обучение от батареи невозможно практически (драйвер режет частоты) — только от БП.

Мини-чек настройки окружения (conda/venv)

Чистое окружение под каждый проект экономит часы на разбор конфликтов:

python -m venv .venv && source .venv/bin/activate   # или conda create -n ml
pip install torch torchvision --index-url 
python -c "import torch; print(torch.cuda.is_available())"

Правила, которые предотвращают 90% проблем:

• версия CUDA в индексе (cu121, cu124, …) — не выше той, что показал nvidia-smi;
• requirements.txt фиксируйте через pip freeze после удачной настройки — восстановление окружения на новом ноутбуке занимает минуты;
• Jupyter ставьте в то же окружение (pip install ipykernel), иначе ядро не увидит torch с CUDA — классическая ошибка «в терминале работает, в ноутбуке нет».

Мониторинг во время обучения

Окно наблюдения даёт больше, чем догадки:

• nvidia-smi -l 2 или watch -n 2 nvidia-smi: утилизация GPU (норма при обучении 85–100%), температура (до ~85 °C под нагрузкой — норма для ноутбука), потребление мощности (признак троттлинга — просадки Perf и частот);
• torch.cuda.memory_allocated() / memory_reserved() в коде — сколько держит процесс;
• при OOM-падении смотрите не только батч, но и длину последовательностей: у трансформеров память активаций растёт квадратично от длины — обрезка max_len с 512 до 384 часто спасает без потери качества на ваших данных.

Если утилизация GPU низкая при живом обучении — узкое место в данных (см. шаг 4), а не в видеокарте; покупать более мощную GPU в такой ситуации бессмысленно.

Когда ноутбук — правильное решение

Локальный ноутбук идеален для итераций: отладка данных, подбор гиперпараметров на подвыборке, инференс и демо. Финальное обучение большой модели дешевле и быстрее на сервере/в облаке — ноутбук при этом остаётся терминалом и средой разработки. А для инференса готовых LLM локально часто достаточно связки из статьи про Ollama и LM Studio — без всякого CUDA-кода.

FAQ

Нужно ли ставить CUDA Toolkit отдельно? Для PyTorch из pip — нет, только драйвер. Toolkit нужен, если вы компилируете свои CUDA-расширения.

AMD-видеокарта в ноутбуке подходит? Через ROCm — ограниченно (поддержка мобильных Radeon слабая), на Windows практически нет. Для ML на ноутбуке NVIDIA — де-факто стандарт.

Можно ли обучать на CPU? Для учебных задач и мелких моделей — да, просто дольше. PyTorch-код не меняется, меняется только устройство.

MacBook с Apple Silicon — альтернатива CUDA? PyTorch поддерживает backend MPS (Metal): для инференса и умеренного обучения работает, но экосистема (bitsandbytes, часть библиотек) заточена под CUDA. Для совместимости с серверным стеком ноутбук с NVIDIA практичнее.

Источники: pytorch.org (установочные матрицы), документация NVIDIA CUDA, PyTorch docs (ссылки в шапке).