Сколько памяти (VRAM против Apple Unified Memory и DDR5) нужно для локальных больших языковых моделей LLM (7B, 14B, 32B, 70B), локального ИИ-ассистента программиста и приватного RAG в 2027 году!

Сколько памяти (VRAM против Apple Unified Memory и DDR5) нужно для локальных больших языковых моделей LLM (7B, 14B, 32B, 70B), локального ИИ-ассистента программиста и приватного RAG в 2027 году!

В 2026–2027 годах служба информационной безопасности любого серьёзного российского банка, промышленного завода, юридического бюро, медицинской клиники и IT-подрядчика ставит жёсткий красный запрет: отправлять персональные данные граждан РФ (ст. 18 ФЗ № 152-ФЗ — трансграничная передача ПДн), закрытый исходный код продукта, сметы тендеров, истории болезней и неопубликованные договоры в публичные зарубежные чат-боты — КАТЕГОРИЧЕСКИ ЗАПРЕЩЕНО!

И одновременно произошла тихая революция: открытые модели локального класса 14B – 32B – 70B в паре с локальными приложениями Ollama, LM Studio, AnythingLLM и Open WebUI стали работать на ноутбуке при ПОЛНОСТЬЮ ВЫКЛЮЧЕННОМ WI-FI В САМОЛЁТЕ И ЗАКРЫТОМ КОНТУРЕ ПРЕДПРИЯТИЯ на уровне облачных флагманов недавнего прошлого (ACTUAL_OBSERVED)!

Но стоит ошибиться при выборе памяти ноутбука всего на 4 гигабайта — и вместо мгновенных 35 токенов в секунду (быстрее скорости чтения глазами!) вы получите мучительные 1,8 слова в секунду и кипящий вентилятор! Вот точная инженерная формула без единой маркетинговой уловки.

1. ЖЕЛЕЗНАЯ ФОРМУЛА ПАМЯТИ ДЛЯ ЛОКАЛЬНОЙ НЕЙРОСЕТИ И ГЛАВНЫЙ СЕКРЕТ «ПРОПУСКНОЙ СПОСОБНОСТИ ГБ/с» (ACTUAL_OBSERVED)!

При генерации каждого следующего слова авторегрессионная LLM обязана прочитать из памяти ВСЕ свои миллиарды весов целиком:

1. Сколько памяти занимает сама модель (Веса + KV-кэш контекста):
   • В самом популярном в 2027 году сбалансированном 4-битном квантовании GGUF Q4_K_M (которое сохраняет ~98–99 % качества исходной модели при сокращении размера в 3,5 раза!) действует простое правило большого пальца (ACTUAL_OBSERVED): $$\text{Нужная быстрая память (ГБ)} \approx (\text{Число млрд параметров } B \times 0,62) + \text{KV-кэш контекста (2–6 ГБ)}$$
   • Модель 7B–8B (Q4_K_M) = ~5,0 ГБ весов + 2 ГБ контекста 16K = комфортно влезает в 8 ГБ VRAM!
   • Модель 14B (Q4_K_M) = ~9,0 ГБ весов + 2,5 ГБ контекста = нужно 12–16 ГБ VRAM (или 24+ ГБ Unified Memory)!
   • Модель 32B (Q4_K_M) (золотой хит качества рассуждений и русского языка для юристов и кодеров!) = ~19,8 ГБ весов + 4–6 ГБ под длинный документ 32K токенов = НУЖНО 24–26 ГБ СВЕРХБЫСТРОЙ ПАМЯТИ целиком!
   • Модель 70B (Q4_K_M) = ~42 ГБ весов + 6–8 ГБ контекста = НУЖНО 64+ ГБ объединённой памяти (с резервом под саму macOS/Linux)!
2. ПОЧЕМУ ОБЫЧНАЯ ОПЕРАТИВНАЯ ПАМЯТЬ ПРОЦЕССОРА DDR5 В 5–8 РАЗ МЕДЛЕННЕЕ ВИДЕОПАМЯТИ VRAM И ЧИПОВ APPLE MAX (ACTUAL_OBSERVED):
   • Двухканальная ноутбучная DDR5-5600 имеет реальную пропускную способность около 70–85 ГБ/с: если модель 32B весом 20 ГБ крутится только на процессоре и обычной DDR5 (или не влезла в 8 ГБ VRAM видеокарты и «вывалилась» слоями в системную ОЗУ!), физический потолок скорости чтения памяти составляет 80 / 20 = всего 3–4 токена в секунду (при том что рекламируемый в буклетах NPU на 45 TOPS разделяет ту же узкую шину системной памяти!!)!
   • Дискретная мобильная видеокарта RTX 4080 / 4090 / 5080 / 5090 Laptop даёт пропускную способность собственной VRAM 430 – 896 ГБ/с — пока модель ЦЕЛИКОМ помещается в 12 / 16 / 24 ГБ VRAM, она буквально выстреливает ответ на скорости 45–90 токенов/сек!
   • А чипы Apple MacBook Pro серии Pro (~200–273 ГБ/с) и особенно Max (400–546 ГБ/с при объёме 48 / 64 / 128 ГБ!!) сочетают И гигантский объём до 128 ГБ, И полутерабайтную пропускную способность, становясь единственным в мире серийным ноутбуком в рюкзаке весом 2,1 кг, который крутит локальную модель 32B–70B с контекстом 64K от батареи в тишине самолёта!

2. ИТОГОВАЯ ТАБЛИЦА ВЫБОРА НОУТБУКА ПОД ЛОКАЛЬНЫЙ ИИ В 2027 ГОДУ

3. ЧЕК-ЛИСТ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ ЛОКАЛЬНОГО RAG НА НОУТБУКЕ СОТРУДНИКА

• [ ] Включите Flash Attention и квантование KV-кэша (Q8_0) в настройках Ollama / LM Studio: это уменьшает потребление памяти длинным контекстом 32 768 токенов почти вдвое без заметной потери точности цитат из договора!
• [ ] Обязательно активируйте полнодисковое шифрование BitLocker / FileVault / LUKS2: ведь векторная база знаний ChromaDB / Qdrant вашего локального AnythingLLM хранит на SSD ноутбука индексированные выжимки всех самых секретных документов компании — при утере ноутбука в такси шифрование диска защищает базу на 100 %!
• [ ] Проверьте сетевой биндинг локального сервера Ollama (127.0.0.1:11434, а НЕ 0.0.0.0!): чтобы в открытой Wi-Fi сети кафе или отеля никто из соседнего столика не мог обратиться к вашему локальному API без пароля!

Частые вопросы

А что насчёт новых Windows/Linux-платформ на чипах с мощной интегрированной графикой и быстрой LPDDR5x-8000/8533 на 32–64–128 ГБ (AMD Ryzen AI Max+ Strix Halo и аналоги)? Это замечательный инженерный тренд 2026–2027 годов (OEM_ANNOUNCED / ACTUAL_OBSERVED): широкая 256-битная шина быстрой памяти на чипе Strix Halo поднимает пропускную способность объединённого пула до ~256 ГБ/с (позволяя выделять под встроенный Radeon GPU до 96 ГБ под огромные модели 70B прямо в Windows и Linux через Vulkan / ROCm!) — отличная x86-альтернатива для тех, кому нужна нативная среда Linux/Windows!

Можно ли запускать гибридные экспертные модели Mixture-of-Experts (MoE, например 30B-A3B, где всего 30 млрд параметров, но на каждом слове активны только 3 млрд) на обычном ноутбуке с 32 ГБ быстрой памяти? ДА — и это главный подарок 2026–2027 годов для владельцев ноутбуков! Поскольку в MoE-архитектуре при генерации каждого токена из памяти читаются не все 30 ГБ, а только 3 миллиарда активных весов эксперта, такие модели летают со скоростью ракеты даже на умеренной пропускной способности памяти DDR5 / LPDDR5x, требуя лишь достаточного объёма ОЗУ (32–64 ГБ), чтобы все эксперты целиком сидели в памяти без подкачки с SSD!

Сколько свободного места на SSD закладывать под коллекцию локальных моделей? Не менее 200–350 ГБ быстрого NVMe SSD: 3–4 рабочие квантованные модели (Coder 14B, General 32B, Vision OCR 7B, Whisper v3, BGE-M3 Embedder) занимают 60–90 ГБ и должны загружаться в память со скоростью 5 000 МБ/с за 3 секунды, а не полминуты!

Сжигает ли постоянный запуск локальных моделей ноутбук? Во время короткого 15-секундного ответа на ваш промпт GPU работает коротким импульсом и тут же уходит в 0 Вт простоя (потребляя за час вдумчивой работы юриста меньше энергии, чем 10 минут видеоигры!), но для многочасового пакетного разбора 5 000 накладных за ночь используйте охлаждающую подставку и ограничение лимита мощности Power Limit!