Перейти к содержимому
ИИ и нейросети

Сколько видеопамяти GPU нужно для LLM: считаем на моделях от 7B до 72B

Как посчитать память GPU под запуск и дообучение языковой модели: веса, KV-кэш, оптимизатор. Примеры для 7B, 13B и 70B и выбор карты по объёму.

Коротко

Под веса нужно число параметров, умноженное на байт на параметр: 2 байта в FP16 и BF16, 1 байт в INT8, около 0,5 байта в 4 битах. Модель 7B в BF16 — около 14 ГБ, 70B — около 140 ГБ. Сверху добавьте KV-кэш, который растёт с длиной контекста и числом одновременных запросов, и служебную память фреймворка. Для полного дообучения с оптимизатором Adam нужно около 18 байт на параметр плюс активации — в девять раз больше, чем на веса в BF16.

Содержание11 разделов

Память GPU — первое, во что упирается запуск языковой модели: если веса и контекст не помещаются, скорость карты уже неважна. Посчитать её можно на бумаге, зная размер модели, точность и длину контекста. Готовый подбор конфигурации под задачу уже есть на сайте. Здесь — формулы и примеры, чтобы вы могли проверить любой подбор сами.

Из чего состоит память GPU

При запуске модели (инференсе) память делится между тремя потребителями:

  • веса модели — постоянная часть, зависит от числа параметров и точности;
  • KV-кэш — ключи и значения внимания для всех токенов в контексте; растёт с длиной контекста и числом одновременных запросов;
  • активации и служебные буферы — промежуточные результаты слоёв, буферы библиотек CUDA, фрагментация.

При обучении к ним добавляются градиенты и состояние оптимизатора, и они быстро становятся больше самих весов.

Рис. 1Веса занимают постоянную часть памяти, а остаток определяет, сколько запросов с длинным контекстом карта обслужит одновременно.

Шаг 1. Веса модели

Число в названии модели — количество параметров: 7B — семь миллиардов. Каждый параметр хранится в определённой точности:

Листайте вбок →
ФорматБайт на параметрГде используется
FP324Обучение без смешанной точности, состояние оптимизатора
FP16 / BF162Стандартный формат весов открытых моделей, инференс и обучение
INT8 / FP81Квантизация для инференса; FP8 поддерживают Hopper и Blackwell
4 бита (INT4, NF4, FP4)≈ 0,5Квантизация для инференса и QLoRA
Таблица 1Байт на параметр в разных форматах
Подберём GPU под задачу

Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.

Оставить заявку

Формула:

text
Память под веса (ГБ) ≈ параметры (млрд) × байт на параметр

Пример: Qwen2.5-7B-Instruct, по карточке модели — 7,61 млрд параметров, веса в BF16. 7,61 × 2 = 15,2 ГБ. В 4 битах — около 3,8 ГБ плюс небольшая доля на масштабные коэффициенты квантизации.

Листайте вбок →
МодельBF16 / FP16INT8 / FP84 бита
7B1473,5
13B26136,5
34B683417
70B1407035
Таблица 2Память под веса по размеру модели и точности, ГБ

По таблице видно: модель 70B в 16 битах не помещается ни на одну GPU с 80 ГБ и занимает почти весь объём H200 (141 ГБ). В 4 битах та же модель встаёт на одну карту с 80 ГБ.

Рис. 2Столбец ниже линии карты ещё не значит, что модель поместится: над весами нужно место для KV-кэша.

Шаг 2. KV-кэш

Чтобы не пересчитывать внимание для всех предыдущих токенов, модель хранит их ключи и значения — KV-кэш. Его объём на один токен:

text
KV на токен (байт) = 2 × слои × KV-головы × размер головы × байт на значениеKV всего = KV на токен × длина контекста × число одновременных запросов

Двойка — это ключ и значение. Размер головы — скрытая размерность, делённая на число голов внимания. Все величины есть в файле config.json модели: num_hidden_layers, num_key_value_heads, hidden_size, num_attention_heads.

Считаем KV-кэш для Qwen2.5-72B-Instruct
  1. Из config.json: 80 слоёв, 64 головы внимания, 8 KV-голов, скрытая размерность 8 192. Размер головы: 8 192 / 64 = 128.
  2. KV на токен в BF16: 2 × 80 × 8 × 128 × 2 = 327 680 байт (320 КиБ).
  3. Контекст 32 768 токенов (так настроен config.json): 327 680 × 32 768 = 10 737 418 240 байт ≈ 10,7 ГБ на один запрос.
  4. Десять одновременных запросов с полным контекстом — около 107 ГБ. Это сопоставимо с весами модели в 8 битах.

Цифры сильно зависят от архитектуры. У Qwen2.5-72B восемь KV-голов вместо 64 — это grouped-query attention, она сокращает кэш в восемь раз. У моделей без неё кэш намного больше: для OPT-13B авторы vLLM приводят около 800 КБ на токен, в два с половиной раза больше, чем у 72B-модели выше.

Листайте вбок →
МодельСлоиKV-головыKV на токен1 запрос × 32 768 токенов
Qwen2.5-7B-Instruct28456 КиБ≈ 1,9 ГБ
Qwen2.5-14B-Instruct488192 КиБ≈ 6,4 ГБ
Qwen2.5-72B-Instruct808320 КиБ≈ 10,7 ГБ
Таблица 3KV-кэш открытых моделей Qwen2.5 в BF16, по config.json
Рис. 3KV-кэш растёт линейно и с длиной контекста, и с числом запросов. Удвоили контекст — удвоили кэш.

Шаг 3. Запас на служебную память

Кроме весов и кэша память занимают активации, буферы библиотек и фрагментация. Серверы инференса управляют этим через долю памяти, которую им разрешено занять: в vLLM это параметр gpu_memory_utilization. В прежних версиях внутри этой доли vLLM размещал веса и активации, а остаток отдавал под KV-кэш. В примерах ниже мы оставляем 10 % памяти карты в запасе — значение 0,9; так было по умолчанию в прежних версиях vLLM, а в текущей документации значение по умолчанию — 0,92 или 1,0 в зависимости от режима KV-кэша. Если на той же GPU работает что-то ещё, запас нужен больше.

Отсюда рабочая формула:

text
Под KV-кэш ≈ память GPU × 0,9 − весаОдновременных запросов ≈ (под KV-кэш) / (KV на один запрос)

Пример целиком: модель 72B

Qwen2.5-72B-Instruct: 72,7 млрд параметров, KV-кэш 10,7 ГБ на запрос с контекстом 32 768 токенов.

Листайте вбок →
КонфигурацияПамять90 %ВесаПод KV-кэшЗапросов с полным контекстом
1 × H100 80 ГБ, BF1680 ГБ72 ГБ145,4 ГБне помещается—
1 × H200, BF16141 ГБ126,9 ГБ145,4 ГБне помещается—
1 × H200, FP8141 ГБ126,9 ГБ72,7 ГБ54,2 ГБоколо 5
2 × H200, BF16282 ГБ253,8 ГБ145,4 ГБ108,4 ГБоколо 10
1 × H100 80 ГБ, 4 бита80 ГБ72 ГБ≈ 36,4 ГБ≈ 35,6 ГБоколо 3
1 × B300 в сервере HGX B300, BF16≈ 260 ГБ234 ГБ145,4 ГБ88,6 ГБоколо 8
Таблица 4Qwen2.5-72B на разных конфигурациях, контекст 32 768 токенов

Расчёт верхний: активации на этапе обработки длинного промпта тоже берут память из тех же 90 %, поэтому на практике запросов будет немного меньше. Зато большинство запросов короче максимального контекста, и серверы вроде vLLM выделяют кэш постранично по мере роста диалога — реальных пользователей помещается больше.

Пример поменьше: модель 14B для команды

Qwen2.5-14B-Instruct: 14,7 млрд параметров, веса в BF16 — 29,4 ГБ, KV-кэш — 6,4 ГБ на запрос с контекстом 32 768 токенов и 1,6 ГБ при контексте 8 192.

  • H100 80 ГБ, BF16. Под кэш остаётся 72 − 29,4 = 42,6 ГБ: около 6 запросов с полным контекстом или около 26 запросов по 8 192 токена.
  • RTX 5090, INT8. Веса — 14,7 ГБ, под кэш 28,8 − 14,7 = 14,1 ГБ: около 2 запросов с полным контекстом или около 8 по 8 192 токена.

Для внутреннего ассистента на десяток сотрудников с короткими диалогами хватит и второго варианта; для сервиса с длинными документами на входе нужна карта с 80 ГБ.

Шаг 4. Память для дообучения

Полное дообучение

При обучении в смешанной точности с оптимизатором Adam на каждый параметр приходится 6 + 8 + 4 = 18 байт: 6 байт на веса (рабочая копия в FP16 и основная в FP32), 8 байт на состояние оптимизатора (первый и второй моменты в FP32) и 4 байта на градиенты в FP32. Такую раскладку приводит документация Hugging Face Transformers. Активации считаются отдельно и растут с размером батча и длиной последовательности.

Листайте вбок →
МодельВеса, градиенты и оптимизатор
7B126 ГБ
13B234 ГБ
70B1 260 ГБ
Таблица 5Полное дообучение с Adam в смешанной точности: 18 байт на параметр, без активаций

Даже модель 7B при полном дообучении не помещается на карту с 80 ГБ, а на H200 со 141 ГБ остаётся всего около 15 ГБ под активации. Состояние модели приходится делить между GPU — так делают ZeRO в DeepSpeed и FSDP в PyTorch. Для 70B нужен сервер на 8 × B300 (2,1 ТБ памяти GPU у HGX B300) или несколько серверов: у 8 × H200 1 128 ГБ, а нужно 1 260 ГБ ещё до активаций.

≈ 18 байтна параметр при обучении с Adam в смешанной точности, без активаций [11]
2 байтана параметр для весов в BF16 [1]

LoRA и QLoRA

LoRA замораживает веса базовой модели и обучает небольшие добавочные матрицы. Градиенты и состояние оптимизатора нужны только для них, поэтому память — это веса базовой модели плюс активации и небольшой довесок. Модель 13B в BF16 (около 26 ГБ весов) дообучается через LoRA на одной карте с 80 ГБ.

QLoRA хранит базовую модель в 4-битном формате NF4. Авторы метода показали, что так модель на 65 млрд параметров дообучается на единственной карте с 48 ГБ памяти и на их тестах не теряет в качестве по сравнению с 16-битным дообучением.

Когда одной GPU мало

Если веса с KV-кэшем не помещаются в одну карту, модель делят между несколькими GPU — тензорным или конвейерным параллелизмом. Карты на каждом слое обмениваются данными, и скорость связи между ними начинает влиять на скорость генерации. На серверах с SXM карты связаны NVLink — 900 ГБ/⁠с на GPU у H100 и H200, 1,8 ТБ/⁠с у B300; без него обмен идёт по PCIe. Чем отличаются эти варианты, разобрано в статье «SXM, PCIe, NVL, HGX и DGX».

Какая карта под какую модель

Сведём шаги в короткое правило для инференса с запасом под KV-кэш:

Листайте вбок →
МодельBF16INT8 / FP84 бита
7BRTX 5090, 32 ГБRTX 5090RTX 5090
13BA100 40 ГБ, H100RTX 5090RTX 5090
34BH200, 141 ГБH100RTX 5090
70B2 × H200 или B300H200H100
Таблица 6Минимальная карта по памяти для инференса, контекст умеренный

Когда по памяти подходят несколько карт — например, A100 40 ГБ и H100 для модели 13B, — выбор становится вопросом скорости и цены; его мы разобрали в статье «H100, A100 или H200: что выбрать».

Карты и запуск

Цены «от» на каждую карту — в карточках ниже. В одном сервере с H200, B200 или B300 можно собрать до 8 GPU с NVLink; такие серверы готовы до 3 рабочих дней после оплаты, RTX 5090, A100 и H100 — за минуты. Готовый подбор конфигурации под задачу — на странице «Сервер для нейросетей и LLM», все модели и конфигурации на 2, 4 и 8 карт — на странице аренды GPU-серверов.

NVIDIA RTX 5090Blackwell · 32 ГБ GDDR7 · Россияот 130 ₽/ч≈ 94 900 ₽/месОткрыть RTX 5090 →NVIDIA H100Hopper · 80 ГБ · Россияот 383 ₽/ч≈ 279 590 ₽/месОткрыть H100 →NVIDIA H200Hopper · 141 ГБ HBM3e · Россияот 630 ₽/ч≈ 459 900 ₽/месОткрыть H200 →NVIDIA B300Blackwell Ultra · до 288 ГБ HBM3e · Россияот 1 780 ₽/ч≈ 1 299 400 ₽/месОткрыть B300 →

Вопросы и ответы

Сколько видеопамяти нужно для модели 7B, 13B и 70B?

Только под веса в BF16: около 14, 26 и 140 ГБ. В 8 битах вдвое меньше, в 4 битах — вчетверо. Сверху добавьте KV-кэш под ваш контекст и число запросов и запас на служебную память — в наших примерах 10 % объёма карты.

Как квантизация меняет расчёт?

Она уменьшает байт на параметр: с 2 в BF16 до 1 в INT8 или FP8 и до 0,5 в 4 битах. KV-кэш от квантизации весов не уменьшается — его квантуют отдельно, если фреймворк это поддерживает.

Что такое KV-кэш и почему он занимает столько памяти?

Это сохранённые ключи и значения внимания для всех токенов в контексте. Его объём — 2 × слои × KV-головы × размер головы × байт на значение на каждый токен, умноженный на длину контекста и число запросов. У Qwen2.5-72B это 10,7 ГБ на один запрос с контекстом 32 768 токенов.

Хватит ли одной H100 на 80 ГБ для модели 70B?

В 16 битах — нет: веса весят около 140 ГБ. В 4 битах — да, около 35 ГБ весов и примерно столько же под KV-кэш. В 8 битах модель занимает около 70 ГБ и на KV-кэш почти не остаётся места — удобнее H200.

Сколько памяти нужно для дообучения?

Полное дообучение с Adam в смешанной точности — около 18 байт на параметр плюс активации: 126 ГБ для 7B, 1 260 ГБ для 70B. LoRA — веса базовой модели плюс небольшой довесок; QLoRA — около четверти от этого, модель 65B помещается в 48 ГБ.

Подбор GPU

Подберём GPU под вашу модель

Напишите модель, точность, длину контекста и сколько пользователей будет одновременно. Посчитаем память по формулам из этой статьи и предложим 2–3 конфигурации с числом карт и ценой. Ответим за 15 минут в рабочее время: пн–пт 10:00–19:00 МСК.

ПоделитьсяTelegram
Источники · проверено 14 ноября 2026
  1. Hugging Face Transformers, «Quantization» — форматы 8 и 4 бита, NF4
  2. Qwen2.5-7B-Instruct — 7,61 млрд параметров, `config.json`: 28 слоёв, 28 голов, 4 KV-головы, 3 584
  3. Qwen2.5-14B-Instruct — 14,7 млрд параметров, `config.json`: 48 слоёв, 40 голов, 8 KV-голов, 5 120
  4. Qwen2.5-72B-Instruct — 72,7 млрд параметров, `config.json`: 80 слоёв, 64 головы, 8 KV-голов, 8 192, контекст в конфигурации 32 768
  5. Rajbhandari et al., «ZeRO: Memory Optimizations Toward Training Trillion Parameter Models», 2019 — разделение состояния модели между GPU (ZeRO)
  6. Kwon et al., «Efficient Memory Management for Large Language Model Serving with PagedAttention» (vLLM), 2023 — KV-кэш OPT-13B около 800 КБ на токен, постраничное выделение кэша
  7. vLLM, Engine Arguments — `gpu_memory_utilization`, доля памяти GPU для исполнителя модели; значение 0,9 в примерах (прежнее значение по умолчанию; сейчас 0,92 или 1,0):; версия 0.10.0 со значением 0,9 по умолчанию
  8. Dettmers et al., «QLoRA: Efficient Finetuning of Quantized LLMs», 2023 — 65B на одной GPU 48 ГБ, NF4
  9. Hugging Face PEFT, «LoRA» — обучаются только добавочные матрицы
  10. NVIDIA: H100 (80 ГБ, NVLink 900 ГБ/⁠с); H200 (141 ГБ); A100 (80 ГБ); RTX 5090 (32 ГБ); Blackwell Ultra (288 ГБ); HGX B300 (8 GPU, 2,1 ТБ памяти на плату, ≈ 260 ГБ на GPU — расчёт редакции; NVLink 1,8 ТБ/⁠с)
  11. Hugging Face Transformers, «GPU memory usage» — 6 байт на веса, 8 на состояние Adam, 4 на градиенты: около 18 байт на параметр плюс активации