Под веса нужно число параметров, умноженное на байт на параметр: 2 байта в FP16 и BF16, 1 байт в INT8, около 0,5 байта в 4 битах. Модель 7B в BF16 — около 14 ГБ, 70B — около 140 ГБ. Сверху добавьте KV-кэш, который растёт с длиной контекста и числом одновременных запросов, и служебную память фреймворка. Для полного дообучения с оптимизатором Adam нужно около 18 байт на параметр плюс активации — в девять раз больше, чем на веса в BF16.
Содержание11 разделов
Память GPU — первое, во что упирается запуск языковой модели: если веса и контекст не помещаются, скорость карты уже неважна. Посчитать её можно на бумаге, зная размер модели, точность и длину контекста. Готовый подбор конфигурации под задачу уже есть на сайте. Здесь — формулы и примеры, чтобы вы могли проверить любой подбор сами.
Из чего состоит память GPU
При запуске модели (инференсе) память делится между тремя потребителями:
- веса модели — постоянная часть, зависит от числа параметров и точности;
- KV-кэш — ключи и значения внимания для всех токенов в контексте; растёт с длиной контекста и числом одновременных запросов;
- активации и служебные буферы — промежуточные результаты слоёв, буферы библиотек CUDA, фрагментация.
При обучении к ним добавляются градиенты и состояние оптимизатора, и они быстро становятся больше самих весов.
Шаг 1. Веса модели
Число в названии модели — количество параметров: 7B — семь миллиардов. Каждый параметр хранится в определённой точности:
| Формат | Байт на параметр | Где используется |
|---|---|---|
| FP32 | 4 | Обучение без смешанной точности, состояние оптимизатора |
| FP16 / BF16 | 2 | Стандартный формат весов открытых моделей, инференс и обучение |
| INT8 / FP8 | 1 | Квантизация для инференса; FP8 поддерживают Hopper и Blackwell |
| 4 бита (INT4, NF4, FP4) | ≈ 0,5 | Квантизация для инференса и QLoRA |
Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.
Оставить заявкуФормула:
Память под веса (ГБ) ≈ параметры (млрд) × байт на параметрПример: Qwen2.5-7B-Instruct, по карточке модели — 7,61 млрд параметров, веса в BF16. 7,61 × 2 = 15,2 ГБ. В 4 битах — около 3,8 ГБ плюс небольшая доля на масштабные коэффициенты квантизации.
| Модель | BF16 / FP16 | INT8 / FP8 | 4 бита |
|---|---|---|---|
| 7B | 14 | 7 | 3,5 |
| 13B | 26 | 13 | 6,5 |
| 34B | 68 | 34 | 17 |
| 70B | 140 | 70 | 35 |
По таблице видно: модель 70B в 16 битах не помещается ни на одну GPU с 80 ГБ и занимает почти весь объём H200 (141 ГБ). В 4 битах та же модель встаёт на одну карту с 80 ГБ.
- RTX 5090 — 32 ГБ
- A100 — 40 ГБ
- H100 — 80 ГБ
- H200 — 141 ГБ
- B300 в сервере — ≈ 260 ГБ
Шаг 2. KV-кэш
Чтобы не пересчитывать внимание для всех предыдущих токенов, модель хранит их ключи и значения — KV-кэш. Его объём на один токен:
KV на токен (байт) = 2 × слои × KV-головы × размер головы × байт на значениеKV всего = KV на токен × длина контекста × число одновременных запросов
Двойка — это ключ и значение. Размер головы — скрытая размерность, делённая на число голов внимания. Все величины есть в файле config.json модели: num_hidden_layers, num_key_value_heads, hidden_size, num_attention_heads.
- Из
config.json: 80 слоёв, 64 головы внимания, 8 KV-голов, скрытая размерность 8 192. Размер головы: 8 192 / 64 = 128. - KV на токен в BF16: 2 × 80 × 8 × 128 × 2 = 327 680 байт (320 КиБ).
- Контекст 32 768 токенов (так настроен
config.json): 327 680 × 32 768 = 10 737 418 240 байт ≈ 10,7 ГБ на один запрос. - Десять одновременных запросов с полным контекстом — около 107 ГБ. Это сопоставимо с весами модели в 8 битах.
Цифры сильно зависят от архитектуры. У Qwen2.5-72B восемь KV-голов вместо 64 — это grouped-query attention, она сокращает кэш в восемь раз. У моделей без неё кэш намного больше: для OPT-13B авторы vLLM приводят около 800 КБ на токен, в два с половиной раза больше, чем у 72B-модели выше.
| Модель | Слои | KV-головы | KV на токен | 1 запрос × 32 768 токенов |
|---|---|---|---|---|
| Qwen2.5-7B-Instruct | 28 | 4 | 56 КиБ | ≈ 1,9 ГБ |
| Qwen2.5-14B-Instruct | 48 | 8 | 192 КиБ | ≈ 6,4 ГБ |
| Qwen2.5-72B-Instruct | 80 | 8 | 320 КиБ | ≈ 10,7 ГБ |
Шаг 3. Запас на служебную память
Кроме весов и кэша память занимают активации, буферы библиотек и фрагментация. Серверы инференса управляют этим через долю памяти, которую им разрешено занять: в vLLM это параметр gpu_memory_utilization. В прежних версиях внутри этой доли vLLM размещал веса и активации, а остаток отдавал под KV-кэш. В примерах ниже мы оставляем 10 % памяти карты в запасе — значение 0,9; так было по умолчанию в прежних версиях vLLM, а в текущей документации значение по умолчанию — 0,92 или 1,0 в зависимости от режима KV-кэша. Если на той же GPU работает что-то ещё, запас нужен больше.
Отсюда рабочая формула:
Под KV-кэш ≈ память GPU × 0,9 − весаОдновременных запросов ≈ (под KV-кэш) / (KV на один запрос)
Пример целиком: модель 72B
Qwen2.5-72B-Instruct: 72,7 млрд параметров, KV-кэш 10,7 ГБ на запрос с контекстом 32 768 токенов.
| Конфигурация | Память | 90 % | Веса | Под KV-кэш | Запросов с полным контекстом |
|---|---|---|---|---|---|
| 1 × H100 80 ГБ, BF16 | 80 ГБ | 72 ГБ | 145,4 ГБ | не помещается | — |
| 1 × H200, BF16 | 141 ГБ | 126,9 ГБ | 145,4 ГБ | не помещается | — |
| 1 × H200, FP8 | 141 ГБ | 126,9 ГБ | 72,7 ГБ | 54,2 ГБ | около 5 |
| 2 × H200, BF16 | 282 ГБ | 253,8 ГБ | 145,4 ГБ | 108,4 ГБ | около 10 |
| 1 × H100 80 ГБ, 4 бита | 80 ГБ | 72 ГБ | ≈ 36,4 ГБ | ≈ 35,6 ГБ | около 3 |
| 1 × B300 в сервере HGX B300, BF16 | ≈ 260 ГБ | 234 ГБ | 145,4 ГБ | 88,6 ГБ | около 8 |
Расчёт верхний: активации на этапе обработки длинного промпта тоже берут память из тех же 90 %, поэтому на практике запросов будет немного меньше. Зато большинство запросов короче максимального контекста, и серверы вроде vLLM выделяют кэш постранично по мере роста диалога — реальных пользователей помещается больше.
Пример поменьше: модель 14B для команды
Qwen2.5-14B-Instruct: 14,7 млрд параметров, веса в BF16 — 29,4 ГБ, KV-кэш — 6,4 ГБ на запрос с контекстом 32 768 токенов и 1,6 ГБ при контексте 8 192.
- H100 80 ГБ, BF16. Под кэш остаётся 72 − 29,4 = 42,6 ГБ: около 6 запросов с полным контекстом или около 26 запросов по 8 192 токена.
- RTX 5090, INT8. Веса — 14,7 ГБ, под кэш 28,8 − 14,7 = 14,1 ГБ: около 2 запросов с полным контекстом или около 8 по 8 192 токена.
Для внутреннего ассистента на десяток сотрудников с короткими диалогами хватит и второго варианта; для сервиса с длинными документами на входе нужна карта с 80 ГБ.
Шаг 4. Память для дообучения
Полное дообучение
При обучении в смешанной точности с оптимизатором Adam на каждый параметр приходится 6 + 8 + 4 = 18 байт: 6 байт на веса (рабочая копия в FP16 и основная в FP32), 8 байт на состояние оптимизатора (первый и второй моменты в FP32) и 4 байта на градиенты в FP32. Такую раскладку приводит документация Hugging Face Transformers. Активации считаются отдельно и растут с размером батча и длиной последовательности.
| Модель | Веса, градиенты и оптимизатор |
|---|---|
| 7B | 126 ГБ |
| 13B | 234 ГБ |
| 70B | 1 260 ГБ |
Даже модель 7B при полном дообучении не помещается на карту с 80 ГБ, а на H200 со 141 ГБ остаётся всего около 15 ГБ под активации. Состояние модели приходится делить между GPU — так делают ZeRO в DeepSpeed и FSDP в PyTorch. Для 70B нужен сервер на 8 × B300 (2,1 ТБ памяти GPU у HGX B300) или несколько серверов: у 8 × H200 1 128 ГБ, а нужно 1 260 ГБ ещё до активаций.
LoRA и QLoRA
LoRA замораживает веса базовой модели и обучает небольшие добавочные матрицы. Градиенты и состояние оптимизатора нужны только для них, поэтому память — это веса базовой модели плюс активации и небольшой довесок. Модель 13B в BF16 (около 26 ГБ весов) дообучается через LoRA на одной карте с 80 ГБ.
QLoRA хранит базовую модель в 4-битном формате NF4. Авторы метода показали, что так модель на 65 млрд параметров дообучается на единственной карте с 48 ГБ памяти и на их тестах не теряет в качестве по сравнению с 16-битным дообучением.
Когда одной GPU мало
Если веса с KV-кэшем не помещаются в одну карту, модель делят между несколькими GPU — тензорным или конвейерным параллелизмом. Карты на каждом слое обмениваются данными, и скорость связи между ними начинает влиять на скорость генерации. На серверах с SXM карты связаны NVLink — 900 ГБ/с на GPU у H100 и H200, 1,8 ТБ/с у B300; без него обмен идёт по PCIe. Чем отличаются эти варианты, разобрано в статье «SXM, PCIe, NVL, HGX и DGX».
Какая карта под какую модель
Сведём шаги в короткое правило для инференса с запасом под KV-кэш:
| Модель | BF16 | INT8 / FP8 | 4 бита |
|---|---|---|---|
| 7B | RTX 5090, 32 ГБ | RTX 5090 | RTX 5090 |
| 13B | A100 40 ГБ, H100 | RTX 5090 | RTX 5090 |
| 34B | H200, 141 ГБ | H100 | RTX 5090 |
| 70B | 2 × H200 или B300 | H200 | H100 |
Когда по памяти подходят несколько карт — например, A100 40 ГБ и H100 для модели 13B, — выбор становится вопросом скорости и цены; его мы разобрали в статье «H100, A100 или H200: что выбрать».
Карты и запуск
Цены «от» на каждую карту — в карточках ниже. В одном сервере с H200, B200 или B300 можно собрать до 8 GPU с NVLink; такие серверы готовы до 3 рабочих дней после оплаты, RTX 5090, A100 и H100 — за минуты. Готовый подбор конфигурации под задачу — на странице «Сервер для нейросетей и LLM», все модели и конфигурации на 2, 4 и 8 карт — на странице аренды GPU-серверов.
NVIDIA RTX 5090Blackwell · 32 ГБ GDDR7 · Россияот 130 ₽/ч≈ 94 900 ₽/месОткрыть RTX 5090 →NVIDIA H100Hopper · 80 ГБ · Россияот 383 ₽/ч≈ 279 590 ₽/месОткрыть H100 →NVIDIA H200Hopper · 141 ГБ HBM3e · Россияот 630 ₽/ч≈ 459 900 ₽/месОткрыть H200 →NVIDIA B300Blackwell Ultra · до 288 ГБ HBM3e · Россияот 1 780 ₽/ч≈ 1 299 400 ₽/месОткрыть B300 →Вопросы и ответы
Сколько видеопамяти нужно для модели 7B, 13B и 70B?
Только под веса в BF16: около 14, 26 и 140 ГБ. В 8 битах вдвое меньше, в 4 битах — вчетверо. Сверху добавьте KV-кэш под ваш контекст и число запросов и запас на служебную память — в наших примерах 10 % объёма карты.
Как квантизация меняет расчёт?
Она уменьшает байт на параметр: с 2 в BF16 до 1 в INT8 или FP8 и до 0,5 в 4 битах. KV-кэш от квантизации весов не уменьшается — его квантуют отдельно, если фреймворк это поддерживает.
Что такое KV-кэш и почему он занимает столько памяти?
Это сохранённые ключи и значения внимания для всех токенов в контексте. Его объём — 2 × слои × KV-головы × размер головы × байт на значение на каждый токен, умноженный на длину контекста и число запросов. У Qwen2.5-72B это 10,7 ГБ на один запрос с контекстом 32 768 токенов.
Хватит ли одной H100 на 80 ГБ для модели 70B?
В 16 битах — нет: веса весят около 140 ГБ. В 4 битах — да, около 35 ГБ весов и примерно столько же под KV-кэш. В 8 битах модель занимает около 70 ГБ и на KV-кэш почти не остаётся места — удобнее H200.
Сколько памяти нужно для дообучения?
Полное дообучение с Adam в смешанной точности — около 18 байт на параметр плюс активации: 126 ГБ для 7B, 1 260 ГБ для 70B. LoRA — веса базовой модели плюс небольшой довесок; QLoRA — около четверти от этого, модель 65B помещается в 48 ГБ.

