Перейти к содержимому
Флагманские GPU

Какие GPU нужны под модель 70B и 400B+: конфигурации и расчёт

Подбор GPU под LLM на 70B и 400B параметров: сколько карт H100, H200, B200 и B300 нужно для запуска и дообучения, какие конфигурации сервера подходят.

Коротко
  • Модель на 70B в 16 битах весит около 140 ГБ. Ей нужны две H200, одна B200 или B300, четыре H100 или восемь A100 40 ГБ; в FP8 хватает одной H200, в 4 битах — одной H100.
  • Модель на 405B в 16 битах весит около 810 ГБ: это сервер на 8 × H200 или 8 × B300. В FP8 — 405 ГБ и четыре H200.
  • Полное дообучение 70B требует около 1 260 ГБ ещё до активаций, 405B — около 7,3 ТБ. Первое — сервер на 8 × B300, второе — несколько серверов.
Содержание8 разделов

Число параметров в названии модели почти сразу говорит, сколько видеокарт ей нужно. Достаточно умножить его на байты на параметр, сравнить с памятью карты и оставить запас под контекст. Сложнее с крупными моделями: на 400B и больше одна карта уже ничего не решает, и выбирать приходится между сервером на восемь GPU и несколькими серверами. Все расчёты в статье — наш расчёт по памяти: сколько карт нужно, чтобы модель поместилась и обслуживала запросы. Скорость генерации зависит ещё и от связи между картами, но начинать подбор всегда приходится с памяти.

Быстро прикинуть память под свою модель можно в калькуляторе памяти на сайте.

Что считаем

Память — это веса, KV-кэш и служебный запас; мы отдаём модели 90 % памяти карты. Формулы — в статье «Сколько видеопамяти нужно для LLM».

Модель на 70B: сколько карт

Для примера — Llama 3.1 70B. У неё 80 слоёв и 8 KV-голов, а контекст достигает 131 072 токенов. Кэш в BF16 — около 10,7 ГБ на каждого пользователя с запросом длиной 32 768 токенов и около 43 ГБ, если запрос занимает весь контекст (наш расчёт по config.json модели).

Листайте вбок →
Точность и весаКонфигурация90 % памятиПод KV-кэшЗапросов одновременно
BF16, 140 ГБ1 × H200126,9 ГБне помещается—
BF16, 140 ГБ2 × H100 80 ГБ144 ГБ4 ГБменьше одного
BF16, 140 ГБ1 × B200162 ГБ22 ГБоколо 2
BF16, 140 ГБ1 × B300 в сервере HGX≈ 234 ГБ≈ 94 ГБоколо 8
BF16, 140 ГБ2 × H200253,8 ГБ113,8 ГБоколо 10
BF16, 140 ГБ4 × H100 или 8 × A100 40 ГБ288 ГБ148 ГБоколо 13
FP8, 70 ГБ1 × H100 80 ГБ72 ГБ2 ГБменьше одного
FP8, 70 ГБ1 × RTX PRO 600086,4 ГБ16,4 ГБ1
FP8, 70 ГБ1 × H200126,9 ГБ56,9 ГБоколо 5
4 бита, ≈ 35 ГБ1 × L40S, 48 ГБ43,2 ГБ8,2 ГБкороткие запросы
4 бита, ≈ 35 ГБ1 × H100 80 ГБ72 ГБ37 ГБоколо 3
4 бита, ≈ 35 ГБ1 × RTX PRO 600086,4 ГБ51,4 ГБоколо 4
Таблица 1Модель 70B: минимальные конфигурации по памяти, контекст 32 768 токенов (наш расчёт)
Подберём GPU под задачу

Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.

Оставить заявку

B300 в таблице посчитана по памяти в сервере: у чипа до 288 ГБ, а в сервере HGX B300 на каждую карту приходится около 260 ГБ из общих 2,1 ТБ. Память H100 указана по характеристике NVIDIA, у A100 в расчёте — 40 ГБ.

Хватит ли одной H200

В BF16 одной H200 мало, в FP8 хватает примерно на пять запросов по 32 768 токенов; подробно — в разборе H200.

Квантизация или вторая карта

FP8 и 4 бита вдвое и вчетверо уменьшают веса, и модель 70B переезжает на одну карту. Цена — возможная потеря качества, особенно в 4 битах. Проверьте квантизованную модель на своих задачах, прежде чем отказываться от второй карты: если качество устраивает, одна H200 в FP8 обходится проще, чем две карты с разделением модели между ними.

Модели на 400B и больше

Для примера возьмём две открытые модели: Llama 3.1 405B (плотная, 126 слоёв, 8 KV-голов) и DeepSeek-V3 (671 млрд параметров, архитектура смеси экспертов, на каждый токен работают около 37 млрд). У модели со смесью экспертов в памяти должны лежать все эксперты, поэтому её память считают по полному числу параметров. Активные 37 млрд определяют скорость генерации.

Листайте вбок →
Модель и точностьВесаНе помещаетсяПомещается
405B, BF16≈ 810 ГБ8 × H100 (640 ГБ)8 × H200 (1 128 ГБ), 8 × B300 (2,1 ТБ)
405B, FP8≈ 405 ГБ2 × H2004 × H200 (564 ГБ), 8 × H100
405B, 4 бита≈ 203 ГБ1 × H2002 × H200, 1 × B300 впритык
DeepSeek-V3, FP8≈ 690 ГБ (685B с модулем MTP)4 × H2008 × H200, 8 × B300
DeepSeek-V3, BF16≈ 1 370 ГБ8 × H2008 × B300 или два сервера 8 × H200
Таблица 2Модели 400B+: какие конфигурации подходят по памяти (наш расчёт)

То, что 405B в BF16 не помещается в сервер на 8 × H100, подтверждают и сами разработчики: в отчёте о Llama 3 Meta пишет, что запускала эту модель в BF16 на 16 GPU в двух серверах, и отдельно описывает инференс в FP8. DeepSeek публикует веса V3 сразу в FP8 — модель обучалась в этом формате, — поэтому для неё FP8 — родная точность, и сервер на 8 × H200 закрывает её запуск.

≈ 810 ГБвеса Llama 3.1 405B в BF16 (наш расчёт) [3]
1 128 ГБвидеопамяти в сервере на 8 × H200 [5]
2,1 ТБвидеопамяти в сервере на HGX B300 [7]

Почему почти всегда сервер на 8 GPU

Когда модель делят между картами тензорным параллелизмом, карты обмениваются данными на каждом слое. Внутри сервера на плате HGX все восемь GPU связаны NVLink через коммутаторы NVSwitch, и обмен не тормозит генерацию так, как обмен по PCIe или по сети между серверами. Поэтому модели на 400B+ сначала стараются уместить в один сервер на восемь карт и только потом выходят за его пределы. Как устроен такой сервер, мы разбирали в статье «8 × H200 на платформе HGX».

Когда одного сервера мало

Второй сервер нужен, если веса в нужной точности больше памяти восьми карт: DeepSeek-V3 в BF16 на H200, полное обучение крупных моделей. Тогда внутри сервера модель делят тензорно, а между серверами — конвейерно, по слоям: этот способ передаёт меньше данных и переносит более медленную сеть. Сеть между серверами нужна быстрая, и её подбирают вместе с серверами.

KV-кэш: запас под длинный контекст

На больших моделях кэш растёт быстрее, чем кажется. У Llama 3.1 405B на один токен в BF16 приходится 2 × 126 × 8 × 128 × 2 = 516 096 байт, около 504 КиБ (наш расчёт по архитектуре из отчёта Meta).

text
1 запрос × 32 768 токенов  ≈ 16,9 ГБ1 запрос × 131 072 токена ≈ 67,6 ГБ

На сервере 8 × H200 после весов в BF16 под кэш остаётся около 205 ГБ (1 015,2 − 810): это около 12 запросов по 32 768 токенов или три запроса с полным контекстом. На 8 × B300 остаётся около 1 080 ГБ — больше 60 запросов по 32 768 токенов.

Сократить кэш можно двумя способами: хранить его в FP8 (vLLM это поддерживает, кэш занимает вдвое меньше) или ограничить длину контекста под реальные запросы. Второе — самый дешёвый способ поместить модель на меньшее число карт.

Дообучение 70B и 405B

LoRA и QLoRA

При LoRA базовая модель заморожена, а обучаются только небольшие добавочные матрицы, так что память уходит в основном на веса и активации. В QLoRA замороженные веса ещё и сжаты до 4 бит.

  • LoRA на 70B в BF16: 140 ГБ весов плюс активации — две H200 или одна B300.
  • QLoRA на 70B: около 35 ГБ весов — одна H100 или H200.
  • LoRA на 405B в BF16: 810 ГБ весов — сервер на 8 × H200 или 8 × B300.
  • QLoRA на 405B: около 203 ГБ — две H200; с длинными последовательностями удобнее четыре.

Полное дообучение

18 байт на параметр без активаций (6 + 8 + 4, наш подсчёт по документации Hugging Face):

text
70B  × 18 байт ≈ 1 260 ГБ405B × 18 байт ≈ 7 290 ГБ

Для 70B это больше памяти сервера на 8 × H200 (1 128 ГБ), поэтому нужен сервер на 8 × B300 или выгрузка состояния оптимизатора в оперативную память. Для 405B даже сервер на 8 × B300 мал. По тому же правилу 90 % нужно не меньше четырёх таких серверов (около 7,6 ТБ рабочей памяти) или восьми серверов на 8 × H200 (около 8,1 ТБ): семь дали бы только 7,1 ТБ. И это ещё до активаций (наш расчёт). Состояние модели делят между всеми картами через ZeRO в DeepSpeed или FSDP в PyTorch.

Какую карту брать

Листайте вбок →
КартаПамять на GPU70B в BF16405B в FP8Запуск
H10080 ГБ (характеристика)4 карты8 картза минуты
A100 40 ГБ40 ГБ8 картне помещается в 8за минуты
RTX PRO 600096 ГБ2 карты8 картза минуты
H200141 ГБ2 карты4 картыдо 3 рабочих дней после оплаты
B200180 ГБ1 карта4 картыдо 3 рабочих дней после оплаты
B300до 288 ГБ у чипа, около 260 ГБ в сервере1 карта2 картыдо 3 рабочих дней после оплаты
Таблица 3Карты для моделей 70B и 400B+: память и запуск

Правило отбора простое. Если модель 70B нужна в BF16 с длинным контекстом, смотрите на H200 и B300: они дают запас под кэш на одной-двух картах. Если вы готовы работать в FP8 или 4 битах, подходят H100 и RTX PRO 6000. Для запуска моделей 400B+ выбор сводится к серверу на 8 × H200 или 8 × B300. Полное дообучение 70B на 8 × H200 не помещается, для него нужен сервер на 8 × B300. Чем эти карты отличаются по скорости и поколению, разобрано в статье «H100, A100 или H200: что выбрать».

Конфигурации в Ampuna

Серверы с H200 у нас собираются на 1, 2, 4 или 8 карт, B300 — от 1 до 8 GPU; восемь карт в сервере — это SXM на плате HGX. Если модель не помещается и в восемь карт, соберём несколько серверов с быстрой сетью между ними. Флагманы H200, B200 и B300 стартуют до 3 рабочих дней после оплаты, причём платёж за первый месяц вносится вперёд; облачные H100, A100 и RTX PRO 6000 готовы за минуты. Для обучения на месяцы компаниям и ИП предлагаем контракт на 3–12 месяцев по фиксированной цене. Все карты с ценами собраны на странице аренды GPU-серверов.

2 × NVIDIA H200Hopper · 141 ГБ HBM3e · Россия70B в BF16 с запасом под контекстот 1 260 ₽/ч≈ 919 800 ₽/месОткрыть H200 →8 × NVIDIA H200Hopper · 141 ГБ HBM3e · Россия8 × H200: SXM на плате HGXот 5 040 ₽/ч≈ 3 679 200 ₽/месОткрыть H200 →8 × NVIDIA B300Blackwell Ultra · до 288 ГБ HBM3e · Россия405B в BF16 и полное дообучение 70Bот 9 000 000 ₽/месОткрыть B300 →

Вопросы и ответы

Сколько GPU нужно для модели 70B?

В BF16 — две H200, одна B200 или B300, четыре H100 или восемь A100 40 ГБ. В FP8 — одна H200. В 4 битах — одна H100 или RTX PRO 6000. Сверху нужен запас под KV-кэш: около 10,7 ГБ на каждого пользователя с запросом в 32 768 токенов.

Хватит ли одной H200 для 70B?

В FP8 — да: после весов остаётся место примерно на пять запросов по 32 768 токенов. В BF16 — нет: веса занимают около 140 ГБ, а у H200 141 ГБ на всё.

Что нужно для модели на 405B?

В BF16 — сервер на 8 × H200 или 8 × B300: веса занимают около 810 ГБ. В FP8 хватает четырёх H200, в 4 битах — двух.

Можно ли обойтись квантизацией?

Для запуска — часто да: FP8 вдвое уменьшает веса, 4 бита — вчетверо. Качество квантизованной модели проверяйте на своих данных. Для полного дообучения квантизация не помогает: нужны 18 байт на параметр, и выход — LoRA или QLoRA.

Сколько стоит такая конфигурация?

Цены «от» — в карточках и на страницах моделей; сборки, которых нет в прайсе, подберём под задачу.

Подбор GPU

Опишите модель — подберём конфигурацию

Напишите модель, точность, длину контекста и задачу: запуск, LoRA или полное дообучение. Посчитаем, сколько карт нужно, и предложим 2–3 конфигурации с ценой. Ответим за 15 минут в рабочее время: пн–пт 10:00–19:00 МСК.

ПоделитьсяTelegram
Источники · проверено 14 ноября 2026
  1. Конфигурация Llama 3.1 70B — 80 слоёв, 64 головы внимания, 8 KV-голов, hidden 8192, контекст 131 072: (файл `config.json`; зеркало без авторизации
  2. Llama Team, AI @ Meta, «The Llama 3 Herd of Models» — архитектура 405B: 126 слоёв, размерность 16 384, 128 голов внимания, 8 KV-голов; 405B в BF16 не помещается в память одного сервера с 8 × H100, инференс в BF16 на 16 GPU в двух серверах, инференс в FP8
  3. Meta Llama 3.1 405B, карточка модели — 405B параметров, контекст 128K, веса в BF16
  4. DeepSeek-V3, карточка модели — 671 млрд параметров основной модели, 685 млрд вместе с модулем MTP, 37 млрд активных на токен, веса только в FP8, контекст 128K
  5. NVIDIA H200 — 141 ГБ HBM3e; NVIDIA DGX H200 — 8 × H200, 1 128 ГБ: и
  6. NVIDIA H100 — 80 ГБ:; NVIDIA A100 — версии 40 и 80 ГБ
  7. NVIDIA HGX — HGX B200 1,4 ТБ и HGX B300 2,1 ТБ памяти на 8 GPU, NVLink и NVSwitch:; NVIDIA DGX B200 — 1 440 ГБ на 8 GPU (180 ГБ на GPU)
  8. NVIDIA Technical Blog, «Inside NVIDIA Blackwell Ultra» — до 288 ГБ HBM3e у чипа B300
  9. NVIDIA RTX PRO 6000 Blackwell Server Edition — 96 ГБ GDDR7; NVIDIA L40S — 48 ГБ: и
  10. Hugging Face Transformers, «GPU memory usage» — 6 байт на веса, 8 на состояние Adam и 4 на градиенты при обучении в смешанной точности, плюс активации
  11. Dettmers et al., «QLoRA: Efficient Finetuning of Quantized LLMs» — дообучение с базовыми весами в 4 битах
  12. vLLM — KV-кэш в FP8
  13. Rajbhandari et al., «ZeRO» — шардирование состояний модели между картами:; PyTorch FSDP