- Модель на 70B в 16 битах весит около 140 ГБ. Ей нужны две H200, одна B200 или B300, четыре H100 или восемь A100 40 ГБ; в FP8 хватает одной H200, в 4 битах — одной H100.
- Модель на 405B в 16 битах весит около 810 ГБ: это сервер на 8 × H200 или 8 × B300. В FP8 — 405 ГБ и четыре H200.
- Полное дообучение 70B требует около 1 260 ГБ ещё до активаций, 405B — около 7,3 ТБ. Первое — сервер на 8 × B300, второе — несколько серверов.
Содержание8 разделов
Число параметров в названии модели почти сразу говорит, сколько видеокарт ей нужно. Достаточно умножить его на байты на параметр, сравнить с памятью карты и оставить запас под контекст. Сложнее с крупными моделями: на 400B и больше одна карта уже ничего не решает, и выбирать приходится между сервером на восемь GPU и несколькими серверами. Все расчёты в статье — наш расчёт по памяти: сколько карт нужно, чтобы модель поместилась и обслуживала запросы. Скорость генерации зависит ещё и от связи между картами, но начинать подбор всегда приходится с памяти.
Быстро прикинуть память под свою модель можно в калькуляторе памяти на сайте.
Что считаем
Память — это веса, KV-кэш и служебный запас; мы отдаём модели 90 % памяти карты. Формулы — в статье «Сколько видеопамяти нужно для LLM».
Модель на 70B: сколько карт
Для примера — Llama 3.1 70B. У неё 80 слоёв и 8 KV-голов, а контекст достигает 131 072 токенов. Кэш в BF16 — около 10,7 ГБ на каждого пользователя с запросом длиной 32 768 токенов и около 43 ГБ, если запрос занимает весь контекст (наш расчёт по config.json модели).
| Точность и веса | Конфигурация | 90 % памяти | Под KV-кэш | Запросов одновременно |
|---|---|---|---|---|
| BF16, 140 ГБ | 1 × H200 | 126,9 ГБ | не помещается | — |
| BF16, 140 ГБ | 2 × H100 80 ГБ | 144 ГБ | 4 ГБ | меньше одного |
| BF16, 140 ГБ | 1 × B200 | 162 ГБ | 22 ГБ | около 2 |
| BF16, 140 ГБ | 1 × B300 в сервере HGX | ≈ 234 ГБ | ≈ 94 ГБ | около 8 |
| BF16, 140 ГБ | 2 × H200 | 253,8 ГБ | 113,8 ГБ | около 10 |
| BF16, 140 ГБ | 4 × H100 или 8 × A100 40 ГБ | 288 ГБ | 148 ГБ | около 13 |
| FP8, 70 ГБ | 1 × H100 80 ГБ | 72 ГБ | 2 ГБ | меньше одного |
| FP8, 70 ГБ | 1 × RTX PRO 6000 | 86,4 ГБ | 16,4 ГБ | 1 |
| FP8, 70 ГБ | 1 × H200 | 126,9 ГБ | 56,9 ГБ | около 5 |
| 4 бита, ≈ 35 ГБ | 1 × L40S, 48 ГБ | 43,2 ГБ | 8,2 ГБ | короткие запросы |
| 4 бита, ≈ 35 ГБ | 1 × H100 80 ГБ | 72 ГБ | 37 ГБ | около 3 |
| 4 бита, ≈ 35 ГБ | 1 × RTX PRO 6000 | 86,4 ГБ | 51,4 ГБ | около 4 |
Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.
Оставить заявкуB300 в таблице посчитана по памяти в сервере: у чипа до 288 ГБ, а в сервере HGX B300 на каждую карту приходится около 260 ГБ из общих 2,1 ТБ. Память H100 указана по характеристике NVIDIA, у A100 в расчёте — 40 ГБ.
Хватит ли одной H200
В BF16 одной H200 мало, в FP8 хватает примерно на пять запросов по 32 768 токенов; подробно — в разборе H200.
Квантизация или вторая карта
FP8 и 4 бита вдвое и вчетверо уменьшают веса, и модель 70B переезжает на одну карту. Цена — возможная потеря качества, особенно в 4 битах. Проверьте квантизованную модель на своих задачах, прежде чем отказываться от второй карты: если качество устраивает, одна H200 в FP8 обходится проще, чем две карты с разделением модели между ними.
Модели на 400B и больше
Для примера возьмём две открытые модели: Llama 3.1 405B (плотная, 126 слоёв, 8 KV-голов) и DeepSeek-V3 (671 млрд параметров, архитектура смеси экспертов, на каждый токен работают около 37 млрд). У модели со смесью экспертов в памяти должны лежать все эксперты, поэтому её память считают по полному числу параметров. Активные 37 млрд определяют скорость генерации.
| Модель и точность | Веса | Не помещается | Помещается |
|---|---|---|---|
| 405B, BF16 | ≈ 810 ГБ | 8 × H100 (640 ГБ) | 8 × H200 (1 128 ГБ), 8 × B300 (2,1 ТБ) |
| 405B, FP8 | ≈ 405 ГБ | 2 × H200 | 4 × H200 (564 ГБ), 8 × H100 |
| 405B, 4 бита | ≈ 203 ГБ | 1 × H200 | 2 × H200, 1 × B300 впритык |
| DeepSeek-V3, FP8 | ≈ 690 ГБ (685B с модулем MTP) | 4 × H200 | 8 × H200, 8 × B300 |
| DeepSeek-V3, BF16 | ≈ 1 370 ГБ | 8 × H200 | 8 × B300 или два сервера 8 × H200 |
То, что 405B в BF16 не помещается в сервер на 8 × H100, подтверждают и сами разработчики: в отчёте о Llama 3 Meta пишет, что запускала эту модель в BF16 на 16 GPU в двух серверах, и отдельно описывает инференс в FP8. DeepSeek публикует веса V3 сразу в FP8 — модель обучалась в этом формате, — поэтому для неё FP8 — родная точность, и сервер на 8 × H200 закрывает её запуск.
Почему почти всегда сервер на 8 GPU
Когда модель делят между картами тензорным параллелизмом, карты обмениваются данными на каждом слое. Внутри сервера на плате HGX все восемь GPU связаны NVLink через коммутаторы NVSwitch, и обмен не тормозит генерацию так, как обмен по PCIe или по сети между серверами. Поэтому модели на 400B+ сначала стараются уместить в один сервер на восемь карт и только потом выходят за его пределы. Как устроен такой сервер, мы разбирали в статье «8 × H200 на платформе HGX».
Когда одного сервера мало
Второй сервер нужен, если веса в нужной точности больше памяти восьми карт: DeepSeek-V3 в BF16 на H200, полное обучение крупных моделей. Тогда внутри сервера модель делят тензорно, а между серверами — конвейерно, по слоям: этот способ передаёт меньше данных и переносит более медленную сеть. Сеть между серверами нужна быстрая, и её подбирают вместе с серверами.
KV-кэш: запас под длинный контекст
На больших моделях кэш растёт быстрее, чем кажется. У Llama 3.1 405B на один токен в BF16 приходится 2 × 126 × 8 × 128 × 2 = 516 096 байт, около 504 КиБ (наш расчёт по архитектуре из отчёта Meta).
1 запрос × 32 768 токенов ≈ 16,9 ГБ1 запрос × 131 072 токена ≈ 67,6 ГБ
На сервере 8 × H200 после весов в BF16 под кэш остаётся около 205 ГБ (1 015,2 − 810): это около 12 запросов по 32 768 токенов или три запроса с полным контекстом. На 8 × B300 остаётся около 1 080 ГБ — больше 60 запросов по 32 768 токенов.
Сократить кэш можно двумя способами: хранить его в FP8 (vLLM это поддерживает, кэш занимает вдвое меньше) или ограничить длину контекста под реальные запросы. Второе — самый дешёвый способ поместить модель на меньшее число карт.
Дообучение 70B и 405B
LoRA и QLoRA
При LoRA базовая модель заморожена, а обучаются только небольшие добавочные матрицы, так что память уходит в основном на веса и активации. В QLoRA замороженные веса ещё и сжаты до 4 бит.
- LoRA на 70B в BF16: 140 ГБ весов плюс активации — две H200 или одна B300.
- QLoRA на 70B: около 35 ГБ весов — одна H100 или H200.
- LoRA на 405B в BF16: 810 ГБ весов — сервер на 8 × H200 или 8 × B300.
- QLoRA на 405B: около 203 ГБ — две H200; с длинными последовательностями удобнее четыре.
Полное дообучение
18 байт на параметр без активаций (6 + 8 + 4, наш подсчёт по документации Hugging Face):
70B × 18 байт ≈ 1 260 ГБ405B × 18 байт ≈ 7 290 ГБ
Для 70B это больше памяти сервера на 8 × H200 (1 128 ГБ), поэтому нужен сервер на 8 × B300 или выгрузка состояния оптимизатора в оперативную память. Для 405B даже сервер на 8 × B300 мал. По тому же правилу 90 % нужно не меньше четырёх таких серверов (около 7,6 ТБ рабочей памяти) или восьми серверов на 8 × H200 (около 8,1 ТБ): семь дали бы только 7,1 ТБ. И это ещё до активаций (наш расчёт). Состояние модели делят между всеми картами через ZeRO в DeepSpeed или FSDP в PyTorch.
Какую карту брать
| Карта | Память на GPU | 70B в BF16 | 405B в FP8 | Запуск |
|---|---|---|---|---|
| H100 | 80 ГБ (характеристика) | 4 карты | 8 карт | за минуты |
| A100 40 ГБ | 40 ГБ | 8 карт | не помещается в 8 | за минуты |
| RTX PRO 6000 | 96 ГБ | 2 карты | 8 карт | за минуты |
| H200 | 141 ГБ | 2 карты | 4 карты | до 3 рабочих дней после оплаты |
| B200 | 180 ГБ | 1 карта | 4 карты | до 3 рабочих дней после оплаты |
| B300 | до 288 ГБ у чипа, около 260 ГБ в сервере | 1 карта | 2 карты | до 3 рабочих дней после оплаты |
Правило отбора простое. Если модель 70B нужна в BF16 с длинным контекстом, смотрите на H200 и B300: они дают запас под кэш на одной-двух картах. Если вы готовы работать в FP8 или 4 битах, подходят H100 и RTX PRO 6000. Для запуска моделей 400B+ выбор сводится к серверу на 8 × H200 или 8 × B300. Полное дообучение 70B на 8 × H200 не помещается, для него нужен сервер на 8 × B300. Чем эти карты отличаются по скорости и поколению, разобрано в статье «H100, A100 или H200: что выбрать».
Конфигурации в Ampuna
Серверы с H200 у нас собираются на 1, 2, 4 или 8 карт, B300 — от 1 до 8 GPU; восемь карт в сервере — это SXM на плате HGX. Если модель не помещается и в восемь карт, соберём несколько серверов с быстрой сетью между ними. Флагманы H200, B200 и B300 стартуют до 3 рабочих дней после оплаты, причём платёж за первый месяц вносится вперёд; облачные H100, A100 и RTX PRO 6000 готовы за минуты. Для обучения на месяцы компаниям и ИП предлагаем контракт на 3–12 месяцев по фиксированной цене. Все карты с ценами собраны на странице аренды GPU-серверов.
2 × NVIDIA H200Hopper · 141 ГБ HBM3e · Россия70B в BF16 с запасом под контекстот 1 260 ₽/ч≈ 919 800 ₽/месОткрыть H200 →8 × NVIDIA H200Hopper · 141 ГБ HBM3e · Россия8 × H200: SXM на плате HGXот 5 040 ₽/ч≈ 3 679 200 ₽/месОткрыть H200 →8 × NVIDIA B300Blackwell Ultra · до 288 ГБ HBM3e · Россия405B в BF16 и полное дообучение 70Bот 9 000 000 ₽/месОткрыть B300 →Вопросы и ответы
Сколько GPU нужно для модели 70B?
В BF16 — две H200, одна B200 или B300, четыре H100 или восемь A100 40 ГБ. В FP8 — одна H200. В 4 битах — одна H100 или RTX PRO 6000. Сверху нужен запас под KV-кэш: около 10,7 ГБ на каждого пользователя с запросом в 32 768 токенов.
Хватит ли одной H200 для 70B?
В FP8 — да: после весов остаётся место примерно на пять запросов по 32 768 токенов. В BF16 — нет: веса занимают около 140 ГБ, а у H200 141 ГБ на всё.
Что нужно для модели на 405B?
В BF16 — сервер на 8 × H200 или 8 × B300: веса занимают около 810 ГБ. В FP8 хватает четырёх H200, в 4 битах — двух.
Можно ли обойтись квантизацией?
Для запуска — часто да: FP8 вдвое уменьшает веса, 4 бита — вчетверо. Качество квантизованной модели проверяйте на своих данных. Для полного дообучения квантизация не помогает: нужны 18 байт на параметр, и выход — LoRA или QLoRA.
Сколько стоит такая конфигурация?
Цены «от» — в карточках и на страницах моделей; сборки, которых нет в прайсе, подберём под задачу.


8 × H200