Перейти к содержимому
Флагманские GPU

8 × H200 на платформе HGX: когда обучению нужен сервер на 8 GPU

Как устроен сервер с восемью H200 на платформе HGX: NVLink, NVSwitch, память, сеть и питание. Каким задачам обучения хватает одного такого сервера.

Коротко

HGX H200 — плата NVIDIA, рассчитанная на 4 или 8 GPU H200 в модулях SXM; здесь речь о варианте на восемь. Каждая GPU — до 900 ГБ/⁠с NVLink, и через коммутаторы NVSwitch любая пара может использовать эту скорость полностью; это более чем в 7 раз быстрее PCIe Gen5. Суммарно в сервере 1 128 ГБ видеопамяти. Такой сервер нужен для полного дообучения и обучения моделей, которым тесно на одной-двух картах; для инференса и LoRA обычно хватает одной H200.

Содержание10 разделов

Плата HGX H200 бывает на 4 или 8 GPU, и вариант на восемь — самый крупный блок, в котором все карты H200 связаны NVLink каждая с каждой. Восемь отдельных H200 в разных серверах и восемь H200 на одной плате HGX — это разные инструменты. На плате карты делят быструю сеть NVLink, и фреймворк обучения может распределить модель между ними так, будто это одна большая GPU с памятью больше терабайта.

Готовые конфигурации и цены «от» на 1, 2, 4 и 8 GPU — на странице аренда H200.

Что внутри сервера на HGX H200

HGX — плата NVIDIA, из которой разные производители собирают серверы со своими процессорами, дисками и сетевыми картами (подробнее о терминах — в статье SXM, PCIe, NVL, HGX и DGX). Самый подробный публичный состав — у собственного сервера NVIDIA DGX H200, построенного на той же плате:

Листайте вбок →
КомпонентDGX H200
GPU8 × H200 SXM, 141 ГБ HBM3e каждая
Видеопамять всего1 128 ГБ
Связь между GPU4 коммутатора NVLink / NVSwitch четвёртого поколения, 900 ГБ/⁠с на GPU
Процессоры2 × Intel Xeon Platinum 8480C, по 56 ядер
Оперативная память2 ТБ
Сеть для обучения8 адаптеров ConnectX-7, до 400 Гбит/⁠с InfiniBand или Ethernet на каждый
Питание6 блоков по 3,3 кВт, максимум 10,2 кВт
Таблица 1Состав NVIDIA DGX H200 — эталонного сервера на плате HGX H200
Подберём GPU под задачу

Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.

Оставить заявку

Обратите внимание на сеть: по одному адаптеру на каждую GPU. Это рассчитано на случай, когда серверов несколько и каждой карте нужно своё быстрое соединение с картами в соседних серверах.

Рис. 1NVSwitch связывает каждую из восьми GPU с каждой на полной скорости NVLink. Состав — по NVIDIA DGX H200.

Зачем коммутаторы NVSwitch

NVLink — прямая шина между GPU. Если соединить восемь карт попарно мостами, каждая будет быстро говорить только с соседями. NVSwitch решает это иначе: все восемь карт подключены к коммутаторам, у каждой GPU — до 900 ГБ/⁠с NVLink, и любая пара может использовать эту скорость полностью.

Для сравнения: по шине PCIe Gen5 у тех же H200 — 128 ГБ/⁠с. Карты в обычных PCIe-слотах обмениваются данными через шину PCIe, часто через процессор, и при обучении на восьми GPU это становится узким местом. NVIDIA оценивает NVLink четвёртого поколения как более чем в 7 раз быстрее PCIe Gen5.

900 ГБ/⁠сNVLink на GPU, через NVSwitch — к любой другой [1]
1 128 ГБвидеопамяти на сервер [1]
10,2 кВтмаксимум питания DGX H200 [1]

Как восемь GPU делят обучение

Фреймворки обучения раскладывают работу по картам тремя основными способами. На практике их комбинируют.

Параллелизм по данным

Каждая GPU держит копию модели и обрабатывает свою часть батча, а после шага карты усредняют градиенты. Просто и эффективно, но модель целиком должна помещаться в одну карту. Варианты с шардированием — FSDP в PyTorch и ZeRO в DeepSpeed — делят между картами веса, градиенты и состояние оптимизатора, и тогда в восьми GPU помещается модель, которая не влезла бы в одну. Платить за это приходится постоянным обменом данными, и здесь NVLink окупается.

Параллелизм по тензорам

Каждый слой модели режется на части, и каждая GPU считает свою часть матриц. Карты обмениваются результатами на каждом слое, поэтому этот способ требует самой быстрой связи и почти всегда работает внутри одного сервера с NVLink. Подход описан в работе Megatron-LM.

Конвейерный параллелизм

Модель делится по слоям: первые слои на одних картах, следующие — на других, а батч разбивается на микро-батчи, которые идут по конвейеру. Обмен данными меньше, поэтому этот способ подходит и для связи между серверами.

Рис. 2Параллелизм по тензорам требует самого частого обмена — поэтому ему нужен NVLink внутри сервера.

Сколько памяти даёт 8 × H200 и что в неё помещается

8 × 141 ГБ = 1 128 ГБ. Чтобы понять, много это или мало, нужен расчёт памяти под обучение. Для смешанной точности с оптимизатором Adam модельные состояния — веса, градиенты и состояние оптимизатора — занимают 6 + 8 + 4 = 18 байт на параметр (наш подсчёт по Hugging Face), плюс активации, которые зависят от длины последовательности и батча. Как считать память под инференс и обучение по шагам, разобрано в статье сколько видеопамяти нужно для LLM.

Из этой оценки (наш расчёт):

  • модель на 13B при полном дообучении требует около 234 ГБ на модельные состояния — сервер на восемь H200 справляется с большим запасом под активации;
  • модель на 34B — около 612 ГБ, чуть больше половины памяти сервера, места под активации хватает;
  • модель на 70B — около 1 260 ГБ. Это больше всей памяти восьми H200 ещё до активаций, поэтому полное дообучение 70B на одном сервере возможно только с выгрузкой состояния оптимизатора в оперативную память процессора; иначе нужны несколько серверов.

С дообучением через LoRA картина другая: базовые веса заморожены и не требуют градиентов и оптимизатора. Модель на 70B в BF16 занимает 140 ГБ весов, и для LoRA хватает двух H200 — сервер на восемь здесь нужен только ради скорости.

Когда одного сервера мало

Обучение с нуля моделей на десятки миллиардов параметров и полное дообучение моделей от 70B обычно требуют нескольких серверов. Тогда карты внутри сервера общаются по NVLink, а сервера между собой — по сети InfiniBand или Ethernet через те самые адаптеры ConnectX-7. Межсерверная сеть в разы медленнее NVLink (400 Гбит/⁠с — это 50 ГБ/⁠с на адаптер), поэтому между серверами обычно идёт параллелизм по данным или конвейер, а тензорный — внутри.

Если вы планируете обучение на нескольких серверах, топологию сети нужно обсуждать отдельно: от неё зависит, насколько эффективно масштабируется задача.

HGX H100, HGX B200 и HGX B300: чем отличаются от HGX H200

Плата HGX H100 устроена так же, как HGX H200, только карты на ней по 80 ГБ: в сервере DGX H100 суммарно 640 ГБ видеопамяти при тех же 900 ГБ/⁠с NVLink и том же питании. Переход с H100 на H200 внутри одной платформы — это прибавка памяти почти в 1,8 раза без изменения остальной конструкции.

Платы HGX B200 и HGX B300 относятся к поколению Blackwell. Схема та же — восемь модулей SXM и коммутаторы NVLink, — но связь вдвое быстрее (1,8 ТБ/⁠с на GPU, 14,4 ТБ/⁠с суммарно), памяти в сумме 1,4 ТБ и 2,1 ТБ, а питания нужно больше: около 14,3 кВт у DGX B200 и около 14 кВт у DGX B300. Подробнее о картах — на страницах B200 и B300.

Одна карта, четыре или восемь

Листайте вбок →
ЗадачаЧисло H200Почему
Инференс модели до 70B в FP8 или 4 битах1веса 35–70 ГБ, остальное под контекст
QLoRA на 70B1веса в 4 битах занимают около 35 ГБ
Инференс 70B в BF162140 ГБ весов плюс кэш
LoRA на 70B в BF162–4веса 140 ГБ, больше карт — быстрее
Полное дообучение 13B2–4модельные состояния ≈ 234 ГБ плюс активации
Полное дообучение 34B8≈ 612 ГБ — больше, чем 4 × 141 = 564 ГБ
Полное дообучение 70Bбольше 8≈ 1 260 ГБ только на модельные состояния
Инференс модели на 400B+ в FP84–8от 400 ГБ на веса
Обучение с нуля крупных моделейнесколько серверов по 8нужен и NVLink, и межсерверная сеть
Таблица 2Задача и число H200 (ориентир; наш расчёт по 141 ГБ на карту)

Если ваша задача в верхней половине таблицы, сервер на восемь GPU избыточен. Если в нижней — без NVLink между картами обучение будет идти заметно медленнее, чем могло бы.

Что проверить перед заказом сервера на 8 GPU

Чек-лист сервера на 8 × H200
  1. Форм-фактор SXM. Восемь карт в одной сети NVLink дают только модули SXM на плате HGX. Версия NVL связывает мостами по две или четыре карты.
  2. NVSwitch или мосты. Спросите, все ли восемь GPU видят друг друга на 900 ГБ/⁠с. Проверить можно командой nvidia-smi topo -m после запуска: между всеми парами GPU в матрице должна стоять связь NVLink (обозначение NV с числом линий).
  3. Оперативная память и диск. Выгрузка состояния оптимизатора идёт в оперативную память (в DGX H200 её 2 ТБ), а датасет должен читаться с быстрых NVMe-дисков без простоя GPU.
  4. Сеть, если серверов больше одного. Скорость и тип межсерверной сети обсуждаются до заказа.
  5. Срок запуска и порядок оплаты. Флагманы запускаются до 3 рабочих дней после оплаты, первый месяц — авансом; планируйте старт обучения с этим запасом.

Сервер на 8 × H200 в Ampuna

Сервер на 8 × H200 у нас — SXM на плате HGX, от 5 040,00 ₽/⁠ч (≈ 3 679 200 ₽/⁠мес). Для долгого обучения подходит контракт на 3, 6 или 12 месяцев: он фиксирует цену на весь срок, цену за срок присылаем в ответе на заявку. Порядок как у всех флагманов: аванс за первый месяц и старт до 3 рабочих дней после оплаты.

8 × NVIDIA H200Hopper · 141 ГБ HBM3e · Россия8 × H200: SXM на плате HGXот 5 040 ₽/ч≈ 3 679 200 ₽/месОткрыть H200 →

Вопросы и ответы

Что такое HGX H200?

Плата NVIDIA под 4 или 8 GPU H200 в модулях SXM с коммутаторами NVSwitch. Из варианта на восемь производители собирают серверы на 8 GPU; собственный сервер NVIDIA на этой плате называется DGX H200.

Чем 8 GPU с NVLink лучше восьми отдельных карт?

Скоростью обмена. У каждой H200 — до 900 ГБ/⁠с NVLink, и через NVSwitch любая пара может использовать эту скорость полностью; через PCIe Gen5 — 128 ГБ/⁠с. Для обучения, где карты синхронизируются на каждом шаге или каждом слое, это определяет, сколько времени GPU считают, а сколько ждут.

Хватит ли одного сервера на 8 × H200 для модели на 70B?

Инференс и LoRA — да, там и двух карт достаточно. Для полного дообучения 70B модельные состояния занимают около 1 260 ГБ — больше, чем 1 128 ГБ всего сервера, поэтому нужна выгрузка в оперативную память или второй сервер.

Что такое NVSwitch?

Коммутатор NVLink. Он соединяет все GPU сервера между собой так, что любая пара может обмениваться данными на полной скорости NVLink. В DGX H200 таких коммутаторов четыре.

Нужен ли InfiniBand?

Внутри одного сервера — нет, там работает NVLink. InfiniBand или быстрый Ethernet нужен, когда обучение идёт на нескольких серверах сразу.

Подбор GPU

Подберём сервер на 8 GPU

Опишите модель и метод обучения — скажем, хватит ли одного сервера на 8 × H200 или лучше взять B200 или B300, и пришлём варианты с ценой. Ответим за 15 минут в рабочее время: пн–пт 10:00–19:00 МСК.

ПоделитьсяTelegram
Источники · проверено 14 ноября 2026
  1. NVIDIA DGX H100/H200 User Guide, Introduction — 8 × H200, 1 128 ГБ, 4 NVSwitch, 900 ГБ/⁠с, 2 × Xeon 8480C, 2 ТБ RAM, 8 × ConnectX-7 до 400 Гбит/⁠с, 6 × 3,3 кВт, 10,2 кВт
  2. NVIDIA H200 — 141 ГБ, NVLink 900 ГБ/⁠с, PCIe Gen5 128 ГБ/⁠с, NVL с мостами на 2 или 4 GPU
  3. NVIDIA Hopper Architecture — NVLink четвёртого поколения более чем в 7 раз быстрее PCIe Gen5
  4. Hugging Face Transformers, «GPU memory usage» — 18 байт на параметр при обучении в смешанной точности с Adam, плюс активации
  5. Rajbhandari et al., «ZeRO: Memory Optimizations Toward Training Trillion Parameter Models» — шардирование состояний между картами
  6. PyTorch, Fully Sharded Data Parallel
  7. Shoeybi et al., «Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism» — параллелизм по тензорам
  8. Narayanan et al., «Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM» — сочетание параллелизма по данным, тензорам и конвейеру
  9. NVIDIA, документация `nvidia-smi` (топология `topo -m`)
  10. NVIDIA HGX — HGX B200 и HGX B300: 1,4 ТБ и 2,1 ТБ памяти, NVLink 1,8 ТБ/⁠с на GPU, 14,4 ТБ/⁠с суммарно
  11. NVIDIA DGX B200 — ≈ 14,3 кВт
  12. NVIDIA DGX B300 — ≈ 14 кВт