- Подключитесь по SSH и выполните
nvidia-smi: если команда показывает карту и версию драйвера, драйвер уже стоит. - Поставьте Docker и NVIDIA Container Toolkit, затем проверьте, что контейнер видит GPU.
- Запустите модель: vLLM даёт API в формате OpenAI и рассчитан на много пользователей, Ollama ставится одной командой.
- Не открывайте порт модели в интернет: публикуйте его только на 127.0.0.1 и ходите к нему через SSH-туннель.
Содержание13 разделов
На своём сервере модель отвечает так, как вы её настроили, а промпты и документы не уходят во внешние API. Путь от пустого сервера до работающего API — восемь шагов; если драйвер уже стоит, третий можно пропустить. Инструкция рассчитана на Ubuntu 22.04 или 24.04 и одну или несколько видеокарт NVIDIA; все команды взяты из официальной документации NVIDIA, Docker, vLLM и Ollama, ссылки — в конце статьи.
Сколько памяти нужно вашей модели, удобно прикинуть в калькуляторе памяти. Модели до 8B в BF16 или до 14B в FP8 помещаются на одну RTX 5090, до 14B в BF16 — на A100 40 ГБ или H100.
Что понадобится
- Сервер с GPU и достаточной памятью: веса модели в 16 битах занимают около 2 ГБ на миллиард параметров, плюс запас под контекст. Как считать память для своей модели, показано в статье «Сколько видеопамяти нужно для LLM».
- SSH-ключ. Если ключа нет, создайте его на своём компьютере:
ssh-keygen -t ed25519. Публичную часть (файл~/.ssh/id_ed25519.pub) добавьте к серверу при заказе. - Место на диске под веса: модель на 7B в BF16 — около 15 ГБ, на 70B — около 140 ГБ, плюс образы Docker.
- Название модели на Hugging Face, например
Qwen/Qwen2.5-7B-Instruct. Для закрытых моделей нужен токен Hugging Face и принятая лицензия на странице модели.
Шаг 1. Подключиться по SSH
ssh -i ~/.ssh/id_ed25519 ubuntu@IP_СЕРВЕРАИмя пользователя зависит от образа: чаще всего ubuntu или root. Сразу обновите пакеты:
sudo apt update && sudo apt upgrade -yШаг 2. Проверить, что GPU видна
nvidia-smiЕсли драйвер установлен, команда выведет таблицу: модель карты, объём памяти, версию драйвера и строку CUDA Version. Эта строка показывает старшую версию CUDA, которую поддерживает драйвер, а сам CUDA Toolkit при работе через Docker приходит внутри контейнера. Список карт одной строкой даёт nvidia-smi -L.
Если в ответ command not found или NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver, переходите к шагу 3.
Шаг 3. Драйвер NVIDIA
На Ubuntu Server драйвер для вычислений ставится штатной утилитой:
sudo ubuntu-drivers list --gpgpusudo ubuntu-drivers install --gpgpusudo reboot
Первая команда покажет подходящие версии, вторая поставит рекомендованную. Версию можно указать явно — номер и суффикс -server берутся из вывода первой команды, например sudo ubuntu-drivers install --gpgpu nvidia:580-server. Документация Ubuntu советует поставить и утилиты той же версии: sudo apt install nvidia-utils-580-server. После перезагрузки снова выполните nvidia-smi: таблица с картами означает, что шаг пройден.
Для карт поколения Blackwell — RTX 5090, RTX PRO 6000, B200 и B300 — NVIDIA поддерживает только драйвер с открытыми модулями ядра. В списке ubuntu-drivers list --gpgpu это варианты с суффиксом -server-open; ставьте их, например sudo ubuntu-drivers install --gpgpu nvidia:580-server-open.
Сервер на 8 GPU SXM: Fabric Manager
На серверах с платой HGX карты связаны через коммутаторы NVSwitch, и без службы NVIDIA Fabric Manager CUDA на них не заработает. Пакет ставится той же версии, что и драйвер -server, и запускается до первых задач; на серверах HGX с B200 и B300 ставится ещё пакет nvlsm:
sudo apt install nvidia-fabricmanager-580 libnvidia-nscq-580sudo systemctl enable --now nvidia-fabricmanager
Проверить, что все восемь карт видят друг друга по NVLink, можно командой nvidia-smi topo -m.
Шаг 4. Docker и NVIDIA Container Toolkit
Модель удобнее запускать в контейнере: в образе уже есть CUDA, PyTorch и сам сервер инференса нужной версии, и на систему ничего лишнего не ставится.
Docker Engine из официального репозитория:
sudo apt install -y ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.ascsudo tee /etc/apt/sources.list.d/docker.sources <<EOFTypes: debURIs: https://download.docker.com/linux/ubuntuSuites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")Components: stableArchitectures: $(dpkg --print-architecture)Signed-By: /etc/apt/keyrings/docker.ascEOFsudo apt updatesudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-pluginsudo usermod -aG docker $USER
Последняя команда разрешает запускать docker без sudo. Чтобы она подействовала, выйдите из SSH-сессии и подключитесь заново.
NVIDIA Container Toolkit — он пробрасывает GPU в контейнеры:
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpgcurl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.listsudo apt updatesudo apt install -y nvidia-container-toolkitsudo nvidia-ctk runtime configure --runtime=dockersudo systemctl restart docker
Проверка — тестовый контейнер NVIDIA должен вывести ту же таблицу, что и nvidia-smi на сервере:
sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smiШаг 5. Запустить модель
Дальше два пути. vLLM — сервер инференса для продакшена: держит много одновременных запросов и отдаёт API в формате OpenAI. Ollama проще: одна команда установки, модели в сжатом формате GGUF и удобная работа с консоли.
| vLLM | Ollama | |
|---|---|---|
| Установка | контейнер vllm/vllm-openai | скрипт установки или контейнер ollama/ollama |
| Формат моделей | веса с Hugging Face, в том числе FP8 и AWQ | библиотека Ollama, модели в GGUF |
| API | совместимый с OpenAI, /v1/chat/completions | свой /api/generate и совместимый с OpenAI /v1 |
| Одновременные запросы | PagedAttention и непрерывная склейка запросов в батч | по умолчанию 1 на модель, больше — переменной OLLAMA_NUM_PARALLEL |
| Несколько GPU | --tensor-parallel-size | если модель не помещается в одну карту, раскладывает её по всем |
| Ключ доступа | --api-key | в документации не описан |
| Кому подходит | сервисам и командам | прототипам и личной работе |
Пришлём 2–3 варианта с форм-фактором, числом GPU и ценой. Ответим за 15 минут в рабочее время.
Оставить заявкуВариант 1. vLLM
Сначала создайте ключ доступа к API и сохраните его — он понадобится в каждом запросе:
export VLLM_API_KEY=$(openssl rand -hex 32)echo $VLLM_API_KEY
Затем запустите контейнер с закреплённой версией образа:
docker run -d --name vllm --restart unless-stopped \ --runtime nvidia --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -p 127.0.0.1:8000:8000 \ --ipc=host \ vllm/vllm-openai:v0.33.0 \ --model Qwen/Qwen2.5-7B-Instruct \ --api-key "$VLLM_API_KEY" \ --max-model-len 16384
Главное в этой команде:
-p 127.0.0.1:8000:8000публикует порт только на самом сервере. Без адреса Docker откроет порт на всех интерфейсах.--ipc=hostдаёт контейнеру общую память хоста: PyTorch передаёт через неё данные между процессами, особенно при работе на нескольких картах.vllm/vllm-openai:v0.33.0— закреплённая версия: с тегомlatestпосле обновления образа сервер может запуститься уже с другой версией. Образам vLLM на CUDA 13 нужен драйвер R580 или новее — версию драйвера показываетnvidia-smi.-v ~/.cache/huggingface:…сохраняет скачанные веса на диске сервера, и при перезапуске они не скачиваются заново.- Для закрытых моделей с Hugging Face добавьте
--env "HF_TOKEN=ваш_токен"; Qwen2.5-7B-Instruct открыта, токен ей не нужен. --max-model-lenограничивает контекст. Чем он короче, тем меньше памяти уходит на KV-кэш и тем больше запросов карта держит одновременно.- Для модели на нескольких картах добавьте
--tensor-parallel-size 2(или 4, 8 — по числу GPU). На серверах с SXM карты обмениваются данными по NVLink, на картах PCIe — по шине; разница описана в статье «SXM, PCIe, NVL, HGX и DGX».
Первый запуск скачивает веса и занимает несколько минут. Ход загрузки видно в журнале: docker logs -f vllm. Сервер готов, когда в журнале появится адрес http://0.0.0.0:8000.
Вариант 2. Ollama
curl -fsSL https://ollama.com/install.sh | shollama run qwen2.5:7b
Скрипт ставит Ollama как службу systemd, вторая команда скачивает модель и открывает диалог в консоли. API работает на порту 11 434. В контейнере то же самое выглядит так:
docker run -d --gpus=all -v ollama:/root/.ollama -p 127.0.0.1:11434:11434 --name ollama ollama/ollamadocker exec -it ollama ollama run qwen2.5:7b
Шаг 6. Проверить, что модель отвечает
Для vLLM — список моделей и пробный запрос:
curl -s http://127.0.0.1:8000/v1/models -H "Authorization: Bearer $VLLM_API_KEY" curl -s http://127.0.0.1:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $VLLM_API_KEY" \ -d '{"model": "Qwen/Qwen2.5-7B-Instruct", "messages": [{"role": "user", "content": "Ответь одним словом: столица Франции?"}]}'
Для Ollama:
curl -s http://127.0.0.1:11434/api/generate \ -d '{"model": "qwen2.5:7b", "prompt": "Ответь одним словом: столица Франции?", "stream": false}'
Ответ в JSON с текстом модели означает, что сервер работает. Подключить его к своему приложению можно любым клиентом OpenAI: в настройках достаточно указать адрес http://127.0.0.1:8000/v1 и ключ.
Шаг 7. Закрыть доступ к модели
Открытый порт модели в интернете — это бесплатная нейросеть для всех, кто его найдёт, и счёт за GPU для вас.
Три правила, которых хватает большинству команд:
- Порт — только на 127.0.0.1. Снаружи сервер принимает только SSH.
- Доступ через SSH-туннель. С вашего компьютера:
ssh -N -L 8000:127.0.0.1:8000 ubuntu@IP_СЕРВЕРА— и API доступен у вас наhttp://localhost:8000. - Если нужен доступ из приложения, поставьте перед моделью обратный прокси с HTTPS и проверкой ключа или доступом только с адресов вашего приложения. Ключ
--api-keyв vLLM защищает только пути/v1,/v2,/inferenceи/cohere, и документация vLLM прямо предупреждает, что полагаться на него одного нельзя. Ollama по умолчанию слушает только 127.0.0.1:11 434 — так и оставьте.
Файрвол для SSH:
sudo ufw allow OpenSSHsudo ufw enable
Шаг 8. Автозапуск и память GPU
Контейнер vLLM из шага 5 запущен с --restart unless-stopped и поднимется сам после перезагрузки сервера. Служба Ollama включается скриптом установки; состояние — sudo systemctl status ollama, журнал — journalctl -e -u ollama.
За памятью и загрузкой карт удобно следить так:
nvidia-smi --query-gpu=index,name,memory.used,memory.total,utilization.gpu --format=csv -l 5vLLM сразу занимает почти всю разрешённую ему долю памяти карты под веса и KV-кэш, поэтому высокий memory.used после старта — нормальная картина. Смотрите на utilization.gpu под нагрузкой и на ошибки в журнале.
Выключение сервера и оплата
Списание идёт за каждую секунду работы, у облачных конфигураций выключенный сервер стоит дешевле работающего, а у флагманов H200, B200 и B300 первый месяц — авансом; как из этого складывается счёт, мы разобрали в статье «Сколько стоит аренда сервера».
Частые ошибки
| Что видите | Причина | Что сделать |
|---|---|---|
CUDA out of memory при старте vLLM | веса и KV-кэш не помещаются в карту | уменьшите --max-model-len, возьмите FP8 или 4-битную версию модели, добавьте карту и --tensor-parallel-size |
could not select device driver "" with capabilities: [[gpu]] | Docker не видит NVIDIA Container Toolkit | повторите sudo nvidia-ctk runtime configure --runtime=docker и перезапустите Docker |
NVIDIA-SMI has failed… | драйвер не загружен | перезагрузите сервер после установки драйвера; проверьте ubuntu-drivers list --gpgpu |
401 или 403 при загрузке модели | закрытая модель без токена или без принятой лицензии | примите лицензию на странице модели и передайте HF_TOKEN |
| ошибки общей памяти, падение при нескольких GPU | контейнеру не хватает shared memory | добавьте --ipc=host или --shm-size |
| модель отвечает очень медленно | часть модели ушла в память процессора (Ollama) | возьмите модель меньше или карту с большей памятью; проверьте ollama ps |
Что уже стоит на серверах Ampuna
На наших GPU-серверах — Ubuntu с драйвером NVIDIA, CUDA и PyTorch, так что шаги 2–4 уже сделаны. vLLM, Ollama или ваш Docker-образ поставим при запуске — напишите в заявке, какую модель хотите запустить. Облачные RTX 5090, A100 40 ГБ и H100 запускаются за минуты, флагманы H200, B200 и B300 — до 3 рабочих дней после оплаты. Все карты и цены — на странице GPU-серверов.
Вопросы и ответы
Как проверить, что GPU видна на сервере?
Выполните nvidia-smi. Таблица с моделью карты, памятью и версией драйвера означает, что драйвер работает. Чтобы проверить контейнеры, запустите sudo docker run --rm --runtime=nvidia --gpus all ubuntu nvidia-smi.
Как поставить драйвер NVIDIA на Ubuntu Server?
Командами sudo ubuntu-drivers list --gpgpu и sudo ubuntu-drivers install --gpgpu, затем перезагрузка. CUDA Toolkit отдельно ставить не нужно, если модель работает в контейнере: он уже внутри образа.
Чем vLLM отличается от Ollama?
vLLM — сервер для многих одновременных запросов с API в формате OpenAI и весами с Hugging Face. Ollama проще в установке, работает с моделями в формате GGUF и удобна для прототипов и личной работы.
Как защитить API модели?
Публикуйте порт только на 127.0.0.1 и подключайтесь через SSH-туннель. Для доступа из приложения поставьте перед моделью обратный прокси с HTTPS и проверкой ключа. Помните, что Docker обходит правила ufw для опубликованных портов.
Что делать, если модели не хватает памяти?
Сократите длину контекста (--max-model-len), возьмите версию модели в FP8 или 4 битах или разделите её между несколькими картами через --tensor-parallel-size. Сколько карт нужно крупным моделям, мы посчитали в статье «Какие GPU нужны под модель 70B и 400B+».
Можно ли запустить две модели на одной карте?
Можно, если обе помещаются в память. vLLM по умолчанию занимает почти всю память карты, поэтому каждому экземпляру задайте долю через --gpu-memory-utilization, например 0.45, и разные порты. У Ollama несколько моделей загружаются в одну карту сами, пока хватает памяти.
