GPU-сервер для локальной нейросети: CPU, GPU, RAM и NVMe
Локальная нейросеть — это языковая модель, которая работает на собственном сервере компании, а не через облачный API. Такой подход выбирают, когда важно, чтобы документы, переписка и клиентские данные не покидали инфраструктуру, а расходы не зависели от количества запросов к внешнему сервису.
Но GPU-сервер для нейросети подбирается иначе, чем сервер для 1С или виртуализации. Главный ограничитель здесь — не процессор и не диски, а объём видеопамяти. Ошибка в расчёте VRAM приводит к тому, что модель либо не запускается, либо работает в разы медленнее ожидаемого.
Разберём, как подобрать GPU-сервер для локальной нейросети: сколько видеопамяти нужно под модели разного размера, какие видеокарты рассматривать, какой нужен процессор, сколько оперативной памяти и NVMe, и какие конфигурации подходят для пилота, отдела и всей компании.
Главный принцип
Конфигурацию сервера для нейросети считают от модели и нагрузки: какую модель вы запускаете, с какой точностью, сколько пользователей работают одновременно и какой длины контекст нужен. Уже от этого зависят GPU, объём видеопамяти, RAM, накопители и питание.
Зачем бизнесу локальная нейросеть
Облачные сервисы удобны для экспериментов, но при регулярной работе с внутренними данными у собственного сервера появляются весомые преимущества.
- Конфиденциальность. Документы, договоры, переписка и персональные данные обрабатываются внутри компании и не передаются внешнему провайдеру.
- Соответствие требованиям. Проще выполнять требования 152-ФЗ и внутренние политики информационной безопасности.
- Предсказуемые расходы. Стоимость не растёт с количеством запросов и токенов.
- Независимость от внешних сервисов. Работа не зависит от доступности зарубежных API, блокировок и смены условий.
- Работа с внутренними базами знаний. Нейросеть можно подключить к документации, регламентам и базе 1С через RAG — поиск с генерацией ответа.
- Гибкость. Можно выбирать и менять открытые модели, дообучать их под свои задачи и встраивать в корпоративные системы.
Инференс, дообучение, обучение: от задачи зависит всё
Первое, что нужно определить, — что именно сервер будет делать с моделью. Требования к оборудованию для разных сценариев отличаются на порядки.
| Сценарий | Что происходит | Требования к железу |
|---|---|---|
| Инференс | Готовая модель отвечает на запросы пользователей | Основной сценарий для бизнеса. VRAM под веса модели и контекст |
| RAG | Модель ищет ответы во внутренних документах компании | Как для инференса плюс место на NVMe под векторную базу и документы |
| Дообучение (LoRA, QLoRA) | Готовая модель адаптируется под специфику компании | Больше VRAM, чем для инференса той же модели, быстрые накопители под датасеты |
| Полное обучение | Модель обучается с нуля или полностью переобучается | Кластеры из многих GPU уровня дата-центра. Для большинства компаний не требуется |
В большинстве бизнес-задач — корпоративный ассистент, поиск по документам, обработка обращений, анализ текстов — нужен именно инференс, иногда с RAG и лёгким дообучением. Дальше в статье расчёты приведены для этих сценариев.
GPU: главный компонент сервера для нейросети
Языковая модель во время работы целиком или почти целиком находится в видеопамяти GPU. Поэтому первый вопрос — не «какая видеокарта быстрее», а «поместится ли модель в VRAM вместе с контекстом».
Сколько видеопамяти нужно для модели
Объём VRAM под веса модели зависит от числа параметров и точности, в которой модель запускается. Квантизация — сжатие весов до 8 или 4 бит — позволяет запускать крупные модели на меньшем объёме памяти ценой небольшой потери качества.
Видеопамять ≈ параметры модели × байт на параметр + контекст + служебный запас
FP16 — около 2 байт на параметр, 8 бит — около 1 байта, 4 бит — около 0,5–0,6 байта.
| Размер модели | FP16 | 8 бит | 4 бит |
|---|---|---|---|
| 7–8 млрд параметров | ≈ 16 ГБ | ≈ 8–9 ГБ | ≈ 5 ГБ |
| 13–14 млрд | ≈ 28 ГБ | ≈ 14–15 ГБ | ≈ 8–9 ГБ |
| 30–34 млрд | ≈ 64–68 ГБ | ≈ 32–35 ГБ | ≈ 18–20 ГБ |
| 70 млрд | ≈ 140 ГБ | ≈ 70–75 ГБ | ≈ 38–42 ГБ |
Ориентировочный объём только под веса модели. Фактическая потребность зависит от формата квантизации, движка инференса, длины контекста и числа одновременных запросов.
Не забывайте про контекст
Кроме весов модели, видеопамять занимает кэш контекста (KV-кэш). Он растёт с длиной контекста и количеством одновременных пользователей. Модель, которая «впритык» помещается в VRAM для одного запроса, может не справиться с десятью параллельными запросами или с анализом длинного документа. Закладывайте запас 20–50% сверх объёма весов.
Какие видеокарты рассматривать
GPU для локальных нейросетей условно делятся на три класса. Они отличаются объёмом памяти, конструкцией охлаждения, энергопотреблением и пригодностью для круглосуточной работы в серверной стойке.
| Класс | Примеры и VRAM | Особенности |
|---|---|---|
| Потребительские | GeForce RTX 4090 — 24 ГБ, RTX 5090 — 32 ГБ | Высокая производительность за свою цену, но крупные корпуса, осевое охлаждение и ограничения для установки в стоечные серверы |
| Профессиональные | RTX A6000 — 48 ГБ, RTX 6000 Ada — 48 ГБ | Больше памяти, турбинное охлаждение, двухслотовая конструкция, удобнее ставить по несколько штук |
| Дата-центровые | L40S — 48 ГБ, A100 — 40/80 ГБ, H100 — 80 ГБ | Пассивное охлаждение потоком воздуха сервера, рассчитаны на работу 24/7, требуют сертифицированной платформы |
Игровая видеокарта в сервере — проверяйте заранее
Потребительские RTX часто занимают три слота, имеют высоту больше стандартной и выдувают горячий воздух внутрь корпуса. В плотном стоечном сервере это приводит к перегреву и снижению частот. Кроме того, лицензионное соглашение драйверов GeForce ограничивает их использование в дата-центрах. Перед покупкой проверьте физическую совместимость, охлаждение и условия лицензии.
Одна мощная видеокарта или несколько
Если модель не помещается в память одной видеокарты, её можно распределить между несколькими GPU. Современные движки инференса — vLLM, llama.cpp, TensorRT-LLM — поддерживают такой режим. Например, модель 70 млрд параметров в 4-битной квантизации можно запустить на двух картах по 48 ГБ.
- Одна карта с большим объёмом памяти проще в настройке и не теряет производительность на обмене данными между GPU.
- Несколько карт позволяют набрать нужный объём VRAM и параллельно обслуживать больше пользователей.
- Скорость обмена между GPU зависит от линий PCIe и наличия NVLink. Чем больше карт работают над одной моделью, тем это важнее.
Процессор: важны не ядра, а линии PCIe
В сервере для нейросети основную вычислительную работу выполняют GPU. Процессор отвечает за подготовку данных, работу движка инференса, обработку запросов, векторный поиск при RAG и обслуживание остальных сервисов.
Главное требование к CPU — достаточное количество линий PCIe, чтобы каждая видеокарта работала на полной скорости. Например, процессоры Intel Xeon Scalable 3-го поколения дают 64 линии PCIe 4.0 на сокет, а AMD EPYC 7003 — 128 линий PCIe 4.0 на сокет.
| Количество GPU | Ориентир по CPU | Что учитывать |
|---|---|---|
| 1–2 GPU | Один процессор, 16–24 ядра | Линий PCIe обычно хватает с запасом |
| 4 GPU | Два процессора или один с большим числом линий | Каждой карте нужен слот x16 и место под охлаждение |
| 8 GPU | Специализированная GPU-платформа с двумя CPU | Используются PCIe-коммутаторы или NVLink, корпуса 4U и выше |
Нужен ли второй процессор в обычном сервере, подробно разбирали в статье «Двухпроцессорный сервер: когда он нужен и когда это переплата». Для GPU-сервера второй CPU чаще оправдан именно количеством линий PCIe и слотов под видеокарты.
Оперативная память: не меньше суммарной видеопамяти
Перед загрузкой в видеопамять модель проходит через оперативную память сервера. Кроме того, RAM нужна движку инференса, векторной базе, кэшу документов и операционной системе.
- Базовое правило: объём RAM не меньше суммарной видеопамяти всех GPU, а лучше в 1,5–2 раза больше.
- При RAG дополнительная память нужна под векторную базу и индексы документов.
- При частичной выгрузке модели на CPU часть слоёв размещается в RAM. Это позволяет запустить модель, которая не помещается в VRAM, но скорость ответа заметно снижается.
- ECC-память обязательна для сервера, работающего круглосуточно.
Например, для сервера с двумя видеокартами по 48 ГБ разумный объём оперативной памяти — 192–256 ГБ. Подробнее о выборе объёма — в статье «Сколько оперативной памяти нужно серверу».
NVMe: где хранить модели и данные
Файлы моделей занимают десятки гигабайт, а при работе с несколькими моделями и версиями — сотни. От скорости накопителей зависит, как быстро модель загружается в память после перезапуска сервиса и как быстро обрабатываются датасеты при дообучении.
| Назначение | Накопители | Ориентир |
|---|---|---|
| Система | 2 × SSD в RAID 1 | 480–960 ГБ |
| Модели | NVMe | От 1,92 ТБ, с запасом под несколько моделей и версий |
| Документы и векторная база для RAG | NVMe | Зависит от объёма базы знаний |
| Датасеты для дообучения | NVMe или быстрые SSD | От 3,84 ТБ при регулярном дообучении |
Для хранения архивов моделей и резервных копий можно использовать HDD или отдельное хранилище — об их выборе и расчёте объёма читайте в статье «Сервер для файлового хранилища: HDD, SSD, RAID и расчёт объёма».
Питание и охлаждение GPU-сервера
Видеокарты — самые энергоёмкие компоненты сервера. Например, RTX 4090 потребляет до 450 Вт, L40S — до 350 Вт, H100 в исполнении PCIe — до 350 Вт. Сервер с четырьмя GPU под нагрузкой может потреблять 2–3 кВт.
- Блоки питания должны покрывать пиковую нагрузку с запасом и поддерживать резервирование.
- Электросеть и ИБП в серверной должны выдерживать такую мощность.
- Охлаждение помещения рассчитывается с учётом того, что практически вся потребляемая энергия уходит в тепло.
- Воздушный поток в корпусе должен соответствовать типу видеокарт: пассивным дата-центровым GPU нужен мощный продув через корпус сервера.
GPU-сервер не для офиса
Под нагрузкой GPU-сервер шумит и выделяет много тепла. Размещать его рядом с рабочими местами нельзя — нужна серверная с кондиционированием или стойка в дата-центре.
Форм-фактор: 2U или 4U
В стоечные серверы 2U обычно можно установить одну-три двухслотовые видеокарты — точное количество зависит от платформы и райзеров. Для четырёх и более GPU используют специализированные платформы высотой 4U и выше с усиленным охлаждением и питанием.
Подробнее о различиях форм-факторов — в статье «1U или 2U сервер: сравнение и что выбрать для бизнеса». Общий обзор GPU-серверов и их назначения — в материале «GPU-серверы: что это такое и зачем они нужны».
Примеры конфигураций GPU-сервера для нейросети
Ниже — ориентировочные конфигурации для инференса и RAG. Они помогают оценить масштаб задачи, но финальную конфигурацию нужно подбирать под конкретную модель и нагрузку.
| Уровень | Модели | GPU | CPU и RAM | Накопители |
|---|---|---|---|---|
| Пилот | 7–14 млрд параметров, несколько пользователей | 1 × 24–48 ГБ | 1 CPU, 16–24 ядра, 64–128 ГБ | 2 × SSD под систему, 1 × NVMe 1,92 ТБ |
| Отдел | До 32–70 млрд в 4 битах, RAG, 10–30 пользователей | 2 × 48 ГБ | 1–2 CPU, 24–32 ядра, 192–256 ГБ | 2 × SSD под систему, 2 × NVMe 3,84 ТБ |
| Компания | 70 млрд и выше в 8 битах, десятки пользователей, дообучение | 4–8 × 48–80 ГБ | 2 CPU, 32+ ядра на сокет, 512 ГБ – 1 ТБ | NVMe-массив от 7,68 ТБ |
Конфигурации приведены как ориентиры для оценки бюджета. Реальная потребность зависит от модели, точности, длины контекста, числа одновременных запросов и используемого программного обеспечения.
Программное обеспечение для локальной нейросети
Для запуска моделей обычно используют Linux, драйверы и CUDA от NVIDIA, а также один из движков инференса. Выбор ПО влияет на эффективность использования видеопамяти и количество пользователей, которых сервер обслужит одновременно.
- Ollama и llama.cpp. Простой запуск квантизованных моделей, подходят для пилота и небольшой нагрузки.
- vLLM. Эффективно обслуживает много параллельных запросов, поддерживает распределение модели между несколькими GPU.
- TensorRT-LLM. Максимальная оптимизация под видеокарты NVIDIA, но более сложная настройка.
- Векторные базы данных. Нужны для RAG: хранят и ищут фрагменты документов, на основе которых модель формирует ответ.
Модель выбирают под задачу и язык. Среди открытых моделей, которые запускают локально, — семейства Llama, Qwen, Mistral и DeepSeek. Перед внедрением стоит протестировать несколько вариантов на собственных данных и проверить условия их лицензий.
Частые ошибки при выборе GPU-сервера для нейросети
- Считать только веса модели. Контекст и параллельные запросы требуют дополнительной видеопамяти.
- Выбирать GPU по производительности, а не по VRAM. Быстрая карта бесполезна, если модель в неё не помещается.
- Ставить игровые видеокарты в стоечный сервер без проверки. Возможны проблемы с размерами, охлаждением и лицензией драйверов.
- Экономить на оперативной памяти. Недостаток RAM замедляет загрузку моделей и работу RAG.
- Не учитывать питание и охлаждение. Серверная должна выдерживать нагрузку в несколько киловатт.
- Не оставлять запас на рост. Модели становятся больше, а число пользователей растёт.
- Покупать сервер под обучение, когда нужен инференс. Это многократная переплата за ресурсы, которые не будут использоваться.
Чек-лист перед покупкой GPU-сервера
| Вопрос | На что влияет |
|---|---|
| Какую модель и какого размера планируется запускать? | Объём VRAM и количество GPU |
| В какой точности: FP16, 8 или 4 бит? | Объём VRAM и качество ответов |
| Сколько пользователей будут работать одновременно? | Запас VRAM под контекст и выбор движка инференса |
| Нужна ли работа с длинными документами? | Размер контекста и KV-кэша |
| Планируется ли RAG по базе знаний? | RAM и объём NVMe |
| Нужно ли дообучение? | Дополнительная VRAM и накопители под датасеты |
| Где будет стоять сервер? | Питание, охлаждение, уровень шума |
FAQ: частые вопросы о серверах для нейросетей
Можно ли запустить нейросеть без видеокарты?
Небольшие квантизованные модели можно запускать на процессоре, но скорость ответа будет значительно ниже. Для комфортной работы нескольких сотрудников и для моделей среднего и крупного размера нужен GPU.
Сколько видеопамяти нужно для модели на 70 млрд параметров?
В 4-битной квантизации веса модели занимают около 38–42 ГБ, в 8-битной — около 70–75 ГБ, в FP16 — около 140 ГБ. К этому нужно добавить запас под контекст и параллельные запросы. На практике для 4-битной версии часто используют две видеокарты по 48 ГБ.
