Какой GPU-сервер выбрать для обучения ML-моделей?

Арендуйте физический сервер с GPU. Без соседей — все ресурсы сервера только ваши.

Сервер с GPU для обучения нейронных сетей

Выбор GPU для обучения нейронных сетей зависит от типа решаемых задач. Ниже разберём то, какой размер видеопамяти подойдёт и как найти наиболее производительную GPU.

GPU

Тензорные ядра и скорость

Тензорные ядра быстрее CUDA-ядер, потому что им требуется меньше циклов для операций с матрицами. Они быстрые и обычно простаивают большую часть времени, ожидая данные из глобальной памяти. В чипах Ampere (линейка RTX 30) стало меньше тензорных ядер, но возросла их производительность. Это значит, что, сравнивая 2 видеокарты с тензорными ядрами, лучшим критерием их сравнения является пропускная способность памяти. После неё по значимости идут размер разделяемой память (Shared Memory) и кэш L1, чтобы сократить число обращений к внешней памяти и держать данные ближе к графическому процессору.

Менее 11 ГБ видеопамяти

Базовые навыки в глубоком обучении можно освоить, тренируясь на небольших задачах с малыми входными параметрами. Поэтому достаточно 10 Гб и даже 8 Гб видеопамяти. Сюда же относится решение задач Kaggle и прототипирование.

Когда нужно больше 11 ГБ видеопамяти

От 11 ГБ видеопамяти рекомендуется при использовании архитектуры Transformer, обработке изображений высокого качества, распознавании медицинских снимков и компьютерным зрением — всем тем, где много растровой графики.

Основано на экспертном мнении Tim Dettmers
GPU Tesla A10
Tesla A10 (24 Гб)

Процессор — Ampere GA102-890-A1
Ядер CUDA — 9 216
Тензорных ядер — 288
Блоков операций растеризации (ROP) — 96
Блоков текстурирования (TMU) — 288
Память — 24 Гб GDDR6
L1 кэш — 128 KB (per SM)
Пропускная способность — 600 Гб⁠/⁠с
Цена аренды — 32 381 ₽ в месяц

( Гб)

Процессор —
Ядер CUDA —
Тензорных ядер — Нет
Блоков операций растеризации (ROP) —
Блоков текстурирования (TMU) —
Память — Гб
L1 кэш —
Пропускная способность — Гб⁠/⁠с
Цена аренды —  ₽ в месяц

GPU RTX 3090
RTX 3090 (24 Гб)

Процессор — Ampere GA102
Ядер CUDA — 10 496
Тензорных ядер — 328
Блоков операций растеризации (ROP) — 112
Блоков текстурирования (TMU) — 328
Память — 24 Гб GDDR6X
L1 кэш — 128 KB (per SM)
Пропускная способность — 936 Гб⁠/⁠с
Цена аренды — 13 095 ₽ в месяц

CPU

CPU неэффективен для обучения нейронных сетей, в которых большой размер входных данных и/или число слоев. Однако, для непосредственного обучения требуется подать в GPU предобработанных данные, для подготовки которых нужно процессорное время.

В зависимости от конкретной реализации вашей программы, вам может лучше подойти либо многопоточный CPU, либо CPU с более высокой частотой.

В любом случае, влияние CPU на производительность всей системы исчисляется единицами процентов. То есть, при использовании самого обычного современного CPU он не станет «бутылочным горлышком»

RAM

Минимальный размер RAM, который мы устанавливаем на текущий момент — 32 Гб. Когда требуется его увеличить, компьютер выключается минут на 15, поэтому нет ничего страшного в том, чтобы начать с 32 Гб.

SSD

Мы устанавливаем на все сервера SSD с поддержкой NVMe. Размер SSD диктуется только вашим датасетом.

Подобрать сервер с GPU

Какова задача для сервера с GPU?

Конфигурация сервера сильно зависит от типа решаемых задач. Поэтому ниже мы приводим разбор нескольких типичных случаев выбора конфигурации и причин принятия тех или иных решений:

Дизайн, 2D графика

Рекомендации по подбору сервера

Работа с растровыми изображениями, в Photoshop, с проектами средних и крупных размеров, либо с большим кол-вом небольших проектов.

Читать рекомендации

3D моделирование

Рекомендации по подбору сервера

Работа с 3D графикой, специализированными программами, движками для рендеринга, умеющими использовать GPU, высокие требования к качеству самих рендеров.

Читать рекомендации

Восстановление паролей

Рекомендации по подбору сервера

Брутфорс, подбор по словарю и прочие техники. Суть — генерация хэшей.

Читать рекомендации

С нами легко стартовать — дадим загрузить данные и установим нужные пакеты до начала аренды

Можем предоставить ftp для загрузки данных к нам, чтобы на момент начала аренды GPU-сервера они были уже на нём.

Если скинете список необходимых пакетов/драйверов, мы их заранее установим.

на email  Добрый день. Есть вопрос. 

При единовременной выплате — выгодно

15%

при оплате от 1 года

10%

при оплате от 6 месяцев

5%

при оплате от 3 месяцев

Что входит в стоимость

  • бесплатный трафик на скорости до 200 Мб/сек,
  • 1 общий публичный (белый) IPv4-адрес,
  • удаленный доступ к серверу по SSH или RDP,
  • удаленное управление кнопкой питания сервера,
  • установка ОС,
  • гарантия замены комплектующих вышедших из строя,
  • бесплатная техническая поддержка.

FAQ

Прежде всего, в вашем распоряжении все ресурсы сервера, который вы арендовали:

  • Ядра CPU процессора будут доступны на 100% процессорного времени
  • Выбранный графический ускоритель будет зарезервирован только за вашим сервером
  • Вы получите высокую производительность при работе с системой хранения
  • Вы сможете настроить любые драйвера и ПО

В данный момент мы предоставляем GPU-серверы с образами на базе Windows Server 2019 и Ubuntu 20.04. Готовы установить нужную вам ОС по запросу. Пишите в Telegram 

Да, можно. Во-первых, мы не видим и не смотрим, какие задачи выполняются на сервере. Во-вторых, мы консультируем наших клиентов в том числе по вопросу подбора наиболее эффективного железа под конкретную задачу и даже программу, опираясь на отзывы других клиентов и собственные или публично доступные бенчмарки. Часть этого опыта описана в статье сервер c GPU для брутфорса.

Условия для юридических и физических лиц у нас одинаковые. Мы работаем по предоплате.

В личном кабинете доступна возможность оплаты кредитной картой и актуальные реквизиты для безналичного расчёта.

GPU-серверы можно арендовать на разный срок. При оплате на больший срок действуют скидки.

Мы применяем УСН, поэтому цены без НДС. Если ваша организация применяет режим налогообложения, на котором предусмотрен НДС, напишите в поддержку, в зависимости от планируемых объёмов и сроков аренды, попробуем предусмотреть индивидуальную скидку.

Да. Обмен документами возможен через ЭДО, наш провайдер НТЦ СТЭК (СТЭК-ТРАСТ), по электронной почте или курьерской службой.

NVIDIA кое-что запрещает, это так. Конкретно: использовать драйвера NVIDIA для GPU серии GeForce в дата-центрах (RTX 3090, например).

Этот запрет записан в лицензионном соглашении NVIDIA к их драйверам и звучит как «The SOFTWARE is not licensed for datacenter deployment, except that blockchain processing in a datacenter is permitted.».

Наш дата-центр официально разрешает использование блокчейн технологий. Поэтому мы предлагаем своим клиентам GPU серии GeForce и предустанавливаем драйвера от NVIDIA перед сдачей сервера в аренду.

В некоторых случаях мы расширяем линейку видеокарт и можем предложить индивидуальные условия. Пишите в Telegram 

Для серверов на базе Windows, мы предлагаем доступ по RDP. Для Linux-серверов предлагаем доступ по SSH. Далее вы можете настроить любой удобный способ подключения.

К арендуемому серверу может быть прикреплён 1 белый IP адрес (статический, внешний) бесплатно. Поэтому вы можете прокидывать порты наружу самостоятельно, но не забывайте об ограничениях. Если не получается, проверьте ваш firewall.

Если вам нужны дополнительные IP адреса, напишите в поддержку в Telegram  . IP мы не продаём, но помочь скорее всего сможем.

Мы даём гарантию замены вышедших из строя комплектующих на весь срок аренды.

Мы предоставляем такую услугу под брендом CheapDC.ru.

Если возникли вопросы, обращайтесь

на email  в Telegram