Если вы работаете с генеративным ИИ, то наверняка знаете: LLM давно перестали быть просто хайпом. Сегодня это инструмент для решения реальных бизнес-задач — от чат-ботов поддержки до мультимодальных моделей, генерирующих текст, изображения и видео.

Обучение и инференс остаются главной причиной роста спроса на GPU. Но не всегда нужен топовый ускоритель вроде H100 или H200. Как и не стоит ездить за хлебом на Ferrari. Важно подобрать GPU под конкретную задачу — будь то обучение небольшого бота, обработка 8K-видео или создание корпоративной базы знаний.

Поэтому в Т1 Облаке мы не ограничиваемся флагманскими видеокартами, а предлагаем разные модели — как для инференса, так и для гибридных сценариев. Рассказываем о серверах с GPU H200 и L40S, показываем их изнутри и объясняем, где и какие ускорители работают лучше всего.

Сравнение H200 с предшественниками

H200 — это улучшенная версия H100 на архитектуре NVIDIA Hopper. Обе модели ориентированы на генеративный ИИ и высокопроизводительные вычисления (HPC), включая обучение и инференс LLM.

Но H200 превосходит H100 по ключевым параметрам:

• Объём видеопамяти: 141 ГБ — на 76% больше, чем у H100;
• Пропускная способность памяти: 4,8 ТБ/с — на 43% выше, чем у H100.

Эти характеристики критически важны для эффективного обучения и инференса крупных моделей. Больше памяти — больше данных в одном чанке. Выше пропускная способность — быстрее обработка.

L40S: универсальный ускоритель

NVIDIA L40S — более универсальное решение. Подходит для обучения и инференса небольших и средних ИИ-моделей, а также для 3D-рендеринга, графики и обработки видео.

Он уступает H100 и H200 в производительности, но превосходит потребительские флагманы — например, GeForce RTX 4090. Обе карты построены на архитектуре Ada Lovelace, но L40S выигрывает по ряду параметров:

• Объём видеопамяти: 48 ГБ GDDR6 (против 24 ГБ у RTX 4090);
• Пропускная способность памяти: 1,008 ТБ/с;
• Количество ядер CUDA: 18 176 — на 11% больше;
• Форм-фактор: PCIe 4.0 x16.

Это делает L40S идеальным выбором для задач, где важна не только производительность, но и стабильность, долговечность и поддержка в промышленной среде.

Сервер с H200: мощь и энергопотребление

Сервер с восемью H200 — это монстр. Один такой блок весит около 107 кг. Его энергопотребление — 5,5–6,5 кВт. Из-за этого в стойку на 7 кВт помещается только один такой сервер.

Спецификация сервера с H200:

• два процессора Intel Xeon Platinum 8462Y+ 2,8 ГГц;
• 2 ТБ оперативной памяти DDR5 4800 МГц (RDIMM);
• восемь NVIDIA H200 по 141 ГБ памяти каждая;
• интерфейс видеокарт — SMX;
• три сетевые карты Mellanox ConnectX-6 Lx 10/25GbE SFP28 2-Port;
• восемь сетевых карт NVIDIA ConnectX-7 Single Port NDR для InfiniBand.

Сервер с L40S: лёгкий и эффективный

Сервер с восемью L40S легче — всего 39 кг. Потребляет около 3 кВт. В стойку на 10 кВт помещаются три таких сервера.

Спецификация сервера с L40S:

• два процессора AMD EPYC 9374F 32C 3,85 ГГц;
• 1,5 ТБ оперативной памяти DDR5 4800 МГц;
• восемь NVIDIA L40S по 48 ГБ памяти;
• интерфейс видеокарт — PCIe Gen4.

Сеть: InfiniBand и GPUDirect RDMA

Чтобы объединить GPU в единую вычислительную среду, мы используем InfiniBand. Эта технология обеспечивает пропускную способность до 400 ГБ/с между виртуальными машинами и минимальные задержки — критично для обучения LLM.

Также задействована технология GPUDirect RDMA: GPU обмениваются данными напрямую через сеть, минуя CPU и системную память. Это снижает задержки и разгружает процессор, повышая общую эффективность.

Процессоры: не только GPU важны

Производительность зависит не только от видеокарт. В серверах с H200 используются два Intel Xeon Platinum 8462Y+ с 2 ТБ ОЗУ. В серверах с L40S — два AMD EPYC 9374F и 1,5 ТБ ОЗУ. Эти процессоры ускоряют операции, характерные для задач глубокого обучения.

Примеры использования

• Сайбокс: использует наши ресурсы для разработки и обучения LLM;
• Альфа-Банк: тестирует генеративный ИИ на серверах с H200, внедряет ИИ-помощников для клиентов и сотрудников;
• Крупная сеть детских товаров: обучает ML-модели для персонализированных промокодов и программ лояльности.

Видеокарты NVIDIA H200, L40S и другие модели доступны в облаке по модели GPU as a Service. Вы можете сразу начать обучать модели, тестировать гипотезы или запускать 3D-визуализации. Оплачивается только фактическое время использования.

Хотите узнать больше о возможностях H200, L40S или протестировать ускорители? Готовы обсудить — пишите.

Привет, Хабр. На связи Т1 Облако. Если вы интересуетесь генеративным ИИ, то наверняка знаете, что LLM давно превратились из хайповой игрушки в рабочий инструмент для множества бизнес‑задач: от создания небольших чат‑ботов для клиентской поддержки до крупных мультимодальных моделей для генерации текстов, изображений и видео.

И хотя обучение и инференс моделей остаются основной причиной роста спроса на GPU, для участия в этой «вечеринке» не всегда нужен суперкар уровня H100 или H200. Речь о том, чтобы оптимально подобрать GPU под конкретный сценарий, будь то обучение скромного чат‑бота на внутренних руководствах, проектирование или обработка терабайтов видео в 8K или создание корпоративной базы знаний для бигтеха. Под каждый сценарий — свой тип ускорителя, чтобы не ехать за хлебом на Феррари. Именно поэтому мы не стали ставить во все серверы исключительно флагманские видеокарты, а расширили линейку GPU различными моделями как для инференса, так и для гибридных сценариев.

Поделимся техническим обзором серверов сграфическими ускорителямиH200 и L40S, и их фотографиями прямо из ЦОДа. Расскажем не только о тензорных ядрах, Infiniband и видеопамяти, но и о том, как эти технологии помогают нашим клиентам развиваться.

Сравнение H200 с младшими братьями

H200, по сути, логическое продолжение модели H100, только усовершенствованное в некоторых аспектах. Обе модели построены на архитектуре NVIDIA Hopper и предназначены для генеративного ИИ и высокопроизводительных вычислений (HPC), включая обучение и инференс LLM.

Однако H200 превосходит предшественников по многим параметрам, начиная с объёма видеопамяти и пропускной способности и заканчивая ростом производительности в различных задачах. Подробные спецификации H200 вы найдётена сайте Nvidia, а ниже кратко сравним основные характеристики H200 и других графических ускорителей марки Nvidia, которые представлены в Т1 Облако:

Объём видеопамяти

141 ГБ (+76% к показателям H100)

Пропускная способность памяти

2,039 ТБ/с

4,8 ТБ/с (+43% к показателям H100)

Тип памяти

Количество ядер CUDA

Количество тензорных ядер

Если резюмировать, то основная особенность H200 — значительный рост пропускной способности и объёма памяти. Эти показатели критически важны для задач обучения и инференса.

Об L40S замолвите слово

Nvidia L40S отличается от других графических ускорителей своей универсальностью. Эта модель подходит как для обучения и инференса небольших и средних ИИ‑моделей, так и для трёхмерного рендеринга, графических задач и обработки видео. Она уступает в мощности таким колоссам, как H100 и H200, но зато находится на одном уровне с топовыми потребительскими видеокартами и даже превосходит их по ряду характеристик.

Ниже небольшое сравнение профессионального решения L40S и топовой десктопной видеокартыGeForce RTX 4090: обе построены на архитектуре Ada Lovelace:

GeForce RTX 4090

Объем видеопамяти

48 ГБ GDDR6

24 ГБ GDDR6

Пропускная способность памяти

1,008 ГБ/с

Тип памяти

Количество ядер CUDA

18 176 (+11% к производительности)

Количество тензорных ядер

Форм‑фактор

PCIe 4.0 x16

PCIe 4.0 x16

Рассмотрим серверы поближе

К нам приехали вот такие красавчики: в каждом установлено по восемь NVIDIA H200, как на фото. Один такой крепыш весит около 107 кг:

Расчётное энергопотребление этого сервера — в районе 5,5–6,5 кВт. Такая прожорливость стала причиной, что в стойке на 7 кВт «живёт» только один сервер с H200:

Спецификация сервера с H200:

• два процессора Intel Xeon Platinum 8462Y+ 2,8 ГГц;
• 2 ТБ оперативной памяти DDR5 4800 МГц с поддержкой RDIMM;
• восемь Nvidia H200, каждая оснащена 141 ГБ памяти;
• интерфейс видеокарт — SMX;
• три сетевые карты Mellanox ConnectX-6 Lx 10/25GbE SFP28 2-Port;
• восемь сетевых карт Nvidia ConnectX-7 Single Port NDR для InfiniBand.

Фотообзор L40S

Сервер с L40S тоже рассчитан на восемь видеокарт. Инженерам ЦОДа с ним полегче, так как в нём всего 39 кг.

Потребляет наш герой около 3 кВт электроэнергии, и поэтому в одной стойке на 10 кВт дружно живут три сервера.

Спецификация сервера с L40S:

• два процессора AMD EPYC 9374F 32C 3,85 ГГц;
• 1,5 Тб оперативной памяти DDR5 4800 МГц;
• восемь Nvidia L40S, каждая оснащена 48 ГБ памяти;
• интерфейс видеокарты — PCIe Gen4.

«Скоростное шоссе» для передачи данных

Чтобы превращать отдельные графические ускорители в высокопроизводительные вычислительные среды, мы используем высокоскоростную сетевую технологию Infiniband. Она помогает объединить серверы с GPU H200 в одну скоростную сеть с пропускной способностью до 400 ГБ/с между виртуальными машинами. При этом практически отсутствует задержка в передаче данных. Это важно для эффективного обучения огромных LLM и других задач, когда даже миллисекунда задержки в сети может значительно повлиять на всю скорость обучения модели.

Кроме того, мы используем технологию GPUDirect RDMA, которая позволяет GPU напрямую обмениваться данными через сеть InfiniBand, минуя процессор и системную память. Таким образом, не только снижаются задержки, но и освобождается процессор для других задач, повышая общую эффективность системы.

Процессор тоже на уровне

Как мы знаем, производительность вычислений зависит не только от параметров видеокарты, но и от характеристики центрального процессора. Архитектура каждого GPU‑сервера с H200 основана на двух мощных серверных процессорах пятого поколения Intel Xeon Platinum 8462Y+ с 2,8 ГГц и 2 ТБ оперативной памяти. Они помогают ускорять операции, часто встречающиеся в моделях глубокого обучения.

В каждом сервере с L40S стоят по два центральных процессора AMD EPYC 9374F 32C с 3,85 ГГц и 1,5 ТБ оперативной памяти.

Примеры использования

• Команда экспертов и технических специалистовСайбокс, которые занимаются развитие LLM, использует наши ресурсы для обучения своих моделей. Подробнее об этом мы рассказывали вэтой статье.
• Один из наших клиентов,Альфа‑Банк, использует серверы с H200, чтобы тестировать и развивать технологии на основе генеративного искусственного интеллекта. Компания широко применяет ИИ‑помощников, чтобы экономить время клиентов и упрощать работу сотрудников в разных подразделениях.
• Крупнейшая сеть детских товаров с помощью вычислительных мощностей GPU Т1 Облако обучает крупные ML‑модели и на их основе развивает программы лояльности для клиентов и создаёт персонализированные промокоды.

О других примерах и сценариях использования GPU читайте в другойнашей статье.

Напомним, что видеокарты NVIDIA H200, L40S и другие модели доступны в облаке по модели GPU as a Service. Это означает, что можно сразу пользоваться сервисом, обучать ИИ‑модели и проверять гипотезы, создавать трёхмерные визуализации и реализовывать сложные и интересные проекты. После выполнения всех вычислений виртуальные GPU можно отключить, оплатив только период фактического использования карт.

Если хотите больше узнать о H200, L40S, возможностях Infiniband и других особенностях инфраструктурных технологий в облаке, с удовольствием обсудим с вами эти темы—пишитенам. А еще дадим протестировать наши графические ускорители, чтобы вы были уверены в их надежности и производительности.