H200 и H100 (2026): характеристики, реальная производительность, цена за час и выбор для аренды
NVIDIA H200 — это H100 с более ёмкой и быстрой памятью: 141GB HBM3e с пропускной способностью 4.8TB/s против 80GB HBM3 с 3.35TB/s у H100 SXM, при этом вычислительная производительность Tensor Core у них одинаковая. Поэтому H200 лучше подходит для задач, ограниченных памятью: инференса LLM класса 70B, длинного контекста и больших батчей. H100 дешевле и доступнее для нагрузок, которым уже хватает 80GB. В октябре 2026 года аренда H200 обычно обходится примерно на 30–40 процентов дороже за GPU-час, чем аренда H100.
Это сравнение предназначено для инфраструктурных и ML-команд, которые выбирают GPU для аренды или резервирования. Все характеристики ниже взяты со страниц продуктов NVIDIA, а цены — с общедоступных страниц тарифов; данные проверены 23 октября 2026 года.
H200 и H100: быстрый выбор
| Если ваша нагрузка... | Выбирайте | Почему |
|---|---|---|
| Обслуживает модели класса 70B, длинные промпты или много одновременных запросов | H200 | 141GB позволяют разместить веса и большой KV-кеш на меньшем числе GPU |
| Уже помещается в 80GB с запасом (модели 7B–34B, дообучение LoRA) | H100 | Та же вычислительная мощность, ниже цена за час, шире доступность |
| Представляет собой масштабное обучение, которое хорошо масштабируется на кластерах H100 | H100, протестируйте H200 | Шаги, ограниченные вычислениями, мало выигрывают от дополнительной памяти |
| Относится к HPC и ограничена памятью (симуляции, геномика, большие FFT) | H200 | Узкое место — пропускная способность; NVIDIA заявляет для HPC ускорение до 110X по сравнению с CPU |
| Требует новейшего поколения для обучения передовых моделей | B200 или B300 | Blackwell превосходит оба GPU поколения Hopper; подробнее ниже |
Первое, что стоит проверить, — не место в рейтинге. Важно понять, позволяет ли H200 достаточно сократить число GPU, уменьшить потери точности или время ожидания в очереди, чтобы компенсировать более низкую цену H100.
Характеристики NVIDIA H200 и H100
На странице H200 NVIDIA описывает его как «первый GPU с 141 гигабайтом (GB) памяти HBM3e и пропускной способностью 4.8 терабайта в секунду (TB/s): почти вдвое больше памяти, чем у NVIDIA H100 GPU, с пропускной способностью в 1.4X выше». На странице H100 представлены варианты SXM и NVL. Ниже приведены опубликованные NVIDIA значения (показатели Tensor Core указаны с учётом разреженности, как у NVIDIA).
| Характеристика (NVIDIA, октябрь 2026 года) | H200 SXM | H200 NVL | H100 SXM | H100 NVL |
|---|---|---|---|---|
| Архитектура | Hopper | Hopper | Hopper | Hopper |
| Память GPU | 141GB HBM3e | 141GB HBM3e | 80GB HBM3 | 94GB HBM3 |
| Пропускная способность памяти | 4.8TB/s | 4.8TB/s | 3.35TB/s | 3.9TB/s |
| FP8 Tensor Core | 3,958 TFLOPS | 3,341 TFLOPS | 3,958 TFLOPS | 3,341 TFLOPS |
| BF16 / FP16 Tensor Core | 1,979 TFLOPS | 1,671 TFLOPS | 1,979 TFLOPS | 1,671 TFLOPS |
| Максимальный TDP | До 700W | До 600W | До 700W | 350–400W |
| Экземпляры MIG | До 7 по 18GB | До 7 по 16.5GB | До 7 по 10GB | До 7 по 12GB |
Здесь важны два момента:
- Вычислительная мощность одинакова. Для H200 SXM и H100 SXM указана одинаковая производительность Tensor Core в FP8, BF16 и TF32 и одинаковый предел мощности 700W. Любое ускорение достигается за счёт объёма и пропускной способности памяти, а не дополнительных FLOPS.
- Всё решает память. У H200 примерно на 76 процентов больше памяти, чем у H100 SXM, и примерно на 43 процента выше её пропускная способность. По сравнению с H100 NVL разница сокращается примерно до 50 процентов по объёму памяти и 23 процентов по пропускной способности.
Оба GPU используют один и тот же программный стек CUDA, а H200 SXM совместим с той же конструкцией платы HGX, поэтому большинство контейнеров, драйверов и фреймворков для обслуживания моделей можно перенести без изменения кода.
Почему 141GB меняют подход к обслуживанию LLM
При инференсе LLM генерация каждого токена требует чтения весов модели и KV-кеша из памяти. На больших моделях GPU значительную часть времени ждёт завершения этих операций чтения, поэтому на этапе декодирования пропускная способность и объём памяти важнее пиковых FLOPS.
Вот простой расчёт для модели с 70B параметров с учётом числа байтов на параметр:
| Точность | Размер весов (70B) | Свободно на одном H100 SXM (80GB) | Свободно на одном H200 (141GB) |
|---|---|---|---|
| FP16 / BF16 (2 байта) | ~140GB | Не помещается; нужно 2+ GPU | Не помещается с достаточным KV-кешем; используйте 2 |
| FP8 (1 байт) | ~70GB | ~10GB для KV-кеша и служебных данных | ~71GB для KV-кеша и служебных данных |
| INT4 (0.5 байта) | ~35GB | ~45GB | ~106GB |
При FP8 у H100 почти не остаётся места для KV-кеша, поэтому приходится либо распределять модель между двумя GPU, либо ограничивать размер батча и длину контекста. H200 может запускать ту же модель на одном GPU, оставляя в семь раз больше свободной памяти для одновременных запросов и длинных промптов. Именно это на практике означает «почти вдвое больше памяти». Для расчётов под вашу модель в нашем руководстве по требованиям LLM к памяти GPU разобрана формула KV-кеша.
Производительность H200 и H100
На странице H200 NVIDIA заявляет ускорение инференса Llama 2 70B в 1.9X и ускорение инференса GPT-3 175B в 1.6X по сравнению с H100 при выбранных самой NVIDIA размерах батча и длинах последовательностей. Воспринимайте эти показатели как верхнюю границу по данным производителя. На практике стоит различать три случая:
Инференс LLM, ограниченный памятью
Здесь преимущество H200 наиболее очевидно. Более высокая пропускная способность ускоряет каждый шаг декодирования, а дополнительная память позволяет увеличить батчи, что повышает пропускную способность на GPU. Наибольший выигрыш получают модели класса 70B, RAG с длинным контекстом и системы с большим числом одновременных запросов. О движках обслуживания моделей и настройках батчинга читайте в сравнении vLLM и SGLang.
Обучение и дообучение
Поскольку вычислительная мощность одинакова, шаги обучения, ограниченные вычислениями, выполняются примерно с той же скоростью. H200 помогает, когда память ограничивает размер микробатча или длину последовательности либо вынуждает пересчитывать активации. Если кластер H100 уже хорошо масштабируется, доплату за H200 оправдать сложнее. Компромиссы на уровне кластера разобраны в статье о выборе лучшего GPU для обучения LLM.
Задачи, ограниченные вычислениями или конвейером обработки
Если узкое место — предобработка, загрузка данных, хранилище или сеть, оба GPU будут простаивать одинаково. Прежде чем платить за память, которую вы не будете использовать, измерьте загрузку GPU, использование пропускной способности HBM и число токенов в секунду.
Цены H200 и H100: стоимость часа аренды в октябре 2026 года
| Источник (проверено 23 октября 2026 года) | H100 | H200 | Разница |
|---|---|---|---|
| Рыночный индекс Flatkey Compute, медиана аренды по запросу | $2.64/GPU-час | $3.65/GPU-час | +38% |
| Индекс Flatkey Compute, ориентир для срока 1 год | $1.98 | $2.74 | +38% |
| RunPod Pods (страница обновлена 8 октября 2026 года) | $3.99 (SXM), $2.89 (PCIe), $3.19 (NVL) | $5.29 | +33% к SXM |
| Инстансы Lambda, 1x | $4.29 (SXM), $3.29 (PCIe) | Отдельной строки H200 для самостоятельного заказа нет | Нет данных |
| AWS EC2 P5/P5e | P5: 8x H100, 640GB HBM3 | P5e/P5en: 8x H200, 1,128GB HBM3e | Цены зависят от региона |
Индекс Flatkey обновлён 23 октября 2026 года в 02:01 UTC (10:01 по пекинскому времени) и объединяет актуальные предложения маркетплейсов с опубликованными ценами специализированных облачных провайдеров, поэтому отдельные предложения могут отличаться. Lambda также указывает для кластерных контрактов на 16 GPU H100 цену $6.16 за GPU-час, что показывает, насколько конфигурация и срок договора влияют на стоимость.
Удобный способ оценить доплату — сравнить цену за GB памяти GPU. По индексу Flatkey H200 стоит около $0.026 за GB-час, а H100 — около $0.033. Если вас ограничивает память, H200 обходится дешевле в пересчёте на единицу действительно нужного ресурса.
Сравнивайте стоимость выполненной работы, а не почасовую ставку:
cost per job = hourly price x GPUs x wall-clock hours
+ storage + egress + idle/queue time
+ failed-run and retry cost + engineering time for sharding
Пример: для обслуживания модели 70B в FP8 при заданном размере батча могут потребоваться 2x H100 (2 x $2.64 = $5.28 в час) или 1x H200 ($3.65 в час) по указанным выше ценам индекса. Если один H200 укладывается в целевую задержку, час обслуживания модели обходится примерно на 31 процент дешевле, хотя каждая карта стоит дороже. Прежде чем принимать решение, проведите тест на своих промптах. Более широкий обзор цен — в наших руководстве по ценам на GPU H200 и руководстве по ценам на аренду GPU.
Есть ли что-то лучше H200?
Да. H200 — последний и самый ёмкий по памяти GPU поколения Hopper, но поколение NVIDIA Blackwell новее и быстрее:
- B200: для DGX B200 NVIDIA указывает 1,440GB HBM3e и пропускную способность 64TB/s на 8 GPU, то есть 180GB и 8TB/s на GPU, а также поддержку FP4, которой нет у Hopper. На 23 октября 2026 года RunPod предлагал B200 за $7.99/час, а Lambda — за $6.69–$6.89 за GPU-час.
- B300 (Blackwell Ultra): RunPod указывал 288GB HBM3e на B300 по цене $8.99/час, а индекс Flatkey Compute показывал медиану аренды по запросу $7.70.
Таким образом, в 2026 году H200 уже не самый передовой GPU NVIDIA для дата-центров. Однако он часто оказывается самым выгодным вариантом для инференса с высокими требованиями к памяти: аренда мощностей Blackwell стоит примерно вдвое дороже за час, а найти их сложнее. Этот переход рассмотрен в нашем сравнении B200 и H200 и руководстве по B300 и B200.
Рекомендации для разных нагрузок
| Нагрузка | Предпочтительный вариант | Почему |
|---|---|---|
| Инференс LLM 70B с длинными промптами | H200 | Модель в FP8 помещается на одном GPU с запасом для KV-кеша |
| Инференс 7B–34B, умеренный контекст | H100 | Памяти хватает с запасом; цена ниже |
| Обслуживание чата с большим числом одновременных запросов | Протестируйте оба | H200 повышает число токенов в секунду на реплику; H100 может выиграть по цене |
| Полное обучение модели | Сначала H100, H200 — при ограничении памятью | Та же вычислительная мощность; отлаженные кластеры |
| Дообучение / LoRA | H100 для большинства задач | H200 нужен, только если длина последовательности или размер базовой модели упираются в память |
| HPC с высокими требованиями к памяти | H200 | Пропускная способность 4.8TB/s — основная причина доплаты |
| Разработка и отладка | H100 или более дешёвый GPU | Не платите за память, пока не определён профиль нагрузки |
Простой план тестирования H100 и H200
- Определите целевую метрику: токены в секунду, стоимость приемлемого ответа или время шага обучения.
- Используйте входные данные, близкие к рабочим: реальные длины промптов и ответов, контекст поиска и число одновременных запросов.
- Поддерживайте одинаковое качество: не используйте на одном GPU квантование с большими потерями качества только ради размещения модели в памяти.
- Фиксируйте число GPU и их загрузку: в некоторых конфигурациях обслуживания один H200 может заменить два H100.
- Отслеживайте повторные попытки после нехватки памяти и время в очереди: H100, который нельзя получить на этой неделе, обходится дороже доступного H200.
- Повторяйте замеры в разные периоды: цены на маркетплейсах меняются; индекс Flatkey показал снижение цены H100 на 7.0 процента и рост цены H200 на 2.5 процента за предыдущие 30 дней.
Когда API моделей выгоднее аренды любого из этих GPU
Если вам нужны только ответы передовых или популярных открытых моделей, аренда GPU может вообще не понадобиться. При неравномерном трафике, частой смене моделей и небольшой команде API с оплатой за токены обычно выгоднее. Наше руководство по сравнению облачных GPU и API моделей объясняет, где проходит порог окупаемости. Flatkey предлагает оба варианта: API моделей с одним ключом для множества провайдеров и Flatkey Compute для аренды мощностей H100, H200, B200 и B300 с предоставлением ценового предложения в течение 24 часов.
Частые вопросы
Насколько различается стоимость H200 и H100?
На 23 октября 2026 года индекс Flatkey Compute показывал медиану аренды по запросу $3.65 за GPU-час для H200 и $2.64 для H100 — разница около 38 процентов. RunPod указывал $5.29 для H200 и $3.99 для H100 SXM — разница около 33 процентов. В пересчёте на GB памяти H200 дешевле.
H200 быстрее H100?
Для инференса LLM, ограниченного памятью, — да: NVIDIA сообщает об ускорении инференса Llama 2 70B до 1.9X. Для обучения, ограниченного вычислениями, у обоих указана одинаковая производительность Tensor Core, поэтому выигрыш невелик, если память не ограничивает размер батча или длину последовательности.
Есть ли что-то лучше H200?
Да. NVIDIA Blackwell B200 (180GB HBM3e, около 8TB/s на GPU) и Blackwell Ultra B300 (288GB HBM3e) новее и быстрее; NVIDIA также анонсировала поколение Vera Rubin — см. наше руководство по Vera Rubin. При этом их аренда стоит примерно вдвое дороже за час.
H200 — самый передовой GPU?
Нет. Это самый передовой GPU поколения Hopper, но ему на смену пришли Blackwell B200 и B300. H200 остаётся популярным благодаря широкой доступности и более низкой почасовой стоимости по сравнению с Blackwell.
Что лучше: H200 или B200?
B200 быстрее, оснащён большим объёмом памяти (180GB против 141GB) и поддерживает FP4, что полезно для обучения передовых моделей и инференса очень крупных моделей. H200 дешевле и доступнее. Выбирайте B200, если важнее производительность одного GPU, и H200, если приоритет — стоимость выполнения задачи.
Сколько памяти у H200 по сравнению с H100?
По данным NVIDIA, у H200 — 141GB HBM3e с пропускной способностью 4.8TB/s, у H100 SXM — 80GB HBM3 с 3.35TB/s, а у H100 NVL — 94GB с 3.9TB/s.
Можно ли запускать одно и то же ПО на H100 и H200?
Да. Оба относятся к поколению Hopper и имеют одинаковые возможности CUDA, поэтому контейнеры, драйверы и фреймворки, такие как vLLM и PyTorch, работают на обоих GPU без изменения кода.
