NVIDIA H200 vs H100: Capacidade de Memória, Throughput e Custo

Se você está comparando H100 vs H200, a versão curta é simples: o H200 é a melhor escolha quando a carga de trabalho é limitada por memória, tem contexto longo ou é difícil de caber em H100s de 80GB. O H100 ainda é a referência prática quando a capacidade é mais barata, já está disponível ou o trabalho é suficientemente limitado por computação para que o HBM3e extra não reduza o tempo de execução.

O porém é o custo. O H200 não é automaticamente mais barato só porque tem mais memória. Ele vence quando a pool de memória de 141GB, a largura de banda de memória de 4,8TB/s ou o maior tamanho de batch permitem concluir o trabalho com menos GPUs, menos réplicas, menos compromissos de quantização ou menos execuções com falha.

H100 vs H200: decisão rápida

Escolha H200 quando:

• Seu modelo, comprimento de contexto, KV cache ou meta de batch está perto do limite de 80GB do H100.
• Você está servindo inferência de LLM onde largura de banda de memória e tamanho de batch importam mais do que o pico bruto de tensor cores.
• Você quer menos shards de tensor-parallel para inferência de classe 70B, RAG com prompts longos ou serving com alta concorrência.
• O prêmio de aluguel do H200 é menor do que a economia obtida com menos GPUs, maior throughput aceito ou operações mais simples.

Escolha H100 quando:

• A carga de trabalho já cabe confortavelmente em 80GB, com espaço para ativações, KV cache, estado do otimizador ou overhead de serving.
• Você está otimizando para capacidade disponível, imagens maduras, comportamento conhecido do cluster ou preço horário mais baixo.
• O gargalo é pré-processamento em CPU, armazenamento, rede, enfileiramento, overhead de software ou qualidade do modelo, e não a memória da GPU.
• Você consegue H100 SXM ou NVL por um preço efetivo muito melhor do que o H200.

Para a maioria das equipes de IA, o primeiro teste não é um ranking de benchmark. É esta pergunta: o H200 reduz o número de GPUs, o compromisso de precisão ou o tempo na fila o suficiente para superar a disponibilidade normalmente mais ampla do H100?

Especificações de NVIDIA H200 vs H100 que importam

A NVIDIA posiciona o H200 como uma atualização da geração Hopper focada em memória maior e mais rápida. A página do produto H200 lista 141GB de memória HBM3e e 4,8TB/s de largura de banda de memória. A página do H100 da NVIDIA lista o H100 SXM com 80GB de memória HBM3 e 3,35TB/s de largura de banda de memória, e o H100 NVL com 94GB e 3,9TB/s.

Essas diferenças de memória são o coração da comparação nvidia h200 vs h100. O H200 tem cerca de 76% mais memória que o H100 SXM e cerca de 43% mais memória que o H100 NVL. Sua largura de banda é cerca de 43% maior que a do H100 SXM e cerca de 23% maior que a do H100 NVL.

Isso não significa que todo trabalho seja 23-76% mais rápido. Significa que o subsistema de memória dá ao H200 mais espaço para manter grandes conjuntos de trabalho na GPU e alimentar os núcleos de computação. O ganho de desempenho depende do tamanho do modelo, comprimento do contexto, precisão, framework de serving, estratégia de batch, interconexão e se a carga de trabalho é realmente limitada por memória.

Memória H200 vs H100: por que 141GB mudam o serving de LLM

A expressão h200 vs h100 memory normalmente aparece quando uma equipe está tentando evitar uma compensação desagradável:

• quantização agressiva que prejudica a qualidade da saída,
• mais shards de tensor-parallel do que a equipe quer operar,
• batches menores que desperdiçam capacidade de serving,
• janelas de contexto mais curtas do que o produto precisa,
• ou jobs com falha quando prompts reais são maiores do que os prompts de benchmark.

O perfil de 80GB do H100 ainda é forte para muitos jobs de inferência e fine-tuning. Mas 80GB desaparecem rapidamente quando você adiciona pesos do modelo, KV cache, overhead do framework, buffers de speculative decoding, adapters, embeddings e requisições concorrentes.

A memória de 141GB do H200 oferece às equipes de infraestrutura mais opções. Um modelo que só cabe em vários H100s pode caber com menos H200s. Uma camada de serving que precisa manter o contexto curto no H100 pode suportar requisições mais longas no H200. Um job de treinamento ou fine-tuning que faz spill para microbatches menores no H100 pode usar configurações de batch mais eficientes no H200.

É por isso que a decisão h100 vs h200 deve ser modelada com base no trabalho concluído, e não apenas no preço horário da GPU.

Comparação de desempenho NVIDIA H200 vs H100

Para uma nvidia h200 vs h100 performance comparison, separe três casos.

1. Inferência de LLM limitada por memória

Este é o caso mais claro do H200. A NVIDIA diz que a memória HBM3e maior do H200 e a largura de banda de 4,8TB/s foram projetadas para acelerar workloads de IA generativa e LLM, e sua página mostra exemplos de throughput de inferência de Llama 2 e estilos GPT mais altos em relação ao H100 sob configurações específicas de batch e sequência.

Use H200 primeiro para:

• serving de modelo classe 70B,
• RAG com contexto longo,
• workloads de decode com batch alto,
• rotas de serving com grande pressão de KV cache,
• e workloads de produto em que requisições com falha ou rebaixadas são caras.

Não copie o multiplicador de exemplo da NVIDIA para sua própria previsão sem testar. O ganho depende do comprimento do prompt, comprimento da saída, tamanho do batch, quantização, configurações do engine e se a base H100 já estava otimizada.

2. Treino e fine-tuning

O H100 continua sendo uma escolha padrão forte para clusters de treino porque é amplamente implantado, bem suportado e disponível em configurações maduras de cloud gerenciada e cluster dedicado. O H200 ainda pode ajudar quando a pressão de memória limita o tamanho do microbatch, o comprimento da sequência, as escolhas de checkpointing de ativações ou a estratégia do otimizador.

Para treino completo, a decisão muitas vezes tem menos a ver com uma única GPU e mais com a topologia do cluster:

• quantas GPUs por nó,
• topologia NVLink/NVSwitch,
• rede entre nós,
• throughput de armazenamento,
• tempo de checkpointing,
• maturidade do framework,
• e disponibilidade de reserva.

Se uma execução de treino já escala bem no H100 e não encontra pressão de memória, o H200 talvez não justifique um prêmio de preço. Se o H200 permitir evitar paralelismo extra, evitar recomputação ou reduzir execuções com falha, a economia pode se inverter.

3. Jobs limitados por computação ou pelo pipeline

Alguns jobs não se importam muito com a memória extra. Se o gargalo estiver em pré-processamento, carregamento de dados, transformações na CPU, object storage, transferência de rede ou orquestração da aplicação, o H200 pode ficar ocioso exatamente como o H100.

Antes de pagar pelo H200, faça um profile:

• utilização da GPU,
• memória alocada e reservada,
• utilização da largura de banda de HBM,
• tokens por segundo,
• requisições aceitas por minuto,
• tempo de espera na fila,
• taxa de falha/retry,
• e custo por saída aceita.

Se o gráfico de memória estiver plano e o pipeline estiver esperando em outro lugar, o H100 geralmente é a compra mais segura.

Custo: compare H200 vs H100 pelo workload concluído

Os preços de aluguel de GPU mudam rapidamente, e a disponibilidade no marketplace varia por região e por horário. Considere o que segue como instantâneos da página de origem verificados em 12 de outubro de 2026, e não como promessas permanentes de preço.

A página de preços da RunPod listava o H200 a US$ 3,59/h no Community Cloud e US$ 4,59/h no Secure Cloud. A mesma página listava o H100 PCIe a US$ 1,99/h no community e US$ 2,89/h no secure, o H100 SXM a US$ 2,69/h no community e US$ 3,49/h no secure, e o H100 NVL a US$ 2,59/h no community e US$ 3,19/h no secure.

A página de preços da Lambda listava 1x H100 SXM a US$ 4,29/GPU/h e 1x H100 PCIe a US$ 3,29/GPU/h, com exemplos de clusters H100 SXM por GPU mais baratos em contagens maiores de nós. A tabela pública da Lambda não expunha uma linha equivalente de H200 on-demand no instantâneo da página usado para este artigo.

A página da família P5 da AWS é útil para contexto de implantação: ela apresenta P5, P5e e P5en como famílias de instâncias NVIDIA H100 e H200 para treino de ML em larga escala, inferência e HPC, com o P5e expondo 8 GPUs H200 e 1.128GB de HBM3e por instância p5e.48xlarge. Para trabalho de orçamento, verifique a região exata da AWS, a opção de compra e o plano de suporte antes de usar qualquer número em um modelo.

A planilha prática:

custo do workload concluído =
  preço horário da GPU
  x número de GPUs
  x horas de tempo de parede
  + armazenamento
  + egress de rede
  + tempo ocioso/na fila
  + custo de execuções com falha e retry
  + tempo de engenharia para sharding, quantization e debugging

O H200 pode custar mais por hora e ainda assim vencer quando reduz a quantidade de GPUs, diminui a complexidade de sharding, aumenta o throughput aceito ou evita falhas relacionadas à memória. O H100 pode ser mais barato quando o job se encaixa perfeitamente e o prêmio do H200 não altera a conta do workload concluído.

Para uma planilha de custos mais completa, use o guia relacionado da Flatkey sobre preços de aluguel de GPU.

Recomendação por workload

Um plano simples de teste H100 vs H200

Execute o mesmo workload real em ambos os tipos de GPU antes de se comprometer com um cluster reservado. Benchmarks sintéticos são úteis para orientação, mas as decisões de compra devem usar prompts, configurações de batch e regras de falha com formato de produção.

1. Defina o resultado-alvo. Use tokens por segundo, jobs concluídos por dia, custo por resposta aceita, custo por etapa de treinamento ou tempo de relógio até a qualidade-alvo.
2. Use entradas em tamanho de produção. Inclua o comprimento real do prompt, o contexto de retrieval, o comprimento da saída, a variação do batch e a concorrência.
3. Mantenha a qualidade do modelo constante. Não deixe uma GPU usar uma quantização de menor qualidade apenas para caber.
4. Meça a quantidade de GPUs e a utilização. Um único H200 pode superar vários H100s em alguns níveis de serving; um H100 barato pode superar um H200 subutilizado para modelos menores.
5. Acompanhe retries e falhas de memória. Retries por falta de memória, batches menores e sharding de emergência têm custo real.
6. Inclua o tempo ocioso. Um H100 mais barato que fica esperando na fila por horas pode perder para um H200 disponível.
7. Repita ao longo de janelas de tempo. Os preços e a capacidade de marketplace podem mudar entre picos em dias úteis e horários fora de pico.

O guidance mais amplo de custo da Flatkey é o mesmo para GPUs e APIs de modelos: compare a rota que produz o resultado aceito, não apenas o preço unitário listado. A mesma ideia aparece em comparação de preços de modelos de IA, comparação de preços de API de IA e como comparar preços de modelos de IA.

Quando uma API de modelo é melhor do que qualquer uma das GPUs

A decisão entre H200 e H100 pressupõe que você precisa gerenciar GPUs diretamente. Isso nem sempre é verdade.

Use uma API de modelo hospedada ou um router em vez de alugar GPUs quando:

• o tráfego é irregular,
• a escolha do modelo muda com frequência,
• você precisa de vários provedores em vez de um único modelo open-weight fixo,
• o tempo de operações importa mais do que a utilização absoluta da GPU,
• ou você precisa de logs de uso por requisição, controles de orçamento e failover.

A Flatkey foi construída para esse lado da decisão: uma chave, um saldo, uma fatura, endpoints oficiais de modelos, logs de uso em nível de requisição e roteamento entre provedores de modelos. Para equipes que só precisam de saída de modelos frontier ou de modelos open hospedados, uma API de modelo pode evitar gasto ocioso com GPU e overhead operacional. Para equipes que servem pesos proprietários com carga sustentada, capacidade direta de H100 ou H200 ainda pode ser a camada de infraestrutura certa.

Recomendação final

Para H100 vs H200, compre ou alugue H200 quando a memória for o gargalo e a GPU maior mudar a forma da carga de trabalho. Os melhores casos de H200 são inferência de LLM com contexto longo, serving de classe 70B, HPC com alto uso de memória e qualquer rota em que 141GB de HBM3e permitam usar menos GPUs ou uma arquitetura de serving mais simples.

Use H100 quando a carga de trabalho couber, a disponibilidade importar e a diferença de preço for real. O H100 continua sendo o padrão mais seguro para stacks de treinamento maduros, desenvolvimento, inferência com contexto moderado e equipes que já conhecem seu perfil de utilização.

A métrica decisiva não é "qual GPU é mais rápida." É custo por resultado aceito após o encaixe de memória, throughput, tempo de fila, retries e complexidade de engenharia.

Perguntas frequentes

O H200 é mais rápido do que o H100?

Para inferência de LLM limitada por memória e HPC com alto uso de memória, o H200 pode ser mais rápido porque tem 141GB de memória HBM3e e largura de banda de 4,8TB/s. Para jobs limitados por computação ou por pipeline, o ganho pode ser pequeno. Teste com prompts e tamanhos de batch parecidos com produção.

O H200 vale o custo extra?

O H200 vale o prêmio quando reduz a quantidade de GPUs, evita falhas de memória, melhora o throughput aceito ou simplifica o sharding. Se o seu modelo já cabe no H100 e o job não é limitado por memória, o H100 geralmente é mais custo-efetivo.

Quanta memória o H200 tem em comparação com o H100?

A NVIDIA lista o H200 com 141GB. O H100 SXM é listado com 80GB, enquanto o H100 NVL é listado com 94GB. Essa memória extra é o principal motivo pelo qual compradores comparam a memória H200 vs H100 para cargas de trabalho de LLM.

Devo usar H100 ou H200 para Llama 2 70B?

O H200 é atraente para inferência de classe 70B porque o maior pool de memória e a largura de banda podem suportar batches maiores, contexto mais longo ou menos shards. O H100 NVL e o H100 SXM ainda podem ser boas escolhas quando disponibilidade e preço por hora forem melhores.

Devo alugar GPUs ou usar APIs de modelo?

Alugue GPUs quando você tiver utilização sustentada, pesos proprietários ou requisitos personalizados de serving. Use APIs de modelo quando o tráfego for irregular, a escolha do provedor mudar com frequência ou você precisar de roteamento, registros de uso, faturas e failover sem operar servidores de GPU.

Fontes

• GPU NVIDIA H200
• GPU NVIDIA H100 Tensor Core
• instâncias AWS EC2 P5
• preços de cloud de GPU da RunPod
• preços de cloud de GPU da Lambda