Cost, Billing, and Ops13 de outubro de 2026Flatkey

Melhor GPU para Treinamento de LLM: escala, memória, rede e orçamento

Um guia prático de 2026 para escolher a melhor GPU para treinamento de LLM por escala, memória, rede, compatibilidade com provedor e custo por checkpoint concluído.

Melhor GPU para Treinamento de LLM: escala, memória, rede e orçamento

A melhor GPU para treinamento de LLM em 2026 não é uma única SKU. Ela depende da tarefa de treinamento. Para um adaptador LoRA ou QLoRA, a melhor GPU para treinamento de LLM geralmente é a placa mais barata que comporta o modelo, o carregador de dados e o tamanho do batch. Para o fine-tuning completo de um modelo de 70B, a resposta se desloca para sistemas H100, H200 ou B200 com memória de alta largura de banda e links rápidos intra-node. Para pré-treinamento ou pré-treinamento contínuo entre nós, a GPU importa menos do que o cluster completo: NVLink ou NVSwitch dentro do nó, InfiniBand ou RDMA equivalente entre nós, armazenamento de checkpoints, maturidade do agendador e garantias de capacidade.

Este guia dá uma resposta prática à pergunta "qual GPU tem o melhor desempenho para treinamento de LLM?" ao separar quatro decisões:

Escala: ajuste de adaptadores, fine-tuning completo, pré-treinamento contínuo ou pré-treinamento de modelo base.
Memória: se o modelo, os estados do otimizador, as ativações e o tamanho do batch cabem com margem.
Rede: se a tarefa é de uma única GPU, de múltiplas GPUs em um único nó ou multinó.
Orçamento: se o gargalo é o custo bruto de $/hora de GPU, acesso reservado ao cluster, tempo de fila ou tempo de engenharia.

Se você só precisa de saídas da aplicação e não precisa ser dono dos checkpoints, uma API de modelo pode ser uma base melhor do que GPUs alugadas. A Flatkey é um gateway de modelos unificado, compatível com OpenAI, para roteamento entre muitos modelos de IA com uma única chave e uma única fatura. Use isso como ponto de comparação antes de reservar uma infraestrutura de treinamento cara.

Resposta Rápida: Melhor GPU para Treinamento de LLM por Carga de Trabalho

Carga de trabalho	Melhor escolha prática de GPU	Por que ela se encaixa	O que evitar
Prompt tuning, LoRA, QLoRA em modelos de 7B-13B	RTX 4090, RTX 6000 Ada, L40S, A100 40GB/80GB, H100 PCIe quando barato	Baixo custo, VRAM suficiente para adaptadores, iteração rápida	Pagar por um nó H100 com 8 GPUs quando uma placa já basta
LoRA ou QLoRA em modelos de 32B-70B	A100 80GB, H100 80GB, H200 141GB, B200 180GB	Mais VRAM reduz a complexidade de sharding e offload	Placas de consumo sem ECC/suporte para trabalhos longos
Fine-tuning completo 7B-34B	4-8x H100 SXM/H200/B200, às vezes A100 80GB para jobs com orçamento limitado	Memória, tensor cores e NVLink/NVSwitch importam	Nós multi-GPU somente com PCIe para treinamento intensivo em comunicação
Fine-tuning completo 70B+	8x H100 SXM, 8x H200, 8x B200 ou clusters gerenciados	Precisa de treinamento distribuído, alta memória e coletivas rápidas	Comparar apenas o preço por hora por GPU
Pré-treinamento contínuo ou treinamento de modelo base	Grandes clusters H100/H200/B200 com InfiniBand/RDMA comprovados, armazenamento de checkpoints e maturidade de Slurm/Kubernetes/Ray	Confiabilidade do cluster e rede dominam	Capacidade spot-only, a menos que o trabalho tolere totalmente checkpoints
Experimentos com orçamento limitado antes do treinamento	Baseline de API de modelo via Flatkey, depois um pequeno run LoRA se necessário	Evita alugar GPUs antes de saber o alvo do modelo/dados	Começar com aluguel de GPU só porque parece mais flexível

A regra curta: escolha H200 ou B200 quando a margem de memória e menos shards economizam tempo de engenharia; escolha H100 quando disponibilidade e relação preço-desempenho forem melhores; escolha A100 ou L40S apenas quando a carga de trabalho couber e a economia for material.

Por que Não Existe uma GPU Universalmente Melhor para Treinar LLMs

Os resultados de busca costumam classificar GPUs por TFLOPS ou tamanho de memória. Isso é útil, mas incompleto. O treinamento de LLM gasta tempo em matemática de matrizes, movimentação de memória, sincronização de gradientes, tratamento do estado do otimizador, I/O de checkpoints e stalls no pipeline de entrada. Uma GPU com desempenho excelente em tensor pode ficar abaixo do esperado se a tarefa for limitada por topologia PCIe, armazenamento lento, rede fraca ou carregamento de dados ruim.

Para a melhor GPU para treinamento de LLM, comece pelo método de treinamento:

LoRA/QLoRA: você atualiza um pequeno número de parâmetros do adaptador. A pressão de memória é muito menor do que no fine-tuning completo, então uma GPU mais barata pode vencer.
Fine-tuning completo: você atualiza todos os pesos do modelo. Estados do otimizador, gradientes, ativações e memória de checkpoint fazem da memória da GPU a primeira restrição.
Pré-treinamento contínuo: você treina por muitos tokens em muitos nós. Rede, recuperação de falhas, throughput de dados e estratégia de checkpoints tornam-se tão importantes quanto a escolha da GPU.
Pré-treinamento do zero: você está comprando um sistema de treinamento, não apenas uma GPU. A melhor resposta é um cluster validado com capacidade, armazenamento, operações e suporte suficientes.

O DeepSpeed ZeRO explica claramente o problema central de memória: o ZeRO particiona estados do otimizador, gradientes e parâmetros entre processos de paralelismo de dados em vez de replicá-los. Isso ajuda a acomodar modelos maiores, mas também aumenta a comunicação e a complexidade do sistema. As coletivas do NVIDIA NCCL, como all-reduce, all-gather e reduce-scatter, são os primitivos de comunicação que aparecem quando sua tarefa de treinamento abrange múltiplas GPUs.

Memória da GPU: O Primeiro Filtro

A memória da GPU decide se o treinamento é simples, shardizado, com offload ou impossível.

Para inferência, a referência aproximada de memória é pesos mais KV cache. Para treinamento, adicione:

Pesos treináveis
Gradientes
Estados do otimizador
Ativações
Buffers temporários
Overhead da framework
Margem para checkpoint e reinício

A pergunta de dimensionamento mais útil não é "Os pesos do modelo cabem?" É:

O modelo, o método de treinamento, o comprimento de sequência, o microbatch, o estado do otimizador e a estratégia de ativações cabem com margem suficiente para evitar depuração constante de OOM?

Use este caminho de decisão:

Estime a memória dos pesos do modelo: parâmetros x bytes por parâmetro.
Some o overhead de otimizador e gradientes para fine-tuning completo.
Some a memória de ativações com base no comprimento da sequência, camadas, tamanho do batch e checkpointing.
Adicione 15-30% de margem operacional.
Se o resultado mal couber, suba um nível de GPU ou reduza o método de treinamento para adaptadores.

A NVIDIA lista o H200 SXM com 141GB de HBM3e e 4,8TB/s de largura de banda de memória, enquanto o H100 SXM normalmente aparece com 80GB de HBM3 e largura de banda menor. Os sistemas NVIDIA DGX B200 agregam 1.440GB de memória total de GPU em oito GPUs Blackwell, o que implica 180GB por GPU nessa classe de sistema. Esses números importam porque a margem de memória pode reduzir paralelismo tensorial, offload para CPU/NVMe e malabarismos com checkpoint.

Lista curta de GPUs: H100, H200, B200, A100, L40S

Família de GPU	Melhor opção para treinamento de LLM	Ponto forte	Cuidado
NVIDIA B200 / sistemas Blackwell	Novos clusters de treinamento com grande memória, fine-tuning de alto nível, cargas de trabalho que podem usar caminhos de software Blackwell	Memória na classe de 180GB em sistemas DGX B200, alta largura de banda agregada, formatos tensoriais mais novos	Disponibilidade, termos de reserva e maturidade do software devem ser verificados por provedor
NVIDIA H200	Fine-tuning e treinamento com restrição de memória, onde o H100 funciona mas o sharding é doloroso	141GB de HBM3e e 4,8TB/s de largura de banda de memória	Muitas vezes com preço acima do H100; nem sempre é o melhor valor se a memória não for o gargalo
NVIDIA H100 SXM	Escolha padrão para treinamento sério de LLM quando há capacidade disponível	Ecossistema forte, Transformer Engine FP8, sistemas NVLink/NVSwitch, amplo suporte em nuvem	80GB de memória podem forçar mais shards para modelos muito grandes
NVIDIA H100 PCIe / H100 NVL	Treinamentos menores, ajuste de adaptadores ou data centers com restrições	Melhor disponibilidade em algumas nuvens; o H100 NVL pode ajudar com necessidades de memória em GPU pareadas	A topologia PCIe pode limitar o treinamento multi-GPU em comparação com nós SXM/NVSwitch
NVIDIA A100 80GB	Fine-tuning econômico, stacks mais antigos porém estáveis, experimentos não de fronteira	Maduro, muitas vezes mais barato, memória suficiente para muitos trabalhos	Menor desempenho e geração de interconexão mais antiga que H100/H200/B200
NVIDIA L40S / RTX PRO / GPUs de workstation	Ajuste de adaptadores, experimentos, depuração de modelos, pipelines de dados sintéticos	Menor custo por hora, útil para iteração	Não é ideal para treinamento distribuído em grande escala; verifique ECC, topologia e suporte

Para o melhor GPU para treinamento de LLM em 2026, não comece com a placa mais nova. Comece com o menor sistema validado que atenda ao seu objetivo de memória e escalabilidade. Se o trabalho for ajuste de adaptadores, uma GPU mais barata pode superar uma GPU premium no custo por saída aceita. Se o trabalho for fine-tuning completo multi-nó, uma GPU PCIe barata pode ficar cara quando o overhead de comunicação e as execuções falhas forem incluídos.

Rede: quando o nó importa mais do que a GPU

Um trabalho em uma única GPU se preocupa principalmente com VRAM, largura de banda de memória e armazenamento local. Um nó com 8 GPUs se preocupa com a comunicação GPU a GPU. Um trabalho multi-nó se preocupa com a malha de rede.

Dentro do nó, procure por:

Largura de banda NVLink por GPU
NVSwitch ou malha all-to-all equivalente
Visibilidade da topologia da GPU
Desempenho do NCCL
Gargalos de PCIe
NVMe local para staging e checkpoints

Entre nós, procure por:

Design de InfiniBand ou Ethernet/RDMA
Suporte a GPUDirect RDMA quando relevante
Resultados de teste NCCL, não apenas alegações do fornecedor
Garantias de posicionamento do cluster
Throughput de armazenamento de checkpoints
Tratamento de falhas e preempção

A AWS afirma que as instâncias P5, P5e e P5en podem fornecer até 3.200Gbps de rede EFA e são implantadas em EC2 UltraClusters. A Microsoft descreve o ND H100 v5 como começando com oito GPUs H100 e escalando para milhares de GPUs com 3,2Tbps de largura de banda de interconexão por VM e 400Gbps de InfiniBand NVIDIA Quantum-2 CX7 por GPU. O Google Cloud lista famílias de máquinas GPU incluindo A3, A3 Ultra, A4 e famílias mais novas relacionadas ao Blackwell em sua documentação de GPU do Compute Engine.

A conclusão: para treinamento multi-nó, "qual é a melhor nuvem de GPU para treinamento de LLM" se torna uma pergunta de aquisição de cluster. Peça largura de banda de all-reduce do NCCL, largura de banda de all-gather, regras de posicionamento de jobs, números de benchmark de armazenamento e tempo de resposta do suporte.

Orçamento: compare o custo por checkpoint concluído, não por hora de GPU

O preço por hora de GPU é fácil de comparar e fácil de usar de forma errada. A unidade correta de orçamento é:

custo por checkpoint bem-sucedido =
  horas de GPU consumidas
  + custo de armazenamento e snapshot
  + custo de egress ou ingestão de dados
  + custo de orquestração e observabilidade
  + tempo de engenheiro gasto recuperando execuções com falha
  - valor de checkpoints e avaliações reutilizáveis

Use snapshots de preços com data, porque as tarifas públicas mudam. Em 13 de outubro de 2026, páginas públicas de preços de GPU em nuvem mostravam exemplos como a Runpod listando tarifas sob demanda de H100 PCIe, H100 SXM, H200, B200 e B300; a Lambda publicando preços de instâncias e clusters H100 e B200; a CoreWeave publicando preços de GPU sob demanda com várias opções NVIDIA de ponta; a Nebius publicando uma página de preços de GPU NVIDIA; e a Crusoe publicando opções de preços de GPU sob demanda, spot e reservadas. Trate isso como pontos de partida, não como uma classificação permanente.

Cenário de orçamento	Melhor padrão de compra
Experimento pontual de adapter	GPU única sob demanda ou pequeno pod
Execuções repetidas de LoRA	GPUs reservadas de menor custo que caibam na memória
Full fine-tune de 70B	Nós reservados de 8 GPUs com suporte e armazenamento de checkpoints
Continued pretraining em múltiplos nós	Capacidade de cluster comprometida com alocação rigorosa e garantias de rede
Varreduras tolerantes a falhas	Spot/preemptível apenas se o checkpointing estiver comprovado
ROI incerto	Baseline por API de modelo via Flatkey antes de alugar GPUs

Os melhores provedores de cloud GPU para treinamento de LLM são os que oferecem capacidade utilizável suficiente com a topologia certa, e não simplesmente a linha horária publicada mais barata. Para treinamento, uma tarifa horária menor pode sair pior se o provedor não conseguir colocar GPUs juntas, se o armazenamento atrasar os checkpoints ou se o suporte não conseguir resolver falhas de NCCL rapidamente.

Adequação de Provedor de Nuvem: O que Usar em Cada Caso

Tipo de provedor	Boa adequação	Perguntas do comprador
Hyperscalers como AWS, Google Cloud e Azure	Compras corporativas, segurança gerenciada, suporte para grandes contas, conformidade regional	Quais famílias de GPU estão disponíveis na sua região-alvo? Você consegue reservar um cluster completo? Quais evidências de benchmark de rede e armazenamento estão disponíveis?
Clouds especializadas em GPU como CoreWeave, Lambda, Crusoe, Nebius e provedores semelhantes	Acesso rápido à capacidade de classe H100/H200/B200, preços mais simples centrados em GPU, suporte focado em IA	A capacidade está realmente disponível agora? Os nós estão em colocalização? Quais são as políticas de interrupção? Os engenheiros de suporte conhecem NCCL, Slurm, Kubernetes, Ray e frameworks de treinamento?
Provedores de marketplace e pod como a Runpod	Experimentos, cargas de trabalho em burst, equipes menores, acesso mais barato a GPU única	O ambiente é seguro o suficiente para seus dados? A rede é adequada para treinamento em múltiplos nós? As GPUs são dedicadas, comunitárias ou cloud segura?
Rota de modelo/API via Flatkey	Quando você precisa de resultados, evals, roteamento ou chamadas de app em produção, em vez de propriedade de checkpoint	Uma baseline por API pode substituir a execução de treinamento? Que meta de qualidade e custo o modelo treinado internamente precisa superar?

Para "qual é a melhor cloud GPU para treinamento de LLM", use uma resposta em duas etapas:

Escolha a classe de hardware que se encaixa na carga de trabalho.
Escolha o provedor que consegue entregar esse hardware com a topologia, armazenamento, suporte e termos comerciais adequados.

Matriz de decisão: escolha a melhor GPU para treinamento de LLM

Se sua principal restrição é...	Prefira...	Motivo
Adaptar um modelo maior sem sharding extremo	H200 ou B200	Mais HBM por GPU pode simplificar o trabalho
Ecossistema conhecido e ampla disponibilidade	H100 SXM	Software forte, amplo suporte de provedores, bom baseline de treinamento
Menor custo para tuning de adapters	A100, L40S, placas classe RTX ou H100 PCIe com desconto	Jobs de adapter muitas vezes não precisam de topologia premium de cluster
Escala em múltiplos nós	Clusters H100/H200/B200 com RDMA/InfiniBand validados e resultados de NCCL	A rede determina a eficiência de escala
Experimentação rápida antes de comprometer	Baseline por API de modelo da Flatkey mais execuções pequenas em GPU	Evita reservar GPUs antes de validar o alvo
Compras corporativas	Hyperscaler ou cloud GPU contratada	Compromissos, conformidade, suporte e controles regionais importam

Plano de benchmark antes de se comprometer

Antes de reservar capacidade cara, execute esta sequência de benchmarks:

Teste de ajuste de memória em GPU única: carregue o modelo, tokenizer, batch do dataset, otimizador e método de treinamento.
Varredura de microbatch: teste comprimento de sequência, acumulação de gradiente, activation checkpointing e precisão mista.
Teste de nó com 8 GPUs: execute testes NCCL e um benchmark curto de etapa de treinamento.
Teste de checkpoint: grave e restaure checkpoints sob carga real.
Teste em múltiplos nós: meça o comportamento de all-reduce/all-gather no número de nós planejado.
Exercício de falha: derrube um worker ou simule preempção e depois verifique a recuperação.
Cálculo de custo por checkpoint: estime o custo de um checkpoint validado, não de uma hora ociosa de GPU.

Registre:

tokens/sec ou samples/sec
MFU ou utilização da GPU
variação do tempo de etapa
largura de banda NCCL
tempo de gravação e restauração de checkpoint
throughput do carregador de dados
tempo de recuperação de job com falha
custo total até checkpoint bem-sucedido

Se um provedor não conseguir oferecer este benchmark antes de um compromisso grande, trate isso como um risco de aquisição.

Erros Comuns

Erro 1: Comprar a GPU mais cara antes de dimensionar a memória

Se o LoRA couber em uma GPU mais barata, a capacidade premium de H200 ou B200 pode não melhorar a métrica que importa. Invista a economia em mais experimentos, melhores avaliações ou dados mais limpos.

Erro 2: Comparar H100 PCIe e H100 SXM como se a topologia não importasse

Para execuções em uma única GPU, PCIe pode ser suficiente. Para treinamento em várias GPUs, a topologia SXM, NVLink e NVSwitch pode alterar a eficiência de escalonamento. Veja o guia da Flatkey sobre H100 SXM vs PCIe para os detalhes.

Erro 3: Ignorar a sobrecarga de memória

Os pesos são apenas parte da memória de treinamento. Estados do otimizador, gradientes, ativações e buffers temporários podem dominar. Use a planilha de requisitos de memória de GPU para LLM antes de escolher uma GPU.

Erro 4: Tratar spot como economia gratuita

Spot pode funcionar para varreduras intensivas em checkpoints. É perigoso para fine-tunings longos e completos sem checkpointing confiável e automação de reinício.

Erro 5: Treinar quando o roteamento via API é suficiente

Se o seu produto precisa de saídas confiáveis, e não de checkpoints personalizados, compare primeiro o aluguel de GPU com um baseline de API de modelo. A Flatkey permite que equipes usem um único endpoint compatível com OpenAI em vários modelos, o que pode ser mais rápido do que manter uma stack de treinamento própria.

Lista de Verificação de Fontes

Use estas fontes para verificar os fatos atuais antes da compra:

Perguntas Frequentes

Qual é a melhor GPU para treinamento de LLM?

A melhor GPU para treinamento de LLM depende da tarefa. H100 SXM é a opção padrão mais segura para fine-tuning sério, H200 é melhor quando o espaço extra de memória importa, B200 é atraente para novos clusters de ponta, e GPUs A100/L40S/classe RTX podem ser a melhor escolha de orçamento para tuning de adaptadores.

Qual GPU tem o melhor desempenho para treinamento de LLM?

Para fine-tuning completo em larga escala e pretraining, sistemas B200 e da classe H200 podem superar GPUs mais antigas quando a stack de software e o cluster estão maduros. Para muitas equipes práticas, a H100 continua sendo o melhor equilíbrio entre desempenho e risco, porque capacidade, bibliotecas e suporte em nuvem estão amplamente disponíveis.

Qual é a melhor nuvem de GPU para treinamento de LLM?

A melhor nuvem de GPU para treinamento de LLM é o provedor que consegue colocar as GPUs certas junto com a rede e o armazenamento certos. Os hyperscalers atendem compras e conformidade corporativas. Nuvens especializadas em GPU geralmente oferecem acesso mais rápido à capacidade H100/H200/B200. Provedores no estilo pod atendem experimentos e jobs menores.

A B200 é sempre melhor que a H100 para treinamento de LLM?

Não. A B200 tem uma arquitetura mais nova e mais memória em sistemas como o DGX B200, mas a H100 ainda pode ser a melhor escolha quando é mais barata, fica disponível antes e já foi validada para o seu framework.

A H200 é melhor que a H100 para fine-tuning?

A H200 é melhor quando a maior pool de memória de 141GB ou a maior largura de banda de memória reduz divisões, offload ou concessões no tamanho de batch. Se o job couber confortavelmente na H100, a H100 pode entregar melhor eficiência de orçamento.

Posso treinar um LLM em GPUs de consumo?

Você pode fazer fine-tuning de modelos pequenos ou adapters em GPUs de consumo, especialmente com quantização. Para treinamento de produção de longa duração, verifique memória ECC, suporte de driver, refrigeração, armazenamento e recuperação de falhas. GPUs de consumo geralmente não são a melhor GPU para treinamento de LLM em escala de cluster.

Devo alugar GPUs ou usar uma API de modelo?

Alugue GPUs quando você precisar de propriedade de checkpoints, pesos personalizados, dados de treinamento proprietários ou controle offline. Use uma API de modelo quando o objetivo for qualidade da saída do produto, roteamento, avaliação ou controle de custos. A Flatkey é útil como a referência de API antes de se comprometer com treinamento em GPU.

Conclusão

A melhor GPU para treinamento de LLM é o sistema menor e confiável que se encaixa no seu método de treinamento e conclui o trabalho de forma previsível. Para o planejamento de 2026:

Use H100 SXM como a referência padrão para treinamento sério.
Migre para H200 quando a folga de memória reduzir a complexidade.
Considere B200 para novos clusters de alto nível, onde a disponibilidade e a maturidade do software estejam adequadas.
Use A100, L40S ou GPUs da classe RTX para ajuste fino de adaptadores com orçamento limitado e experimentos.
Compare cada plano de treinamento com uma referência de API de modelo da Flatkey antes de reservar GPUs.

Essa abordagem responde à verdadeira pergunta de compra: não "qual GPU parece melhor no papel", mas "qual configuração chega a um checkpoint bem-sucedido com o menor custo ajustado ao risco?"