成本、计费与运维2026年10月23日Flatkey Team

H200 vs H100（2026）：规格、实际性能、每小时价格与租用建议

2026年 NVIDIA H200 与 H100 对比：官方规格、141GB 显存对 70B 推理的意义、Flatkey Compute、RunPod 和 Lambda 的实际小时租价、Blackwell 替代方案，以及各类工作负载的选型建议。

H200 vs H100（2026）：规格、实际性能、每小时价格与租用建议

NVIDIA H200 可以看作显存更大、带宽更高的 H100：配备 141GB HBM3e 显存，带宽为 4.8TB/s；H100 SXM 则配备 80GB HBM3 显存，带宽为 3.35TB/s，两者的 Tensor Core 算力指标完全相同。因此，对于 70B 级 LLM 推理、长上下文和大批量处理等受显存容量或带宽限制的任务，H200 更合适；如果工作负载已经能装进 80GB 显存，H100 则价格更低，也更容易租到。2026年10月，H200 每 GPU 小时的租价通常比 H100 高约 30% 至 40%。

本文面向正在决定租用或预留哪款 GPU 的基础设施和 ML 团队。下文所有规格均来自 NVIDIA 产品页面，所有价格均来自公开定价页面，核查日期为 2026年10月23日。

H200 vs H100：快速选择

如果你的工作负载……	选择	原因
部署 70B 级模型、处理长提示词或高并发请求	H200	141GB 显存可用更少的 GPU 容纳模型权重和较大的 KV 缓存
已能装进 80GB 显存且留有余量（7B–34B 模型、LoRA 微调）	H100	算力相同，小时价格更低，供应更充足
大规模训练任务，且在 H100 集群上扩展良好	H100，同时测试 H200	受算力限制的训练步骤很难从更大显存中获益
受显存带宽限制的 HPC（仿真、基因组学、大规模 FFT）	H200	瓶颈在带宽；NVIDIA 宣称其 HPC 性能最高可达 CPU 的 110X
前沿模型训练，需要最新一代 GPU	B200 或 B300	Blackwell 性能领先这两款 Hopper GPU；详见下文

首先要验证的不是跑分排名，而是 H200 能否充分减少 GPU 数量、精度妥协或排队时间，从而抵消 H100 的低价优势。

NVIDIA H200 与 H100 规格对比

NVIDIA 的 H200 页面将其描述为“首款提供 141 吉字节（GB）HBM3e 显存、带宽达 4.8 太字节每秒（TB/s）的 GPU，显存容量接近 NVIDIA H100 GPU 的两倍，显存带宽为其 1.4X”。H100 页面列出了 SXM 和 NVL 两种版本。下表采用 NVIDIA 公布的数据（Tensor Core 指标按 NVIDIA 的口径，包含稀疏性加速）。

规格（NVIDIA，2026年10月）	H200 SXM	H200 NVL	H100 SXM	H100 NVL
架构	Hopper	Hopper	Hopper	Hopper
GPU 显存	141GB HBM3e	141GB HBM3e	80GB HBM3	94GB HBM3
显存带宽	4.8TB/s	4.8TB/s	3.35TB/s	3.9TB/s
FP8 Tensor Core	3,958 TFLOPS	3,341 TFLOPS	3,958 TFLOPS	3,341 TFLOPS
BF16 / FP16 Tensor Core	1,979 TFLOPS	1,671 TFLOPS	1,979 TFLOPS	1,671 TFLOPS
最大 TDP	最高 700W	最高 600W	最高 700W	350–400W
MIG 实例	最多 7 个，每个 18GB	最多 7 个，每个 16.5GB	最多 7 个，每个 10GB	最多 7 个，每个 12GB

有两点尤其值得关注：

算力相同。 H200 SXM 与 H100 SXM 公布的 FP8、BF16 和 TF32 Tensor Core 吞吐量一致，功耗上限也同为 700W。性能提升来自显存容量和带宽，而不是更多 FLOPS。
关键差别全在显存。 H200 比 H100 SXM 的显存容量大约多 76%，带宽大约高 43%。与 H100 NVL 相比，差距缩小至容量约多 50%、带宽约高 23%。

两款 GPU 使用相同的 CUDA 软件栈，H200 SXM 也适配相同的 HGX 主板设计，因此大多数容器、驱动和推理服务框架无需修改代码即可迁移。

为什么 141GB 会改变 LLM 推理服务的部署方式

LLM 推理时，每生成一个 token，都需要从显存读取模型权重和 KV 缓存。对于大模型，GPU 的大量时间都花在等待读取完成上，因此在解码阶段，显存带宽和容量比峰值 FLOPS 更重要。

以 70B 参数模型为例，按每个参数所占字节数简单计算如下：

精度	权重大小（70B）	单张 H100 SXM（80GB）的剩余显存	单张 H200（141GB）的剩余显存
FP16 / BF16（2 字节）	~140GB	装不下；需要 2+ 张 GPU	无法同时容纳有实用价值的 KV 缓存；使用 2 张
FP8（1 字节）	~70GB	~10GB 用于 KV 缓存和其他开销	~71GB 用于 KV 缓存和其他开销
INT4（0.5 字节）	~35GB	~45GB	~106GB

在 FP8 精度下，H100 几乎没有多少空间留给 KV 缓存，因此要么将模型分片部署到两张 GPU 上，要么限制批大小和上下文长度。H200 则能在单张 GPU 上运行同一个模型，剩余显存是 H100 的七倍，可用于支持并发请求和长提示词。这就是“容量接近两倍”的实际意义。要计算你自己的模型需求，可以参考我们的 LLM GPU 显存需求指南，其中详细介绍了 KV 缓存公式。

H200 与 H100 性能对比

NVIDIA 的 H200 页面称，在其自行设定的批大小和序列长度下，H200 的 Llama 2 70B 推理速度为 H100 的 1.9X，GPT-3 175B 推理速度为 H100 的 1.6X。应将这些视为厂商给出的性能提升上限。实际选型时，需要区分三种情况：

受显存带宽或容量限制的 LLM 推理

这是 H200 优势最明显的场景。更高的带宽能加快每一步解码，更大的容量则允许增大批大小，从而提高单 GPU 吞吐量。70B 级模型、长上下文 RAG 和高并发场景获益最大。关于推理引擎和批处理设置，可参考 vLLM 与 SGLang 对比。

训练与微调

由于算力相同，受算力限制的训练步骤运行速度大致相同。当显存限制了微批大小、序列长度，或迫使你使用激活重计算时，H200 才能发挥优势。如果 H100 集群已经具备良好的扩展能力，就更难证明 H200 的溢价值得。集群层面的取舍可参考 LLM 训练的最佳 GPU。

受算力或处理流水线限制的任务

如果瓶颈在预处理、数据加载、存储或网络，两款 GPU 都只能等待，等待时间也一样。在为用不上的显存付费之前，先分析 GPU 利用率、HBM 带宽使用率和每秒 token 数。

H200 与 H100 价格对比：2026年10月每小时各要多少钱

来源（核查于 2026年10月23日）	H100	H200	差价
Flatkey Compute 市场指数，按需价格中位数	$2.64/GPU-hr	$3.65/GPU-hr	+38%
Flatkey Compute 指数，1 年期参考价	$1.98	$2.74	+38%
RunPod Pods（页面更新于 2026年10月8日）	$3.99（SXM）、$2.89（PCIe）、$3.19（NVL）	$5.29	比 SXM 高 +33%
Lambda 实例，1x	$4.29（SXM）、$3.29（PCIe）	未列出可自助租用的 H200 价格项	不适用
AWS EC2 P5/P5e	P5：8x H100，640GB HBM3	P5e/P5en：8x H200，1,128GB HBM3e	按区域定价

Flatkey 指数更新于 2026年10月23日 02:01 UTC（北京时间 10:01），综合了市场实时卖方报价和 GPU 专业云服务商的公开价格，因此具体报价可能有所不同。Lambda 还列出了 16-GPU H100 集群合约，价格为每 GPU 小时 $6.16，可见配置和合约期限对价格的影响很大。

衡量溢价的一个实用口径是每 GB GPU 显存的价格。按 Flatkey 指数计算，H200 每 GB 小时约为 $0.026，H100 约为 $0.033。如果你的瓶颈是显存，那么按实际所需资源的单位成本计算，H200 反而更便宜。

应比较完成工作负载的成本，而不只是小时单价：

cost per job = hourly price x GPUs x wall-clock hours
             + storage + egress + idle/queue time
             + failed-run and retry cost + engineering time for sharding

例如，按上面的指数价格，以目标批大小部署一个 70B FP8 模型，可能需要 2x H100（2 x $2.64 = 每小时 $5.28），也可能只需 1x H200（每小时 $3.65）。如果一张 H200 就能达到你的延迟目标，即使单卡更贵，每小时推理服务成本仍可降低约 31%。在作出决定前，先用你自己的提示词测试。更多价格背景可参考我们的 H200 GPU 价格指南和 GPU 租用价格指南。

有比 H200 更好的选择吗？

有。H200 是 Hopper 系列最后推出、显存容量最大的一款 GPU，但 NVIDIA 的 Blackwell 一代更新、速度也更快：

B200：NVIDIA 的 DGX B200列出的 8 张 GPU 合计拥有 1,440GB HBM3e 显存和 64TB/s 带宽，折合每 GPU 为 180GB 和 8TB/s，还支持 Hopper 不具备的 FP4。2026年10月23日，RunPod 列出的 B200 价格为 $7.99/hr，Lambda 则为每 GPU 小时 $6.69 至 $6.89。
B300（Blackwell Ultra）：RunPod 列出的每张 B300 配备 288GB HBM3e 显存，价格为 $8.99/hr；Flatkey Compute 指数显示的按需价格中位数为 $7.70。

因此，H200 并不是 2026年最先进的 NVIDIA 数据中心 GPU。不过，对于显存需求大的推理任务，它往往仍是性价比最高的选择，因为 Blackwell 算力资源的小时价格约为其两倍，也更难租到。我们的 B200 与 H200 对比和 B300 与 B200 指南进一步介绍了这一步升级的取舍。

按工作负载选择

工作负载	优先选择	原因
使用长提示词的 70B LLM 推理	H200	FP8 精度下单张 GPU 即可容纳，还能留出 KV 缓存空间
7B–34B 推理，上下文长度适中	H100	显存充足，价格更低
高并发聊天服务	两者都测试	H200 可提高单副本每秒 token 数；H100 可能在价格上占优
全模型训练	首选 H100，显存成为瓶颈时选 H200	算力相同，集群方案成熟
微调 / LoRA	大多数任务选 H100	只有序列长度或基础模型大小导致显存吃紧时，才需要 H200
显存需求大的 HPC	H200	4.8TB/s 带宽是值得多花钱的主要原因
开发与调试	H100 或更便宜的 GPU	在明确工作负载特征之前，不必为更大显存付费

简单的 H100 与 H200 测试方案

定义目标指标：每秒 token 数、每条被接受回答的成本，或每个训练步骤的耗时。
使用贴近生产环境的输入：采用真实的提示词和输出长度、检索上下文及并发量。
保持质量一致：不要为了让模型装得下，就让其中一款 GPU 使用质量更低的量化方案。
记录 GPU 数量和利用率：对于部分推理服务规格，一张 H200 可能替代两张 H100。
跟踪显存不足后的重试次数和排队时间：本周租不到的 H100，实际成本可能高于随时可用的 H200。
在不同时段重复测试：市场价格会变化；Flatkey 指数显示，在此前 30 天内，H100 价格下降了 7.0%，H200 则上涨了 2.5%。

什么时候模型 API 比租用这两款 GPU 更合适

如果你只需要前沿模型或热门开放模型的输出，可能完全不必租用 GPU。对于流量突发、经常更换模型以及规模较小的团队，按 token 计费的 API 通常更合适。我们的 GPU 云与模型 API 对比指南解释了两种方案的成本分界点。Flatkey 同时提供这两类服务：模型 API可用一个密钥接入多家提供商；Flatkey Compute 则提供 H100、H200、B200 和 B300 算力资源，并在 24 小时内报价。

常见问题

H200 与 H100 的成本差多少？

2026年10月23日，Flatkey Compute 指数显示，H200 的按需价格中位数为每 GPU 小时 $3.65，H100 为 $2.64，H200 约贵 38%。RunPod 列出的 H200 价格为 $5.29，H100 SXM 为 $3.99，H200 约贵 33%。按每 GB 显存计算，H200 更便宜。

H200 比 H100 更快吗？

对于受显存带宽或容量限制的 LLM 推理，是的：NVIDIA 称其 Llama 2 70B 推理速度最高可达 H100 的 1.9X。对于受算力限制的训练，两者公布的 Tensor Core 吞吐量相同，因此除非显存限制了批大小或序列长度，否则提升很小。

有比 H200 更好的选择吗？

有。NVIDIA 的 Blackwell B200（180GB HBM3e，每 GPU 约 8TB/s）和 Blackwell Ultra B300（288GB HBM3e）更新、速度也更快，而且 NVIDIA 已公布 Vera Rubin 一代；详见我们的 Vera Rubin 指南。它们的小时价格也约为 H200 的两倍。