NVIDIA H200 GPU 租赁

Hopper 架构,单 GPU 配备 141 GB HBM3e 显存与 4.8 TB/s 显存带宽。本页采用 H200 SXM 参考规格,面向模型推理、微调和多 GPU 训练。

价格与可选实例配置请查看控制台或联系销售。

GPU 显存
141 GB HBM3e
显存带宽
4.8 TB/s
架构
Hopper
核心能力

面向大模型训练与推理

H200 SXM 结合 HBM3e 显存、Hopper Tensor Core 与第四代 NVLink。按目标工作负载评估显存容量、低精度软件支持和通信需求。

141 GB HBM3e 显存

相比 80 GB H100 SXM 参考规格,为模型权重、KV 缓存和训练状态提供更多空间。可运行模型规模仍取决于数值精度、上下文和并发量。

4.8 TB/s 显存带宽

HBM3e 接口在显存与计算单元之间传输模型参数和工作数据。对推理或科学计算的实际收益取决于任务的访存模式。

Hopper Transformer Engine

第四代 Tensor Core 与 Transformer Engine 支持 FP8 和 16 位运算。选择低精度前,需核对框架、算子及模型精度支持。

第四代 NVLink

H200 SXM 在兼容系统中提供每 GPU 900 GB/s 的 NVLink 双向总带宽。多节点任务还需要单独确认网卡配置与网络拓扑。

工作负载

H200 适合哪些任务

从模型服务到分布式训练,按任务的显存、计算精度和 GPU 间通信需求选择配置。

当模型权重和工作数据决定资源需求时,对照 H100 SXM 的 80 GB 参考规格,评估 141 GB HBM3e 与 4.8 TB/s。按完整显存需求选择 GPU 数量,并实测任务的访存表现。

在 141 GB 预算中扣除权重和运行缓冲区后,为 KV 缓存预留空间。上下文长度与并发序列共同占用这部分显存,设置服务容量前需测试两者的组合上限。

除模型权重外,还需计算激活、梯度和优化器状态。适配器微调与全参数微调的状态需求不同,应按所选方法验证显存占用与 FP8 软件支持。

按 H200 SXM 每 GPU 900 GB/s 双向 NVLink 参考值,评估兼容节点内的通信需求。跨节点训练需另外确认集群网络,以及并行策略如何使用该网络。

技术规格

H200 SXM 单 GPU 参考规格

以下数值按单颗 GPU 计算,不代表多 GPU 整机的合计规格。理论峰值不同于实际模型性能,也不代表完整实例的 CPU、系统内存、存储或跨节点网络配置。

H200 SXM 单 GPU 参考规格
规格单 GPU 数值
架构HopperHopper GPU 架构。
GPU 显存141 GB HBM3e存放模型权重、KV 缓存及运行状态。
显存带宽4.8 TB/sGPU 与本地 HBM3e 显存之间的数据传输带宽。
FP8 Tensor 算力 · Dense1,979 TFLOPS · Dense稠密 Tensor Core 运算的理论峰值。
FP8 Tensor 算力 · Sparse3,958 TFLOPS · Sparse适用结构化稀疏运算条件下的理论峰值。
GPU 互联900 GB/s · NVLink 4兼容 HGX 系统内的 GPU 间双向总带宽。

部署配置

租用前确认 CPU、系统内存、存储、网络和部署区域,以及报价与交付安排。

GPU 与主机资源
核对每个实例的 GPU 数量、可用显存、CPU 核心数和系统内存,确认是否满足模型、数据预处理与并发需求。
存储与互联
确认存储类型、容量与数据持久性;多 GPU 或多节点任务还需核对 GPU 互联方式、网络带宽及拓扑。
区域与租期
根据数据位置和使用计划确认部署区域、开始日期及租用周期,并核实所选配置的资源可用情况。
报价与交付
核对计费单位、报价包含的资源、交付时间和访问方式,确认存储、网络流量等费用是否包含在报价内。
  • SOC 2 Type II 审计

  • ISO/IEC 27001 认证

  • GDPR 合规

找到适合你工作负载的 GPU

从租赁方案与价格,到型号规格和应用场景,再与团队确认配置、报价和交付安排。

立即租用 GPUNVIDIAB300了解 B300 配置与规格NVIDIAB200了解 B200 配置与规格NVIDIAH100了解 H100 配置与规格NVIDIAA100了解 A100 配置与规格NVIDIARTX 5090了解 RTX 5090 配置与规格
H200

现在一张卡一小时值多少钱。

价格与可选实例配置请查看控制台或联系销售。

行情参考美元 / 卡 / 小时
$3.71
30 天

价格与可选实例配置请查看控制台或联系销售。

选型与租赁

常见问题

区分 GPU 芯片规格、整机平台与实际交付配置。

H200 SXM 与 H100 SXM 有什么区别?

两者均采用 Hopper。H200 SXM 配备 141 GB HBM3e 和 4.8 TB/s 显存带宽,H100 SXM 参考规格为 80 GB HBM3 和 3.35 TB/s。额外显存可以改变模型放置与批量规划,但不代表所有应用都有相同加速比。

H200 SXM 与 H200 NVL 可以混用规格吗?

不能。两者均列出 141 GB、4.8 TB/s,但形态、算力和功耗规格不同。NVIDIA 列出的 FP8 Sparse 为 SXM 3,958 TFLOPS、NVL 3,341 TFLOPS。本页使用 SXM 数值,交付前应确认具体变体及 GPU 拓扑。

FP8 Dense 与 Sparse 数值分别代表什么?

数据表中的 3,958 TFLOPS 是稀疏条件下的理论峰值。Dense 1,979 TFLOPS 按 NVIDIA Hopper 说明中的结构化稀疏 2 倍吞吐关系折算。Sparse 需要相应运算条件,FP8 需要软件支持与模型精度验证,两项数值均不等于模型吞吐。

如何提交 H200 配置与访问需求?

在 GPU 需求页注明 H200 SXM、GPU 数量、首选地区、开始日期、租期及节点或网络需求。下单前确认具体变体、容量、配置、访问方式与报价。

租用 NVIDIA H200 GPU

查看实例配置,或提交 GPU 数量、区域和租期,获取报价。