NVIDIA H100 GPU 租赁

Hopper 架构,单 GPU 配备 80 GB HBM3 显存。以 H100 SXM 为参考配置,用于大语言模型推理、微调与分布式训练。

价格与可选实例配置请查看控制台或联系销售。

GPU 显存
80 GB HBM3
显存带宽
3.35 TB/s
架构
Hopper
核心能力

面向大模型训练与推理

H100 结合第四代 Tensor Core、Hopper Transformer Engine 与第四代 NVLink。选型时需结合模型、计算精度和通信需求核对软件与互联拓扑。

80 GB HBM3 显存

显存预算需包含模型权重、KV 缓存和运行状态。训练还需为激活值、梯度与优化器状态预留空间,不能只按参数量确定 GPU 数量。

FP8 Transformer Engine

Hopper Transformer Engine 支持 FP8 与更高精度计算。使用 FP8 需要兼容的框架、算子及数值验证,并非所有模型都会自动采用 FP8。

第四代 NVLink

H100 SXM 单 GPU 的 NVLink 双向总带宽为 900 GB/s。实际 GPU 连接方式取决于服务器平台、NVSwitch 配置和分配的 GPU。

第二代 MIG

硬件可将单张 GPU 划分为最多七个隔离的 GPU 实例。是否开放 MIG、分区大小及访问方式需以实际租用配置为准。

工作负载

H100 SXM 适合哪些任务

从模型服务到分布式训练,按任务的显存、计算精度和 GPU 间通信需求选择配置。

使用兼容 Hopper 的 FP8 算子与 Transformer Engine 运行模型。验证数值精度和回退精度;H100 不提供原生 FP4 Tensor Core 计算。

按 80 GB HBM3 预算模型权重、KV 缓存与运行缓冲区。上下文长度、批量大小和并发请求共同决定可供模型服务使用的显存。

除模型权重外,还需计入激活值、梯度与优化器状态。规划检查点存储和读写开销,并确认训练状态是否需要分布到多张 GPU。

结合实际 NVLink 拓扑及每 GPU 900 GB/s 双向总带宽评估并行策略。跨节点训练还需单独确认网卡、交换网络与主机资源。

技术规格

H100 SXM 80 GB 参考规格

以下数值对应 H100 SXM 80 GB,不适用于 H100 PCIe 或 H100 NVL。Tensor Core 理论峰值不代表实际模型吞吐,也不代表完整实例的 CPU、内存、存储和网络配置。

H100 SXM 80 GB 参考规格
规格单 GPU 数值
架构HopperHopper GPU 架构。
GPU 显存80 GB HBM3存放模型权重、KV 缓存及运行状态。
显存带宽3.35 TB/sGPU 与本地 HBM3 显存之间的数据传输带宽。
FP8 Tensor 算力 · Dense1,979 TFLOPS稠密 Tensor Core 运算的理论峰值。
FP8 Tensor 算力 · Sparse3,958 TFLOPS适用结构化稀疏运算条件下的理论峰值。
GPU 互联900 GB/s · NVLink 4兼容 HGX 系统内的 GPU 间双向总带宽。

部署配置

租用前确认 CPU、系统内存、存储、网络和部署区域,以及报价与交付安排。

GPU 与主机资源
核对每个实例的 GPU 数量、可用显存、CPU 核心数和系统内存,确认是否满足模型、数据预处理与并发需求。
存储与互联
确认存储类型、容量与数据持久性;多 GPU 或多节点任务还需核对 GPU 互联方式、网络带宽及拓扑。
区域与租期
根据数据位置和使用计划确认部署区域、开始日期及租用周期,并核实所选配置的资源可用情况。
报价与交付
核对计费单位、报价包含的资源、交付时间和访问方式,确认存储、网络流量等费用是否包含在报价内。
  • SOC 2 Type II 审计

  • ISO/IEC 27001 认证

  • GDPR 合规

找到适合你工作负载的 GPU

从租赁方案与价格,到型号规格和应用场景,再与团队确认配置、报价和交付安排。

立即租用 GPUNVIDIAB300了解 B300 配置与规格NVIDIAB200了解 B200 配置与规格NVIDIAH200了解 H200 配置与规格NVIDIAA100了解 A100 配置与规格NVIDIARTX 5090了解 RTX 5090 配置与规格
H100

现在一张卡一小时值多少钱。

价格与可选实例配置请查看控制台或联系销售。

行情参考美元 / 卡 / 小时
$2.74
30 天

价格与可选实例配置请查看控制台或联系销售。

选型与租赁

常见问题

区分 GPU 芯片规格、整机平台与实际交付配置。

H100 SXM、PCIe 与 NVL 是同一配置吗?

不是。本页采用 80 GB HBM3 的 SXM 参考规格。H100 PCIe 的规格不同,H100 NVL 则为单 GPU 94 GB,互联方式也不同。请确认具体 SKU,不要混用不同版本的参数。

H100 支持 FP8 和 FP4 吗?

Hopper 可通过兼容软件与 Transformer Engine 使用 FP8 Tensor Core 计算。H100 不具备 Blackwell 的原生 FP4 Tensor Core 路径。选择精度前,需要核对模型准确率、框架与算子支持。

900 GB/s NVLink 就是跨节点网速吗?

不是。该数值是每张 H100 SXM GPU 的 NVLink 双向总带宽。服务器之间的通信取决于网卡、交换网络和集群拓扑,需要单独确认。

如何确认配置与报价?

提供 GPU 数量、首选地区、开始日期和租期,以及 CPU、系统内存、存储与网络要求,再通过控制台或销售核对具体实例、GPU 拓扑、可用容量与报价。

租用 NVIDIA H100 SXM GPU

查看实例配置,或提交 GPU 数量、区域和租期,获取报价。