80 GB HBM3 显存
显存预算需包含模型权重、KV 缓存和运行状态。训练还需为激活值、梯度与优化器状态预留空间,不能只按参数量确定 GPU 数量。
H100 结合第四代 Tensor Core、Hopper Transformer Engine 与第四代 NVLink。选型时需结合模型、计算精度和通信需求核对软件与互联拓扑。
显存预算需包含模型权重、KV 缓存和运行状态。训练还需为激活值、梯度与优化器状态预留空间,不能只按参数量确定 GPU 数量。
Hopper Transformer Engine 支持 FP8 与更高精度计算。使用 FP8 需要兼容的框架、算子及数值验证,并非所有模型都会自动采用 FP8。
H100 SXM 单 GPU 的 NVLink 双向总带宽为 900 GB/s。实际 GPU 连接方式取决于服务器平台、NVSwitch 配置和分配的 GPU。
硬件可将单张 GPU 划分为最多七个隔离的 GPU 实例。是否开放 MIG、分区大小及访问方式需以实际租用配置为准。
从模型服务到分布式训练,按任务的显存、计算精度和 GPU 间通信需求选择配置。
使用兼容 Hopper 的 FP8 算子与 Transformer Engine 运行模型。验证数值精度和回退精度;H100 不提供原生 FP4 Tensor Core 计算。
按 80 GB HBM3 预算模型权重、KV 缓存与运行缓冲区。上下文长度、批量大小和并发请求共同决定可供模型服务使用的显存。
除模型权重外,还需计入激活值、梯度与优化器状态。规划检查点存储和读写开销,并确认训练状态是否需要分布到多张 GPU。
结合实际 NVLink 拓扑及每 GPU 900 GB/s 双向总带宽评估并行策略。跨节点训练还需单独确认网卡、交换网络与主机资源。
以下数值对应 H100 SXM 80 GB,不适用于 H100 PCIe 或 H100 NVL。Tensor Core 理论峰值不代表实际模型吞吐,也不代表完整实例的 CPU、内存、存储和网络配置。
| 规格 | 单 GPU 数值 |
|---|---|
| 架构 | HopperHopper GPU 架构。 |
| GPU 显存 | 80 GB HBM3存放模型权重、KV 缓存及运行状态。 |
| 显存带宽 | 3.35 TB/sGPU 与本地 HBM3 显存之间的数据传输带宽。 |
| FP8 Tensor 算力 · Dense | 1,979 TFLOPS稠密 Tensor Core 运算的理论峰值。 |
| FP8 Tensor 算力 · Sparse | 3,958 TFLOPS适用结构化稀疏运算条件下的理论峰值。 |
| GPU 互联 | 900 GB/s · NVLink 4兼容 HGX 系统内的 GPU 间双向总带宽。 |
租用前确认 CPU、系统内存、存储、网络和部署区域,以及报价与交付安排。
SOC 2 Type II 审计
ISO/IEC 27001 认证
GDPR 合规
从租赁方案与价格,到型号规格和应用场景,再与团队确认配置、报价和交付安排。
价格与可选实例配置请查看控制台或联系销售。
价格与可选实例配置请查看控制台或联系销售。
区分 GPU 芯片规格、整机平台与实际交付配置。
不是。本页采用 80 GB HBM3 的 SXM 参考规格。H100 PCIe 的规格不同,H100 NVL 则为单 GPU 94 GB,互联方式也不同。请确认具体 SKU,不要混用不同版本的参数。
Hopper 可通过兼容软件与 Transformer Engine 使用 FP8 Tensor Core 计算。H100 不具备 Blackwell 的原生 FP4 Tensor Core 路径。选择精度前,需要核对模型准确率、框架与算子支持。
不是。该数值是每张 H100 SXM GPU 的 NVLink 双向总带宽。服务器之间的通信取决于网卡、交换网络和集群拓扑,需要单独确认。
提供 GPU 数量、首选地区、开始日期和租期,以及 CPU、系统内存、存储与网络要求,再通过控制台或销售核对具体实例、GPU 拓扑、可用容量与报价。