141 GB HBM3e 显存
相比 80 GB H100 SXM 参考规格,为模型权重、KV 缓存和训练状态提供更多空间。可运行模型规模仍取决于数值精度、上下文和并发量。
H200 SXM 结合 HBM3e 显存、Hopper Tensor Core 与第四代 NVLink。按目标工作负载评估显存容量、低精度软件支持和通信需求。
相比 80 GB H100 SXM 参考规格,为模型权重、KV 缓存和训练状态提供更多空间。可运行模型规模仍取决于数值精度、上下文和并发量。
HBM3e 接口在显存与计算单元之间传输模型参数和工作数据。对推理或科学计算的实际收益取决于任务的访存模式。
第四代 Tensor Core 与 Transformer Engine 支持 FP8 和 16 位运算。选择低精度前,需核对框架、算子及模型精度支持。
H200 SXM 在兼容系统中提供每 GPU 900 GB/s 的 NVLink 双向总带宽。多节点任务还需要单独确认网卡配置与网络拓扑。
从模型服务到分布式训练,按任务的显存、计算精度和 GPU 间通信需求选择配置。
当模型权重和工作数据决定资源需求时,对照 H100 SXM 的 80 GB 参考规格,评估 141 GB HBM3e 与 4.8 TB/s。按完整显存需求选择 GPU 数量,并实测任务的访存表现。
在 141 GB 预算中扣除权重和运行缓冲区后,为 KV 缓存预留空间。上下文长度与并发序列共同占用这部分显存,设置服务容量前需测试两者的组合上限。
除模型权重外,还需计算激活、梯度和优化器状态。适配器微调与全参数微调的状态需求不同,应按所选方法验证显存占用与 FP8 软件支持。
按 H200 SXM 每 GPU 900 GB/s 双向 NVLink 参考值,评估兼容节点内的通信需求。跨节点训练需另外确认集群网络,以及并行策略如何使用该网络。
以下数值按单颗 GPU 计算,不代表多 GPU 整机的合计规格。理论峰值不同于实际模型性能,也不代表完整实例的 CPU、系统内存、存储或跨节点网络配置。
| 规格 | 单 GPU 数值 |
|---|---|
| 架构 | HopperHopper GPU 架构。 |
| GPU 显存 | 141 GB HBM3e存放模型权重、KV 缓存及运行状态。 |
| 显存带宽 | 4.8 TB/sGPU 与本地 HBM3e 显存之间的数据传输带宽。 |
| FP8 Tensor 算力 · Dense | 1,979 TFLOPS · Dense稠密 Tensor Core 运算的理论峰值。 |
| FP8 Tensor 算力 · Sparse | 3,958 TFLOPS · Sparse适用结构化稀疏运算条件下的理论峰值。 |
| GPU 互联 | 900 GB/s · NVLink 4兼容 HGX 系统内的 GPU 间双向总带宽。 |
租用前确认 CPU、系统内存、存储、网络和部署区域,以及报价与交付安排。
SOC 2 Type II 审计
ISO/IEC 27001 认证
GDPR 合规
从租赁方案与价格,到型号规格和应用场景,再与团队确认配置、报价和交付安排。
价格与可选实例配置请查看控制台或联系销售。
价格与可选实例配置请查看控制台或联系销售。
区分 GPU 芯片规格、整机平台与实际交付配置。
两者均采用 Hopper。H200 SXM 配备 141 GB HBM3e 和 4.8 TB/s 显存带宽,H100 SXM 参考规格为 80 GB HBM3 和 3.35 TB/s。额外显存可以改变模型放置与批量规划,但不代表所有应用都有相同加速比。
不能。两者均列出 141 GB、4.8 TB/s,但形态、算力和功耗规格不同。NVIDIA 列出的 FP8 Sparse 为 SXM 3,958 TFLOPS、NVL 3,341 TFLOPS。本页使用 SXM 数值,交付前应确认具体变体及 GPU 拓扑。
数据表中的 3,958 TFLOPS 是稀疏条件下的理论峰值。Dense 1,979 TFLOPS 按 NVIDIA Hopper 说明中的结构化稀疏 2 倍吞吐关系折算。Sparse 需要相应运算条件,FP8 需要软件支持与模型精度验证,两项数值均不等于模型吞吐。
在 GPU 需求页注明 H200 SXM、GPU 数量、首选地区、开始日期、租期及节点或网络需求。下单前确认具体变体、容量、配置、访问方式与报价。