180 GB HBM3e 显存
存放模型权重、KV 缓存与工作数据。上下文长度、并发量和训练状态共同决定所需的额外显存。
B200 结合大容量 HBM3e、第二代 Transformer Engine 与第五代 NVLink。按模型状态、数值精度和 GPU 间通信需求规划系统。
存放模型权重、KV 缓存与工作数据。上下文长度、并发量和训练状态共同决定所需的额外显存。
第二代 Transformer Engine 支持低精度训练与推理。采用 FP4 或 FP8 时,需核对模型、量化方法、框架和算子兼容性。
HGX B200 通过 NVLink 与 NVSwitch 连接八张 GPU,每 GPU 双向总带宽为 1.8 TB/s。跨节点网络需要单独确认。
Blackwell 通过 10 TB/s 的芯粒间接口连接两个芯粒,并作为单个 CUDA GPU 使用。该内部链路不同于 GPU 之间的 NVLink。
从模型服务到分布式训练,按任务的显存、计算精度和 GPU 间通信需求选择配置。
部署量化语言模型或 MoE 时,在 180 GB HBM3e 预算中计算权重、KV 缓存和运行缓冲区。选择 FP4 或 FP8 前,先验证算子支持与模型精度。
微调及其他后训练任务需同时计算权重、激活、梯度与优化器状态。按完整训练状态确定 GPU 数量和并行策略,并为检查点规划存储。
模型跨多张 GPU 时,评估八 GPU HGX 拓扑与每 GPU 1.8 TB/s 双向 NVLink。任务扩展到多个节点时,还需单独确认集群网络和通信策略。
运行文本、图像或视频模型时,将编码器激活、输入分辨率和序列长度纳入 180 GB 显存预算。扩大图像、帧数或批量前,验证算子与数值精度支持。
以下数值按单颗 GPU 计算,不代表多 GPU 整机的合计规格。理论峰值不同于实际模型性能,也不代表完整实例的 CPU、系统内存、存储或跨节点网络配置。
| 规格 | 单 GPU 数值 |
|---|---|
| 架构 | BlackwellBlackwell GPU 架构。 |
| GPU 显存 | 180 GB HBM3e存放模型权重、KV 缓存及运行状态。 |
| 显存带宽 | 7.7 TB/sGPU 与本地 HBM3e 显存之间的数据传输带宽。 |
| FP8 Tensor 算力 · Dense | 4.5 PFLOPS · Dense稠密 Tensor Core 运算的理论峰值。 |
| FP8 Tensor 算力 · Sparse | 9 PFLOPS · Sparse适用结构化稀疏运算条件下的理论峰值。 |
| GPU 互联 | 1.8 TB/s · NVLink 5兼容 HGX 系统内的 GPU 间双向总带宽。 |
租用前确认 CPU、系统内存、存储、网络和部署区域,以及报价与交付安排。
SOC 2 Type II 审计
ISO/IEC 27001 认证
GDPR 合规
从租赁方案与价格,到型号规格和应用场景,再与团队确认配置、报价和交付安排。
价格与可选实例配置请查看控制台或联系销售。
价格与可选实例配置请查看控制台或联系销售。
区分 GPU 芯片规格、整机平台与实际交付配置。
不是。HGX B200 是用于 x86 服务器的八 GPU Blackwell 平台;GB200 NVL72 是包含 72 张 Blackwell GPU 与 36 颗 Grace CPU 的机架级系统。两者的 CPU 架构、显存规格和交付形态不同。
本页采用的 NVIDIA 数据表在 HGX B200 一栏列出单 GPU 7.7 TB/s;另一份 NVIDIA 参考架构列出最高 8 TB/s。本页保留数据表数值,选择实例时应确认具体硬件规格。
不等于。FP8 Dense 与 Sparse 数值是 Tensor Core 理论峰值,Sparse 需要满足相应稀疏条件。FP4、FP8 还需要兼容的模型格式和算子,应使用目标模型与运行环境实测精度、延迟和吞吐。
在 GPU 需求页说明 B200 数量、首选地区、开始日期、租期及单节点或多节点需求。下单前确认具体配置、容量、访问方式与报价。