大模型显存空间
显存用于模型权重、KV 缓存和运行状态。评估可运行的模型规模时,还需计算数值精度、上下文长度和并发带来的额外占用。
B300 将 HBM3e 显存、第二代 Transformer Engine 与第五代 NVLink 结合,用于计算、显存和通信需求较高的 AI 工作负载。
显存用于模型权重、KV 缓存和运行状态。评估可运行的模型规模时,还需计算数值精度、上下文长度和并发带来的额外占用。
第二代 Transformer Engine 支持低精度 Tensor Core 运算。采用 FP4 或 FP8 前,需要核对模型精度要求、框架、量化方法与算子支持。
第五代 NVLink 连接兼容 HGX 系统内的 GPU,为模型并行中的数据交换提供通路。跨节点训练还取决于独立的网络配置与拓扑。
Blackwell Ultra 对注意力计算进行了专门优化,面向推理模型和长上下文任务。实际收益取决于注意力实现、数值精度和运行配置。
从模型服务到分布式训练,按任务的显存、计算精度和 GPU 间通信需求选择配置。
按单 GPU 288 GB HBM3e 的容量规划模型权重与 KV 缓存。结合精度、上下文长度、批量大小和并发量,使用目标推理任务测量显存占用与吞吐。
利用 B300 显存容纳兼容微调或后训练任务的模型权重与训练状态。计入激活、梯度、优化器状态及检查点存储,并按实际显存预算验证训练方法和精度。
HGX B300 通过 NVLink 连接八张 GPU,用于模型并行训练。每 GPU 1.8 TB/s 是 HGX 内的双向总带宽;跨节点任务还需确认网络拓扑并测试通信性能。
Blackwell Ultra 针对长序列的注意力计算进行优化,可用于图像与视频模型。按分辨率、帧数、序列长度与精度规划显存,并确认框架和注意力算子支持相应计算路径。
以下数值按单颗 GPU 计算,不代表多 GPU 整机的合计规格。理论峰值不同于实际模型性能,也不代表完整实例的 CPU、系统内存、存储或跨节点网络配置。
| 规格 | 单 GPU 数值 |
|---|---|
| 架构 | Blackwell UltraBlackwell Ultra GPU 架构。 |
| GPU 显存 | 288 GB HBM3e存放模型权重、KV 缓存及运行状态。 |
| 显存带宽 | 7.7 TB/sGPU 与本地 HBM3e 显存之间的数据传输带宽。 |
| FP8 Tensor 算力 · Dense | 4.5 PFLOPS · Dense稠密 Tensor Core 运算的理论峰值。 |
| FP8 Tensor 算力 · Sparse | 9 PFLOPS · Sparse适用结构化稀疏运算条件下的理论峰值。 |
| GPU 互联 | 1.8 TB/s · NVLink 5兼容 HGX 系统内的 GPU 间双向总带宽。 |
租用前确认 CPU、系统内存、存储、网络和部署区域,以及报价与交付安排。
SOC 2 Type II 审计
ISO/IEC 27001 认证
GDPR 合规
从租赁方案与价格,到型号规格和应用场景,再与团队确认配置、报价和交付安排。
价格与可选实例配置请查看控制台或联系销售。
价格与可选实例配置请查看控制台或联系销售。
区分 GPU 芯片规格、整机平台与实际交付配置。
B300 基于 Blackwell Ultra,B200 基于 Blackwell。本页展示的配置中,单 GPU 显存分别为 288 GB 和 180 GB。显存容量不能直接换算为训练或推理速度;选型仍需结合精度、软件支持与实际任务测试。
不是。B300 是 GPU 型号,HGX B300 是由 8 个 B300 GPU 组成的平台。租用实例包含多少个 GPU,需要按所选配置确认。
不是。HGX B300 是用于 x86 服务器的 8 GPU 平台;GB300 NVL72 是结合 Grace CPU 与 72 个 Blackwell Ultra GPU 的机架级系统。两者的 CPU 架构、GPU 规模和交付形态不同,不能混用实例参数。
不是。这里的数值是兼容 HGX 系统内每个 GPU 的 NVLink 双向总带宽。跨节点通信取决于服务器网卡、交换网络与集群拓扑,需要单独确认。
在 GPU 需求页提供 B300 数量、首选部署地区、开始日期、使用时长和节点或网络要求,再核对具体实例配置、可用容量与报价。