80 GB HBM2e 显存
显存需容纳权重、KV 缓存和运行缓冲区。微调还需要激活值、梯度与优化器状态;80 GB 并不保证模型在任意精度或上下文长度下均可运行。
A100 结合第三代 Tensor Core、HBM2e 显存与第三代 NVLink。请按实际任务和实例配置评估显存需求、计算精度支持及 GPU 连接方式。
显存需容纳权重、KV 缓存和运行缓冲区。微调还需要激活值、梯度与优化器状态;80 GB 并不保证模型在任意精度或上下文长度下均可运行。
第三代 Tensor Core 支持兼容任务的 FP16、BF16 和 TF32 运算。A100 不具备新架构的原生 FP8 或 FP4 Tensor Core 路径,需据此选择算子和精度。
A100 参考规格的单 GPU NVLink 双向总带宽为 600 GB/s。GPU 连接取决于 SXM 平台和拓扑,实际交付的租用配置仍需核对。
硬件可将单张 A100 划分为最多七个具有独立资源的隔离 GPU 实例。这项硬件能力不代表所有租用配置都提供 MIG 分区。
从模型服务到分布式训练,按任务的显存、计算精度和 GPU 间通信需求选择配置。
使用兼容 Ampere 的 Tensor Core 算子运行现有训练代码。核对框架、算子与精度支持;不要按 A100 具备原生 FP8 或 FP4 计算能力来规划任务。
按 80 GB HBM2e 预算权重、KV 缓存与运行状态;微调还需计入激活值、梯度和优化器状态。根据实测显存占用选择上下文长度、批量大小与精度。
每个副本都需为模型与训练状态分配显存。结合实际 NVLink 拓扑与每 GPU 600 GB/s 双向总带宽评估集合通信;跨节点任务还需核对主机与网络配置。
使用兼容 Ampere 的 CUDA 算子运行图像、语音或文本模型。估算显存时计入编码器输出、激活值、输入分辨率与序列长度,并核对各模型组件的软件支持。
以下为 80 GB SXM 的硬件参考,不代表已确认的租用 SKU。A100 40 GB 与 PCIe 版本的规格不同。Tensor Core 理论峰值不代表实测模型吞吐,也不代表完整服务器配置。
| 规格 | 单 GPU 数值 |
|---|---|
| 架构 | AmpereAmpere GPU 架构。 |
| GPU 显存 | 80 GB HBM2e存放模型权重、KV 缓存及运行状态。 |
| 显存带宽 | 2,039 GB/sGPU 与本地 HBM2e 显存之间的数据传输带宽。 |
| FP16/BF16 Tensor 算力 · Dense | 312 TFLOPS稠密 Tensor Core 运算的理论峰值。 |
| FP16/BF16 Tensor 算力 · Sparse | 624 TFLOPS适用结构化稀疏运算条件下的理论峰值。 |
| GPU 互联 | 600 GB/s · NVLink 3兼容 HGX 系统内的 GPU 间双向总带宽。 |
租用前确认 CPU、系统内存、存储、网络和部署区域,以及报价与交付安排。
SOC 2 Type II 审计
ISO/IEC 27001 认证
GDPR 合规
从租赁方案与价格,到型号规格和应用场景,再与团队确认配置、报价和交付安排。
价格与可选实例配置请查看控制台或联系销售。
价格与可选实例配置请查看控制台或联系销售。
区分 GPU 芯片规格、整机平台与实际交付配置。
两者的显存容量和显存带宽不同。本页采用 80 GB HBM2e SXM 参考规格。更多显存可容纳更大的权重、缓存或训练状态,但不代表模型性能直接翻倍;仍需结合精度、上下文长度和批量大小评估。
不可以。80 GB SXM 参考显存带宽为 2,039 GB/s,80 GB PCIe 则为 1,935 GB/s,安装与多 GPU 连接方式也不同。仅凭产品目录中的 A100 80GB 名称,不能确定实际交付版本。
不支持。A100 的 Ampere Tensor Core 支持 FP16、BF16、TF32 等格式,但不支持原生 FP8 或 FP4 Tensor Core 计算。624 TFLOPS 的 FP16/BF16 数值需满足支持的结构化稀疏条件,Dense 稠密计算为 312 TFLOPS。
请确认具体 GPU 版本、数量、地区、开始日期、租期,以及 CPU、内存、存储与网络要求。600 GB/s NVLink 参考值不是跨节点网速;还需核对具体实例的 GPU 拓扑、可用容量与报价。