NVIDIA A100 GPU 租赁

Ampere 架构,单 GPU 配备 80 GB HBM2e 显存。本页以 A100 80 GB SXM 为硬件参考,用于 FP16/BF16 训练、微调与推理;实际租用版本需另行确认。

价格与可选实例配置请查看控制台或联系销售。

GPU 显存
80 GB HBM2e
显存带宽
2,039 GB/s
架构
Ampere
核心能力

面向大模型训练与推理

A100 结合第三代 Tensor Core、HBM2e 显存与第三代 NVLink。请按实际任务和实例配置评估显存需求、计算精度支持及 GPU 连接方式。

80 GB HBM2e 显存

显存需容纳权重、KV 缓存和运行缓冲区。微调还需要激活值、梯度与优化器状态;80 GB 并不保证模型在任意精度或上下文长度下均可运行。

FP16 与 BF16 Tensor Core

第三代 Tensor Core 支持兼容任务的 FP16、BF16 和 TF32 运算。A100 不具备新架构的原生 FP8 或 FP4 Tensor Core 路径,需据此选择算子和精度。

第三代 NVLink

A100 参考规格的单 GPU NVLink 双向总带宽为 600 GB/s。GPU 连接取决于 SXM 平台和拓扑,实际交付的租用配置仍需核对。

多实例 GPU

硬件可将单张 A100 划分为最多七个具有独立资源的隔离 GPU 实例。这项硬件能力不代表所有租用配置都提供 MIG 分区。

工作负载

A100 80GB 适合哪些任务

从模型服务到分布式训练,按任务的显存、计算精度和 GPU 间通信需求选择配置。

使用兼容 Ampere 的 Tensor Core 算子运行现有训练代码。核对框架、算子与精度支持;不要按 A100 具备原生 FP8 或 FP4 计算能力来规划任务。

按 80 GB HBM2e 预算权重、KV 缓存与运行状态;微调还需计入激活值、梯度和优化器状态。根据实测显存占用选择上下文长度、批量大小与精度。

每个副本都需为模型与训练状态分配显存。结合实际 NVLink 拓扑与每 GPU 600 GB/s 双向总带宽评估集合通信;跨节点任务还需核对主机与网络配置。

使用兼容 Ampere 的 CUDA 算子运行图像、语音或文本模型。估算显存时计入编码器输出、激活值、输入分辨率与序列长度,并核对各模型组件的软件支持。

技术规格

A100 80 GB SXM 参考规格

以下为 80 GB SXM 的硬件参考,不代表已确认的租用 SKU。A100 40 GB 与 PCIe 版本的规格不同。Tensor Core 理论峰值不代表实测模型吞吐,也不代表完整服务器配置。

A100 80 GB SXM 参考规格
规格单 GPU 数值
架构AmpereAmpere GPU 架构。
GPU 显存80 GB HBM2e存放模型权重、KV 缓存及运行状态。
显存带宽2,039 GB/sGPU 与本地 HBM2e 显存之间的数据传输带宽。
FP16/BF16 Tensor 算力 · Dense312 TFLOPS稠密 Tensor Core 运算的理论峰值。
FP16/BF16 Tensor 算力 · Sparse624 TFLOPS适用结构化稀疏运算条件下的理论峰值。
GPU 互联600 GB/s · NVLink 3兼容 HGX 系统内的 GPU 间双向总带宽。

部署配置

租用前确认 CPU、系统内存、存储、网络和部署区域,以及报价与交付安排。

GPU 与主机资源
核对每个实例的 GPU 数量、可用显存、CPU 核心数和系统内存,确认是否满足模型、数据预处理与并发需求。
存储与互联
确认存储类型、容量与数据持久性;多 GPU 或多节点任务还需核对 GPU 互联方式、网络带宽及拓扑。
区域与租期
根据数据位置和使用计划确认部署区域、开始日期及租用周期,并核实所选配置的资源可用情况。
报价与交付
核对计费单位、报价包含的资源、交付时间和访问方式,确认存储、网络流量等费用是否包含在报价内。
  • SOC 2 Type II 审计

  • ISO/IEC 27001 认证

  • GDPR 合规

找到适合你工作负载的 GPU

从租赁方案与价格,到型号规格和应用场景,再与团队确认配置、报价和交付安排。

立即租用 GPUNVIDIAB300了解 B300 配置与规格NVIDIAB200了解 B200 配置与规格NVIDIAH200了解 H200 配置与规格NVIDIAH100了解 H100 配置与规格NVIDIARTX 5090了解 RTX 5090 配置与规格
A100

现在一张卡一小时值多少钱。

价格与可选实例配置请查看控制台或联系销售。

行情参考美元 / 卡 / 小时
$0.90
30 天

价格与可选实例配置请查看控制台或联系销售。

选型与租赁

常见问题

区分 GPU 芯片规格、整机平台与实际交付配置。

A100 80 GB 与 A100 40 GB 有什么区别?

两者的显存容量和显存带宽不同。本页采用 80 GB HBM2e SXM 参考规格。更多显存可容纳更大的权重、缓存或训练状态,但不代表模型性能直接翻倍;仍需结合精度、上下文长度和批量大小评估。

A100 SXM 与 PCIe 的规格可以通用吗?

不可以。80 GB SXM 参考显存带宽为 2,039 GB/s,80 GB PCIe 则为 1,935 GB/s,安装与多 GPU 连接方式也不同。仅凭产品目录中的 A100 80GB 名称,不能确定实际交付版本。

A100 支持原生 FP8 或 FP4 Tensor Core 计算吗?

不支持。A100 的 Ampere Tensor Core 支持 FP16、BF16、TF32 等格式,但不支持原生 FP8 或 FP4 Tensor Core 计算。624 TFLOPS 的 FP16/BF16 数值需满足支持的结构化稀疏条件,Dense 稠密计算为 312 TFLOPS。

租用前需要确认哪些信息?

请确认具体 GPU 版本、数量、地区、开始日期、租期,以及 CPU、内存、存储与网络要求。600 GB/s NVLink 参考值不是跨节点网速;还需核对具体实例的 GPU 拓扑、可用容量与报价。

租用 NVIDIA A100 80GB GPU

查看实例配置,或提交 GPU 数量、区域和租期,获取报价。