H100 与 A100 的简短答案很直接：当工作负载能够利用 Hopper 特性，例如 FP8 Transformer Engine、更高的内存带宽、更快的第四代 NVLink 以及更新的推理内核时，选择 H100。当任务对内存稳定性要求高、FP16/BF16 吞吐量已经足够、可用性比峰值速度更重要，或者 A100 的小时报价低很多时，选择 A100。
这就是为什么真正该问的问题不是“哪块 GPU 更快？”H100 是更新、更快的加速器。买家真正该问的是：H100 是否能让你的训练或推理任务足够快地完成，从而抵消 A100 的价格溢价？
本指南比较了 NVIDIA H100 与 A100 在 AI 训练、LLM 推理、微调、批处理任务以及云 GPU 采购中的表现。价格每周都会变化，因此请将下面公开价格行视为于 2026 年 10 月 12 日核对的报价示例，然后针对你筛选出的提供商重新计算同样的公式。
H100 与 A100 性能：快速决策表
| 工作负载 | 通常选择 | 原因 |
|---|---|---|
| 前沿 LLM 训练或大规模分布式预训练 | H100 SXM | FP8 Transformer Engine、更高的内存带宽、更快的 NVLink，以及更强的多 GPU 扩展余量。 |
| 7B 到 70B 模型微调 | 视情况而定 | 当训练时长至关重要时 H100 更优；当运行不受吞吐量限制或预算固定时，A100 更优。 |
| 对延迟敏感的 LLM 推理 | H100 | 更好的 transformer 推理路径、更高带宽，以及更新的服务栈优化。 |
| SLA 宽松的批量推理 | A100 | 如果利用率高且可接受排队时间，更低的小时价格可能更有优势。 |
| 多租户笔记本、演示和小型任务 | A100 | 成熟的可用性、更低的成本以及 MIG 支持，使 A100 成为实用的默认选择。 |
| 适合放入 80 GB 的内存受限工作负载 | 两者都测试 | H100 的带宽高得多，但 A100 80 GB 在单个完成任务的成本上仍可能更低。 |
| 已经针对 Ampere 调优的传统 CUDA 工作负载 | 先选 A100 | 除非 H100 基准测试证明有明显收益，否则迁移风险更低。 |
对于大多数比较 h100 vs a100 performance 的团队，可以先用两条规则开始：
- 如果任务昂贵是因为运行时间过长，先对 H100 进行基准测试。
- 如果任务昂贵是因为 GPU 空闲、失败，或在等待数据，那么在为 H100 付费之前先修复利用率问题。
核心规格差异
NVIDIA A100 与 H100 最重要的区别是架构代际。A100 基于 NVIDIA Ampere。H100 基于 NVIDIA Hopper，并增加了 Transformer Engine、FP8 张量加速、更高代的 NVLink，以及更高的 SXM 功率上限。NVIDIA 将 H100 定位于大规模 AI、HPC 和万亿参数工作负载，而 A100 仍然是广泛部署的数据中心加速器，用于训练、推理、分析和 HPC。来源：NVIDIA H100 产品页、NVIDIA A100 产品页以及NVIDIA 数据中心 GPU 产品线卡。
| 项目 | NVIDIA H100 SXM 80 GB | NVIDIA A100 SXM 80 GB | 买家影响 |
|---|---|---|---|
| 架构 | Hopper | Ampere | H100 是更新的、针对 AI 优化的代际。 |
| 内存 | 80 GB HBM3 | 80 GB HBM2e | 常见 80 GB 型号的标称容量相同，但 H100 的内存更快。 |
| 内存带宽 | 最高约 3.35 TB/s | 最高约 2.0 TB/s | H100 为内存受限的训练和推理提供了更大空间。 |
| 张量精度 | FP8、FP16、BF16、TF32、FP64 张量路径 | FP16、BF16、TF32、FP64 张量路径 | 当精度能够保持时，FP8 可显著提升 transformer 吞吐量。 |
| NVLink 代际 | 第四代 NVLink，在 SXM 上 GPU 到 GPU 带宽最高可达 900 GB/s | 第三代 NVLink，在 SXM 上 GPU 到 GPU 带宽最高可达 600 GB/s | H100 在多 GPU 训练和大模型并行方面更强。 |
| MIG | 支持 | 支持 | 两者都可将 GPU 划分给多租户使用。 |
| 典型 SXM 功耗范围 | 更高 | 更低 | H100 可能需要更多电力和散热，但完成速度可能更快。 |
这些数字解释了为什么 h100 gpu vs a100 的比较会因工作负载而异。能够使用 FP8 和更新内核的模型，可能会看到 H100 大幅领先。受 CPU 预处理、存储或网络限制的小任务，收益则可能小得多。
性价比公式
使用已完成任务成本，而不是按小时价格：
completed_job_cost =
GPU_hourly_rate
x number_of_GPUs
x wall_clock_hours
/ success_rate
+ storage
+ network
+ idle_time
+ orchestration_overhead
然后比较：
H100 至少需要快到这个程度才能打平 =
H100_hourly_rate / A100_hourly_rate
如果 H100 的成本是 A100 的 1.8 倍，那么它需要以超过 1.8 倍的速度完成同一个可接受的任务，才能在纯 GPU 租用成本上取胜。如果它的成本是 1.4 倍，那么打平门槛就更低。这就是为什么云 GPU 选择必须始终使用准确的 SKU 和报价：H100 SXM、H100 PCIe、H100 NVL、A100 SXM 80 GB 和 A100 PCIe 40 GB 不能互换。
有关隐藏成本的更全面工作表，请参阅 Flatkey 关于GPU 租赁价格的指南。
公共云 GPU 价格示例，核对于 2026 年 10 月 12 日
下表不是通用价格指数。它只是公共示例的快照，展示价格差异可以有多大。
| 提供商页面 | H100 示例 | A100 示例 | 它说明了什么 |
|---|---|---|---|
| Runpod 定价 | H100 SXM：Community Cloud $2.69/小时，Secure Cloud $3.49/小时；H100 PCIe：Community Cloud $1.99/小时，Secure Cloud $2.89/小时 | A100 SXM：Community Cloud $1.39/小时，Secure Cloud $1.59/小时；A100 PCIe：Community Cloud $1.19/小时，Secure Cloud $1.59/小时 | 市场和安全环境的盈亏平衡点可能不同。 |
| Lambda 定价 | 8x H100 SXM 集群行：$3.99/GPU/小时；单个 H100 SXM 行：$4.29/GPU/小时；单个 H100 PCIe 行：$3.29/GPU/小时 | 8x A100 SXM 80 GB 行：$2.79/GPU/小时；单个 A100 SXM 40 GB 行：$1.99/GPU/小时 | 集群规模、显存大小和节点配置与 GPU 名称同样重要。 |
| Massed Compute 定价 | 页面列出了按需 GPU 费率和配置 | 页面列出了按需 GPU 费率和配置 | 在比较之前，务必检查数量、显存、存储和实例细节。 |
从这些示例可以看出，比较 a100 vs h100 performance 的买家不应假设存在一个固定溢价。在某个报价中，H100 PCIe 可能足够接近 A100，以至于 H100 很容易证明其合理性；而在另一个报价中，A100 可能便宜到即使运行更慢也仍然更划算。
训练对比
对于训练，H100 通常是在以下情况下首先测试的 GPU：
- 你训练的是 transformer 模型，并且可以安全地使用 FP8 混合精度。
- 任务足够大，以至于内核速度和互连速度主导了启动开销。
- 你使用多节点或多 GPU 的模型并行。
- 你有严格截止时间，缩短总运行时间比每小时溢价更重要。
- 你的团队能够通过准备好的数据、稳定的检查点和自动重试，让 GPU 保持高利用率。
在以下情况下，A100 仍可能是更好的训练采购选择：
- 模型可以干净地装入 80 GB，且从 FP8 中受益不大。
- 你是在微调，而不是预训练。
- 你运行很多实验，此时排队深度比单次最快运行更重要。
- 你的代码、驱动、CUDA 栈和监控在 A100 上已经很稳定。
- 你购买的是预留容量，而且 A100 折扣非常大。
采购时一个重要的习惯是比较每个被接受的训练运行成本，而不只是每秒 token 数。一次很快的 H100 运行如果因为检查点、数据或分布式训练不稳定而在后期失败，其成本可能比一次较慢但能可靠完成的 A100 运行更高。
推理对比
对于推理，当服务路径针对现代 LLM 内核进行了优化时，H100 往往更占优势：
- 长上下文请求会对内存带宽和 KV-cache 传输造成压力。
- 高并发服务受益于更新的内核优化。
- 延迟 SLO 足够严格，以至于更低的 p95 或 p99 延迟具有业务价值。
- 模型使用 FP8 或量化路径，并且你的服务栈已经验证过这些路径。
- 你可以批量处理足够多的请求，以保持 GPU 忙碌。
在以下情况下，A100 往往更占优势：
- 批处理任务可以在夜间运行。
- 请求量呈突发性，会让昂贵的 H100 闲置。
- 模型足够小，便宜的 GPU 层级才是真正赢家。
- 你提供的是稳定的内部工具，而不是收入关键流量。
- 你可以把溢出流量路由到托管模型 API，而不是长期持有闲置的专用容量。
对于 LLM 服务，h100 vs a100 performance 也取决于软件层：vLLM、TensorRT-LLM、SGLang、NVIDIA NIM、量化格式、批处理策略、KV-cache 设置以及提示词长度分布。不要只凭通用基准测试就购买 H100。请重放你自己的提示词组合。
实用基准测试计划
在每个候选 SKU 上运行相同的基准测试。保持验收标准固定。
| 步骤 | 测量什么 | 为什么重要 |
|---|---|---|
| 1. 锁定工作负载 | 模型、序列长度、批大小、精度、数据集、重试策略 | 防止出现虚假的苹果对苹果比较。 |
| 2. 测量吞吐量 | 训练 tokens/秒、样本/秒，或推理 tokens/秒 | 显示原始速度。 |
| 3. 测量延迟 | p50、p95、p99、首 token 时间、解码速度 | 捕捉用户可见性能。 |
| 4. 跟踪利用率 | GPU 利用率、内存带宽、CPU 等待、存储等待、网络等待 | 揭示 GPU 选择是否才是真正的瓶颈。 |
| 5. 跟踪失败 | 任务重启、OOM、内核错误、抢占式中断 | 把便宜的每小时费率转换为真正完成的成本。 |
| 6. 计算被接受的成本 | 每次完成运行的成本、已接受输出的成本，或每百万已服务 token 的成本 | 这才是采购应比较的数字。 |
最低推理重放：
100 个短提示
100 个中等提示
100 个长上下文提示
相同模型
相同精度
相同服务器版本
相同最大 token 数
相同并发梯度
相同质量检查
最小训练复现：
相同的检查点
相同的数据分片
相同的全局 batch size 目标
相同的优化器设置
相同的精度策略
相同的检查点间隔
相同的故障恢复方法
H100 必须快多少？
使用你的报价，然后计算盈亏平衡所需的加速倍数。
| 报价示例 | H100 价格 | A100 价格 | H100 价格溢价 | 盈亏平衡解读 |
|---|---|---|---|---|
| Runpod Community H100 SXM vs A100 SXM | $2.69/hr | $1.39/hr | 1.94x | 在 GPU 租赁成本上胜出之前，H100 必须比 A100 至少快 1.94x，才能抵消隐性成本。 |
| Runpod Secure H100 SXM vs A100 SXM | $3.49/hr | $1.59/hr | 2.19x | H100 需要很大的加速幅度，或者有很强的延迟/业务理由。 |
| Lambda 8x H100 SXM vs 8x A100 SXM 80 GB | $3.99/GPU/hr | $2.79/GPU/hr | 1.43x | H100 只需小得多的加速幅度就可能获胜。 |
| Lambda single H100 PCIe vs single A100 SXM 40 GB | $3.29/hr | $1.99/hr | 1.65x | 这个比较混用了 SKU；必须考虑显存和互连差异。 |
这正是许多 a100 vs h100 performance 对比出错的地方。一个声称“H100 快 2x”的基准测试还不够。你需要知道你的 H100 报价是 A100 报价的 1.4x、1.9x 还是 2.2x，以及任务是否真的能以这个速度成功完成。
采购检查清单
在选择 H100 或 A100 之前，向供应商询问：
- 精确的 GPU SKU：SXM、PCIe、NVL、显存大小，以及 MIG 策略。
- 节点规格：GPU 数量、CPU、内存、本地 NVMe、网络和互连。
- 集群网络架构：节点内使用 NVLink/NVSwitch，节点间使用 InfiniBand 或 Ethernet，超售策略。
- 存储价格和性能：本地 SSD、持久卷、对象存储、快照和恢复时间。
- 出站流量和带宽策略。
- 计费单位：按秒、按分钟或按小时。
- spot 或市场容量的中断策略。
- 区域和合规约束。
- 支持 SLA 和更换流程。
- 预留条款和取消规则。
对于分布式训练，节点规格可能决定结果。位于强大 NVSwitch 和良好网络架构之后的八张 H100，不能与通过薄弱网络路径连接的八张孤立 GPU 相提并论。
什么时候 H100 值得溢价
当以下条件中至少有两个为真时，H100 通常值得付费：
- 工作负载以 transformer 为主，并已用 FP8 或 Hopper 优化内核验证过。
- 训练时间会阻碍发布、客户交付或研究迭代。
- 推理 p95 或 p99 延迟会影响收入或用户留存。
- 任务大量使用多 GPU 通信。
- 服务商提供的 H100 溢价相对 A100 适中。
- 你的团队能够保持较高的利用率。
在以下情况下，H100 更难证明其合理性：
- GPU 在每小时的大部分时间里都处于闲置。
- 数据加载、CPU 预处理或网络 I/O 才是瓶颈。
- 你的 serving 栈没有经过调优。
- 模型足够小，可以用 L40S、RTX PRO 或托管 API 处理。
- A100 容量折扣很深。
什么时候 A100 仍然是更务实的选择
对于许多 AI 团队来说，A100 仍然是实用的默认选择，因为它成熟、供应广泛，而且在训练和推理方面依然强大。它尤其适用于你需要可预测容量的场景，例如：
- 微调任务。
- Embedding 生成。
- 批量推理。
- 内部 AI 工具。
- 研究笔记本。
- 使用 MIG 的多租户环境。
- 已经在 Ampere 上验证过的传统 CUDA 工作负载。
如果 A100 的运行成本只有一半，而完成时间只慢 20%，A100 就赢了。如果它便宜 30%，但耗时却是 2 倍，那么 H100 可能更划算。如果 A100 容量更容易预留，或者 H100 的等待时间会拖延项目，那么数学结果还会再次改变。
Flatkey 适合放在哪
运行 AI 不一定总是租 GPU 最便宜。对于某些工作负载，托管模型 API 可能更便宜，因为你按成功请求付费，而不是一直占用 GPU。对于另一些工作负载，专用 GPU 容量更好，因为你有稳定吞吐量、自定义模型、严格延迟需求或数据控制要求。
Flatkey 帮助团队从应用侧比较这些路径：一个 API 密钥、一个余额、一个使用账本，以及跨官方模型端点的模型路由。对于需要专用容量的工作负载，使用 GPU 租赁；对于突发型、运维更简单或按接受任务成本更低的工作负载，使用模型 API 路由。
H100 vs A100 常见问题
H100 比 A100 快吗？
是的。H100 是更新的 Hopper 代 GPU，在面向 transformer 的工作负载、内存带宽、FP8 支持以及更新的互连方面都有显著优势。真正的决策点在于：对你的工作负载来说，它是否足够快，能够抵消 H100 的价格溢价。
A100 还适合做 LLM 推理吗？
是的。A100 仍然是一款很能打的推理 GPU，尤其适合批量服务、内部工具、embedding，以及延迟要求中等的工作负载。在软件栈调优到位时，H100 在高吞吐和对延迟敏感的 transformer 服务方面更强。
我应该把 H100 SXM 和 A100 PCIe 进行比较吗？
只有在那些是你实际可以买到的报价时才成立。对于技术比较，尽量让形态规格和显存尽可能接近：H100 SXM 对比 A100 SXM，H100 PCIe 对比 A100 PCIe，在有可用版本时对比 80 GB 对 80 GB。
FP8 会让 H100 自动更好吗？
不会。只有当模型和软件栈能够使用 FP8 且不会造成不可接受的质量损失时，FP8 才有帮助。在假设能节省 FP8 之前，请先验证输出质量、收敛性和稳定性。
哪一个更适合微调？
对于小型和中型微调任务，A100 可能更具成本效益。对于更大的任务、紧迫的截止时间，或者训练栈能从 H100 的带宽和 FP8 路径中获益时，H100 可能更占优势。
衡量 H100 vs A100 的最佳指标是什么？
使用每个被接受结果的成本：完成的训练运行、被接受的模型检查点、百万级已服务 token、成功批次，或满足延迟要求的响应。仅看每小时价格并不完整。
结论
对于 h100 vs a100，H100 是性能之选，而 A100 往往是性价比之选。当 Hopper 特性能够将实际完成时间缩短到足以抵消更高的小时单价时，H100 就会胜出。当工作负载稳定、利用率不完美、价差很大，或者延迟不是限制因素时，A100 就会胜出。
在预订任一 GPU 之前，请用你的模型进行基准测试，回放你自己的流量，并计算已完成作业的成本。这才是唯一能经得起采购审查的 H100 vs A100 比较方式。
