Cost, Billing, and Ops2026年10月12日Flatkey Team

NVIDIA L40S 与 H100 的 AI 推理对比：每美元吞吐量

面向评估推理吞吐量、延迟、显存适配性以及按可接受输出计算的云 GPU 成本的 AI 团队，提供一份实用的 L40S 与 H100 对比。

NVIDIA L40S 与 H100 的 AI 推理对比：每美元吞吐量

L40S 与 H100 的简短答案不是“H100 更快，所以买 H100”。H100 是更强的 AI 加速器。当模型能装入 48 GB、延迟目标较为宽松，而且服务商报价低得多时，L40S 往往是更好的每美元吞吐量候选。

对于 AI 推理团队，有用的问题是：

对于这个具体模型、提示词组合、服务栈和 SLA，H100 能否在每小时可接受输出上带来足够提升，从而抵消其相对 L40S 的价格溢价？

这篇 NVIDIA L40S 与 H100 对比聚焦推理经济性：内存适配、prefill、decode、批处理、延迟、利用率以及云端 GPU 定价。价格经常变动，因此请将下面的公开价格行视为截至 2026 年 10 月 12 日核查的示例，然后用你当前的供应商报价重新运行同一份工作表。

L40S 与 H100：快速决策表

推理工作负载	通常先选	原因
7B 到 13B 聊天、内部 copilot、轻量 RAG	L40S	当延迟可接受且模型在留有 KV cache 余量的情况下能够装入时，更低的每小时成本可能胜过 H100。
30B 级模型，中等上下文	两者都做基准测试	L40S 可能在成本上胜出；当尾延迟或内存带宽成为主导因素时，H100 可能胜出。
70B 级服务，且延迟要求严格	H100、H100 NVL、H200 或多 GPU	H100 具备高得多的 HBM 带宽、在常见 SXM/NVL 配置上更大的内存、NVLink 选项，以及更强的生产级服务支持。
SLA 较宽松的批量推理	先选 L40S	只要利用率保持高位，适合排队的工作负载就可以使用更便宜的算力。
长上下文 RAG	先选 H100	Prefill 和 KV cache 压力通常会奖励更高的 HBM 带宽和更大的内存。
多租户基础设施	如果 MIG 很重要，则选 H100	NVIDIA 将 H100 标注为支持 MIG；NVIDIA 未将 L40S 标注为支持 MIG。
包含渲染、图像/视频或图形的多模态工作负载	L40S 可能更有吸引力	NVIDIA 将 L40S 定位为适用于 AI、图形、渲染和媒体加速的通用 GPU。
高并发面向客户的 LLM API	先选 H100	尾延迟、批处理余量以及软件优化通常足以证明溢价合理。

实践规则：当成本底线很重要且工作负载能够顺畅适配时，选择 L40S；当延迟、带宽、并发、分片简化或多 GPU 拓扑会影响收入或可靠性时，选择 H100。

核心规格差异

NVIDIA 将 L40S 定位为面向生成式 AI、LLM 推理与训练、3D 图形、渲染和视频的 Ada Lovelace 数据中心 GPU。NVIDIA 列出的 L40S 配置包括 48 GB GDDR6 ECC 内存、864 GB/s 内存带宽、PCIe Gen4 x16、350W 最大功耗、第四代 Tensor Core、FP8 支持、无 MIG 且不支持 NVLink。NVIDIA 将 H100 定位为面向大规模 AI 和 HPC 的 Hopper 数据中心 GPU，配备专用 Transformer Engine、第四代 NVLink、MIG 和 HBM 内存。NVIDIA 的 H100 产品规格列出了 H100 SXM 具备 80 GB 内存、3.35 TB/s 带宽、最多 7 个 MIG 实例、900 GB/s NVLink 以及最高 700W 可配置 TDP；H100 NVL 列出了每 GPU 94 GB、3.9 TB/s 带宽和 600 GB/s NVLink。来源：NVIDIA L40S 和 NVIDIA H100。

领域	NVIDIA L40S	NVIDIA H100 SXM / H100 NVL	买家影响
架构	Ada Lovelace	Hopper	H100 是旗舰级 AI/HPC 加速器世代；L40S 是通用数据中心 GPU。
内存	48 GB GDDR6 ECC	H100 SXM 为 80 GB HBM；H100 NVL 为 94 GB HBM	H100 为更大的模型、更长的上下文和更高并发提供了更多空间。
内存带宽	864 GB/s	H100 SXM 为 3.35 TB/s；H100 NVL 为 3.9 TB/s	对于受带宽限制的 prefill、decode 和 KV cache 传输，H100 具有明显优势。
带稀疏性的 FP8 Tensor Core 峰值	1,466 TFLOPS	H100 SXM 为 3,958 TFLOPS；H100 NVL 为 3,341 TFLOPS	当服务栈和精度策略可以使用 FP8 时，H100 的上限要高得多。
互连	PCIe Gen4 x16；无 NVLink	PCIe Gen5，且在 SXM/NVL 配置上支持 NVLink	H100 在 scale-up 和多 GPU 推理方面更强。
MIG	否	最多 7 个 MIG 实例	当你需要用于提升利用率或隔离的硬件分区时，H100 更合适。
最大功耗	350W	SXM 最高 700W；NVL 为 350-400W	L40S 可能更容易部署在低功耗服务器中；H100 单卡可完成更多工作。

这些规格解释了为什么一个通用的 L40S 与 H100 基准测试 可能会误导采购。H100 具备更高的技术上限；但当 H100 的价格高出数倍，而应用又用不到全部上限时，L40S 仍可能胜出。

每美元吞吐量公式

对于推理，应比较可接受输出，而不是原始理论 FLOPS：

accepted_output_per_dollar =
  每小时可接受输出 token 数或可接受响应数
  / 有效每小时成本

然后加入隐藏成本：

effective_hourly_cost =
  GPU hourly rate
  + storage and snapshot cost
  + network and egress cost
  + idle capacity cost
  + retry and failed request cost
  + orchestration or managed-service overhead

盈亏平衡规则很简单：

H100 required speedup over L40S =
  H100 effective hourly cost / L40S effective hourly cost

如果 H100 的成本是 L40S 的 3 倍，那么在把更低延迟带来的业务价值算进去之前，H100 必须每小时交付超过 3 倍的可接受输出量，才能在每美元吞吐量上胜出。如果 H100 的成本是 1.8 倍，那么门槛会更低。如果 L40S 导致 OOM 重试、较小批量大小或错过 p99 延迟，那么更低的小时价格并不代表更低的服务成本。

如需更全面的隐藏成本工作表，请参阅 Flatkey 的 GPU 租赁价格指南。

2026 年 10 月 12 日核对的公开价格示例

公开 GPU 价格并不是永久费率表。它们会因提供商、地区、可用性、安全等级、预留、计费单位，以及容量是市场、专用、按需还是承诺而变化。

提供商页面	L40S 示例	H100 示例	所展示的内容
RunPod 定价	L40S：Community Cloud 0.79 美元/小时，Secure Cloud 1.09 美元/小时	H100 PCIe：Community Cloud 1.99 美元/小时，Secure Cloud 2.89 美元/小时；H100 SXM：Community Cloud 2.69 美元/小时，Secure Cloud 3.49 美元/小时；H100 NVL：Community Cloud 2.59 美元/小时，Secure Cloud 3.19 美元/小时	直接报价行显示，在计入隐藏成本之前，H100 的价格大约可达到 L40S 每小时费率的 2.5 倍到 3.4 倍。
Lambda 定价	在为本文核对的公开定价 HTML 中未找到直接的 L40S 行	H100 行在自助服务和集群配置中均有展示，包括 H100 SXM 和 H100 PCIe 示例	不同提供商的覆盖范围不同；不要假设每家供应商都提供你筛选的每一种 GPU。

以 RunPod Community Cloud 示例来看，盈亏平衡所需的速度提升如下：

对比	H100 价格	L40S 价格	H100 价格溢价	盈亏平衡含义
H100 PCIe 对比 L40S	1.99 美元/小时	0.79 美元/小时	2.52x	H100 PCIe 需要每小时超过 2.52 倍的可接受输出量，才能在原始 GPU 租赁成本上胜出。
H100 SXM 对比 L40S	2.69 美元/小时	0.79 美元/小时	3.41x	H100 SXM 需要显著的吞吐提升，或者需要延迟/业务上的理由来证明溢价合理。
H100 NVL 对比 L40S	2.59 美元/小时	0.79 美元/小时	3.28x	H100 NVL 需要其内存/互连优势在工作负载中真正发挥作用。
Secure H100 SXM 对比 Secure L40S	3.49 美元/小时	1.09 美元/小时	3.20x	安全容量会改变绝对费率，但盈亏平衡的思路保持不变。

不要把这些行当作普遍真理。应当用它们来理解数学关系：当报价变化时，NVIDIA L40S vs H100 推理性能的决策也会随之变化。

L40S 适合胜出的场景

当工作负载对成本敏感且技术上较为可控时，L40S 通常值得优先进行基准测试：

模型是 7B、8B、13B，或可量化的 30B 级路由，并且能在 48 GB 内留出 KV-cache 余量。
流量是批处理导向、异步、内部用途，或能够容忍较高的 p95 延迟。
你可以通过队列来保持 L40S 的利用率，而不是为了即时响应而过度预置。
你需要一块通用 GPU，也能处理渲染、媒体、图像生成或混合创意工作负载。
你的提供商报价使 H100 贵了 2.5 到 4 倍。
你的服务框架在真实提示词下显示出可接受的 p95/p99 延迟。

对于正在构建早期推理产品的团队来说，L40S 也很有吸引力。如果模型选择、提示词形态和流量仍在变化，较低成本的 GPU 可以在你收集真实需求数据的同时，让试验更便宜。

H100 适合胜出的场景

当延迟、并发、内存带宽或大模型服务决定账单时，H100 通常值得优先进行基准测试：

长上下文 RAG 会给预填充和 KV-cache 传输带来压力。
p95 或 p99 延迟会影响转化、留存或支持负载。
模型足够大，以至于 L40S 上的 48 GB 迫使你采用激进量化、小批量大小或张量并行。
你需要 MIG 来实现多租户隔离或更高利用率。
你需要 NVLink、NVSwitch 或 H100 NVL 风格的扩展来支持 70B 级推理。
你的技术栈可以利用 FP8 或针对 Hopper 优化的内核，而不会降低质量。
减少 GPU 数量可以抵消每小时溢价。

H100 不只是追求峰值速度。它也可以简化生产环境，因为一块 H100 可以替代多块低端 GPU，避免模型切分，或让尾延迟保持在 SLA 之内。

会改变胜负的工作负载细节

最常见的 NVIDIA L40S vs H100 性能对比 错误，是只测试一种提示词长度和一种并发级别。LLM 服务有不同的瓶颈：

工作负载维度	为什么重要
模型大小	7B 模型和 70B 模型对内存、带宽或互连的压力并不相同。
精度与量化	FP8、FP16、BF16、INT8、AWQ、GPTQ 以及其他路径会同时改变质量和吞吐量。
上下文长度	长提示会将成本转移到预填充和 KV 缓存压力上。
输出长度	长回答会将成本转移到解码吞吐量和调度上。
并发性	在 batch size 为 1 时表现最好的 GPU，到了真实流量下可能会落后。
接受率	失败、超时或低质量输出都不应计入有效吞吐量。
服务框架	vLLM、SGLang、TensorRT-LLM、NVIDIA NIM 以及自定义服务器有不同的优化路径。
提供商形态	CPU、RAM、本地 NVMe、网络、镜像启动时间以及“嘈杂邻居”风险都可能压过廉价 GPU 列表带来的优势。

如果你也在同时选择服务栈，Flatkey 的 vLLM vs SGLang 指南提供了另一套用于衡量吞吐量、延迟、模型支持和运维的框架。

L40S vs H100 推理的基准测试计划

在 L40S 和 H100 上运行相同的回放。保持接受标准固定不变。

步骤	要衡量什么	为什么
1. 冻结工作负载	模型 ID、量化、上下文分布、输出上限、质量检查	防止出现伪装的苹果对苹果对比结果。
2. 冻结服务栈	vLLM、SGLang、TensorRT-LLM、NIM、CUDA、驱动、容器镜像	软件变化可能掩盖硬件效应。
3. 运行并发阶梯	1、4、8、16、32、64，或你的真实流量模式	展示每块 GPU 在何时达到饱和。
4. 拆分预填充和解码	首 token 时间、提示 token/秒、输出 token/秒	揭示瓶颈是在带宽还是解码。
5. 跟踪尾延迟	p50、p95、p99、队列等待、超时率	买方决策应保护用户体验。
6. 跟踪利用率	GPU 利用率、已用内存、HBM/GDDR 带宽压力、CPU 等待、存储等待	确认 GPU 才是真正的瓶颈。
7. 统计失败	OOM、驱逐、异常主机、冷启动、重试风暴	失败的工作应计入每个被接受输出的成本中。
8. 计算已接受成本	每 100 万个被接受的输出 token、每个被接受的响应，或每个完成的任务的成本	采购需要的是标准化成本，而不是基准测试截图。

最低回放：

100 个短提示
100 个中等提示
100 个长上下文提示
相同模型
相同精度或量化策略
相同最大输出 token
相同服务器版本
相同并发阶梯
相同质量和接受检查

决策表：

指标	L40S 结果	H100 结果
GPU 每小时价格
有效每小时成本
每小时接受的响应数
每小时接受的输出 token 数
每 100 万个被接受的输出 token 的成本
首 token 时间 p95
端到端延迟 p95/p99
OOM 或重试率
平均 GPU 利用率
运维备注