私有 GPU 云：架构、隔离与运维模式
私有 GPU 云是一种专用于 AI 的基础设施，具备云式的资源开通、治理和计量能力。它可以运行在云服务商区域、托管的私有集群、第三方机房机柜，或者你自己的数据中心，但采购时的问题始终一样：你是否需要由你的团队作为平台来运维的隔离 GPU 容量，还是只需要具备成本控制的可靠模型访问？
对于企业 AI 团队来说，答案不应从品牌名单开始。应先从工作负载边界、数据边界、网络边界、调度器边界和成本边界入手。当共享的公有 GPU 资源池、无服务器端点或托管模型 API 无法满足这些边界，且会带来不可接受的风险、延迟、合规摩擦或排队不确定性时，私有 GPU 云才值得评估。
本指南为私有 GPU 云决策提供实用的架构与运维模式。它涵盖需要检查的隔离层、运行它所需的平台团队、签约前必须要求的验收测试，以及当只需要模型/API 治理而无需拥有 GPU 平面时，Flatkey 在何处发挥作用。
私有 GPU 云快速答案
当你需要预留的 GPU 容量、可预测的集群拓扑、私有网络、严格的租户边界、定制化服务栈、对调度器的直接控制，或用于安全审查的证据时，选择私有 GPU 云。不要仅仅因为“私有”听起来更安全就选择私有 GPU 云。只有当合同、网络、存储、调度器、IAM、可观测性和事件流程都能保持该边界时，隔离才真正有意义。
一份有说服力的私有 GPU 云方案应回答以下问题：
- 哪些 GPU、节点、机架和网络互连 fabric 是专属于我们的？
- 工作负载是通过物理主机、虚拟机、Kubernetes 命名空间、Slurm 分区、NVIDIA MIG 切片，还是它们的组合来隔离？
- 镜像、模型权重、提示词、输出、日志和指标如何保留在获批边界之内？
- 谁负责补丁、驱动升级、CUDA 兼容性、调度策略、配额执行、备份和事件响应？
- 成本如何计量：按 GPU 小时分配、预留容量、已接受 token、已完成作业、存储、外部流量、支持服务还是托管服务费用？
如果供应商无法展示这些细节，你评估的就不是私有 GPU 云，而是一个披着企业术语外衣的 GPU 租赁 SKU。
“私有”可能意味着什么
私有 GPU 云这个说法含义过于宽泛。采购团队经常在同一个关键词下比较几种完全不同的方案。
| 模型 | 什么是私有 | 最适合 | 主要注意事项 |
|---|---|---|---|
| 专用裸金属 GPU 节点 | 物理主机分配给单一客户 | 受监管训练、敏感微调、自定义内核、底层性能调优 | 仍然需要网络、调度器、镜像和补丁管理纪律 |
| 专用虚拟化 GPU 容量 | 虚拟机集群、预留主机或承诺 GPU 块 | 希望获得云运维能力和容量保障的企业推理团队 | 需确认“吵闹邻居”控制和主机放置规则 |
| 私有 Kubernetes GPU 集群 | 集群 API、命名空间、节点池、GPU Operator、配额、私有入口 | 为多个内部模型团队提供服务的平台团队 | 命名空间隔离不等同于物理隔离 |
| 私有 Slurm 或 HPC 集群 | 分区、队列、作业调度、高速互连 fabric、共享文件系统 | 训练、微调、研究工作负载、批处理作业 | 对于面向产品的 HTTP 推理不太自然，除非外层再包一层服务层 |
| 托管一体机/私有 AI 栈 | 集成硬件、软件、支持与 AI 平台 | 希望获得有明确方案的私有 AI 环境的企业 | 灵活性较低；需评估锁定风险、升级窗口和模型服务选项 |
| 模型/API 路由器，而非 GPU 云 | 在不拥有 GPU 的情况下，对模型访问、预算、账本、故障切换和单一账单进行治理 | 比起硬件控制，更需要治理和成本控制的团队 | 当你必须控制硬件拓扑、数据平面或运行时栈时，它不适用 |
对于 Flatkey 读者来说，最后一行很重要。Flatkey 为团队提供一个密钥、一个余额、一个账单、用量账本控制、官方模型端点，以及覆盖模型和工具 API 的治理能力。在你需要预留硬件隔离时，它并不是私有 GPU 云的替代品。当真实需求是多模型访问、成本可视化、故障切换和企业控制，而无需运行 GPU 基础设施时，它是更简单的路径。对于这条比较路径，请参阅配套指南 GPU cloud vs model API。
参考架构
生产级私有 GPU 云的层次比 GPU 节点更多。应将其视为具有六个控制平面的 AI 平台。
1. 容量平面
容量平面定义物理和合同边界：
- GPU 代际与外形规格：H100、H200、B200、GB200、L40S、A100，或其他加速器。
- 节点形态：单节点推理、8 GPU 训练节点、多节点 Pod、机架级系统，或云 VM 规格。
- 网络互连：节点内使用 NVLink/NVSwitch，或 InfiniBand、RoCE、EFA、GPUDirect RDMA，或提供商特定的 AI 网络。
- 预留模式：按需、承诺、预留、专属集群、容量块，或托管私有云。
- 替换权利：当 GPU、NIC、磁盘、机架或可用区故障时会发生什么。
不要只按每小时 GPU 价格来标准化私有 GPU 云产品。要按可用拓扑来标准化。一个更便宜但无法按所需网络互连放置 8 块 GPU 的池，实际每个完成作业的成本可能高于一个价格更高的私有资源块。如果讨论仍停留在费率卡层面，先用一个 GPU 租赁价格 工作表对输入进行标准化。
2. 网络平面
网络平面决定集群是否真的可达，以及是否以安全团队所期望的方式实现隔离。
最低限度的设计问题：
- 集群是在你的 VPC、提供商 VPC、私有 VLAN、直连段，还是托管服务账户中？
- 控制 API 是公开暴露、私有暴露，还是通过堡垒机/身份代理暴露？
- GPU 节点之间的东西向流量是否与其他租户隔离？
- 模型服务端点是否默认私有？
- 训练数据、检查点、容器镜像、模型权重和日志能否在不经过公网路径的情况下传输？
- 是否有明确的出站控制、NAT 策略、DNS 策略和防火墙规则？
对于大规模训练和高吞吐推理，网络细节不仅仅是安全细节。它们会影响吞吐量、重试率、检查点时间和作业失败行为。
3. 调度平面
调度平面决定谁可以在什么时候使用 GPU。
常见选项：
- 使用带有 device plugin、GPU Operator、节点池、命名空间、配额、污点、容忍和准入策略的 Kubernetes。
- 使用带有分区、账户、QoS 规则、公平共享调度、抢占和作业数组的 Slurm。
- 用于端点扩缩容、排队、批处理、自动扩缩和金丝雀发布的托管推理控制平面。
- 一种混合模式，由 Slurm 负责训练，而 Kubernetes 负责服务。
没有调度策略的私有 GPU 云很快就会变成一张共享表格。在第一批团队迁移之前，就要定义配额规则、优先级类别、队列限制、抢占规则、空闲关闭、预留窗口和紧急破窗访问。
4. 运行时平面
运行时平面是实践中大多数“GPU 可用”说法失效的地方。
你需要明确以下方面的责任归属：
- NVIDIA 驱动、CUDA、cuDNN、NCCL 和容器运行时版本。
- GPU Operator 或同类生命周期工具。
- vLLM、SGLang、TensorRT-LLM、Triton、Ray Serve，或自定义服务框架。
- 容器镜像仓库访问和镜像扫描。
- 模型权重分发和校验和验证。
- 内核调优、大页、NUMA 策略、GPUDirect 设置以及 NCCL 拓扑测试。
- 驱动升级和服务框架升级的回滚计划。
对于推理团队而言，一个有用的私有 GPU 云应该提供 OpenAI 兼容的 API 层，或者内部服务契约。否则，每个产品团队都必须重新学习批处理、流式传输、工具调用兼容性、重试和请求计费。实现细节可参见 vLLM 部署指南 和 vLLM 与 SGLang 的比较。
5. 数据平面
数据平面包括用户在采购 GPU 时最容易忽略的一切：
- 训练数据集和特征库。
- 对象存储、共享文件系统和本地 NVMe。
- 检查点存储和快照保留。
- 模型注册表和制品晋级。
- 提示、输出、遥测和追踪保留。
- 备份、恢复和法律保全。
- 跨区域或跨可用区复制。
私有 GPU 并不会自动让数据变得私有。你的控制措施必须覆盖模型输入、模型输出、嵌入、日志、指标、追踪、检查点以及失败请求写入的位置。
6. 治理与 FinOps 平面
私有 GPU 云仍然需要云式控制：
- IAM 角色和最小权限访问。
- 按团队配额和预算。
- 成本分摊标签或标记。
- GPU 小时、分配内存、接受的 token、完成的作业、队列等待时间和空闲容量。
- 成本分摊或可视化分摊。
- 安全审计日志。
- 公开端点暴露的审批规则。
- SLA、事件和支持升级证据。
如果你无法将 GPU 支出归因到团队、环境、项目和已接受输出，那么私有 GPU 云在报价单上看起来更便宜，但在季度结账时会更贵。
隔离模型：索要证据，而不是形容词
私有 GPU 云的隔离应从四个层级来描述。
物理隔离
物理隔离意味着主机、机架、Pod 或集群是专用的。它对受监管工作负载和可预测性能最有利，但必须体现在合同和运维流程中。要询问故障主机是否会用同样专用的主机替换，支持工程师是否可以访问环境，以及远程协助操作如何审计。
虚拟化隔离
虚拟机可以提供较强的运行边界，但你需要确认主机放置、GPU 直通或 vGPU 模式、存储挂载、网络租户隔离以及维护事件。对于提供容量预留或专用主机的供应商，请询问 GPU 如何映射到主机，以及在审计期间如何证明放置情况。
GPU 分区隔离
NVIDIA Multi-Instance GPU（MIG）可以将受支持的 GPU 划分为独立的 GPU 实例。MIG 对推理密度和租户控制很有用，但它并不能普遍替代整主机或整卡专属。请核实哪些 GPU 型号支持 MIG、允许哪些配置档、切片如何分配，以及监控如何区分不同租户。
编排隔离
Kubernetes 命名空间、网络策略、服务账户、准入控制和配额有助于隔离各团队。Slurm 账户和分区有助于隔离批处理用户。这些对于平台运维是必要的，但它们本身并不能保证物理隔离。架构应明确说明编排隔离在何处结束，以及主机级隔离在何处开始。
运维模式：谁负责运行什么？
私有 GPU 云不仅仅是一笔采购。它是一种运维模式。在签约之前，请用 RACI 表明确责任归属。
| 功能 | 供应商负责选项 | 客户负责选项 | 需要验证的内容 |
|---|---|---|---|
| 硬件维修 | 供应商更换故障节点和网络设备 | 客户或机房合作伙伴负责 RMA 和远程协助 | 更换 SLA、备件池、维护窗口 |
| 网络架构 | 供应商管理网络架构和私有连接 | 客户管理交换机、路由、防火墙、直连 | NCCL 测试、延迟、吞吐量、丢包率 |
| Kubernetes/Slurm | 托管集群或托管调度器 | 内部平台团队管理控制平面 | 升级策略、备份、RBAC、灾难恢复 |
| 驱动和 CUDA | 供应商验证支持的技术栈 | 客户固定并验证技术栈 | 兼容性矩阵和回滚计划 |
| 推理服务层 | 托管端点 | 内部 vLLM/SGLang/Triton/Ray 技术栈 | 压测、自动扩缩容、请求日志、故障切换 |
| 安全监控 | 供应商发送日志和告警 | 客户负责 SIEM 集成 | 审计字段、保留期、事件访问 |
| FinOps | 供应商账单加使用导出 | 客户分摊并进行内部计费 | 标签、标记、团队成本报表、闲置浪费 |
如果你的团队无法配置平台工程、安全运营、FinOps 和应用支持，私有 GPU 云可能会变成闲置资产。在这种情况下，签约前应将其与托管模型 API、Serverless 推理和 GPU 云选项进行比较。对于多节点容量，尤其要在谈判私有资源块之前使用 GPU 集群租赁 清单。
可供比较的供应商类别
面向企业 AI 的顶级私有 GPU 云平台通常分为五类：
- 超大规模云厂商 GPU 资源块：AWS、Google Cloud、Azure，以及 Oracle 风格的 GPU VM 或集群容量，配备私有网络、IAM、预留容量选项和企业采购流程。
- 专业 GPU 云：CoreWeave、Lambda、Crusoe、Nebius、Voltage Park 以及类似供应商，专注于 AI 容量、高速网络和集群运维。
- 开发者 GPU 云和市场：RunPod、Vast.ai、TensorDock 以及类似选项，适用于灵活容量、原型验证和价格发现。
- 托管式私有 AI 技术栈：HPE Private Cloud AI with NVIDIA 以及其他类似一体机式私有云方案，面向希望获得集成硬件、软件和支持的企业。
- 模型/API 治理层：Flatkey 及相关路由器，适用于需要官方模型访问、成本控制、可审计性和故障切换，而不是硬件所有权的场景。
如果你正在专门比较 Vultr 私有 GPU 云服务，请将需求拆分为 GPU VM 可用性、裸金属或专用主机需求、VPC/网络隔离、承诺容量、支持条款以及合规证据。供应商的 Cloud GPU 页面可以作为良好的起点，但最终答案通常体现在报价单、架构图和支持合同中。
买家常忽略的 TCO 项目
请围绕已完成的工作，而不是标价，来构建私有 GPU 云的 TCO 模型。
使用此工作表：
| 字段 | 重要意义 |
|---|---|
| 预留 GPU 成本 | 可见的项目，但不是全部成本 |
| 闲置容量 | 私有集群通常需要为突发流量、维护和故障节点预留余量 |
| 排队等待 | 长时间等待会拖慢产品团队并降低可接受产出 |
| 存储 | 数据集、检查点、模型权重、日志、快照和备份 |
| 网络 | 直连、出站流量、东西向网络、跨可用区流量和复制 |
| 平台人力 | 调度器、运行时、驱动、安全、监控、事件响应 |
| 失败作业 | 训练重启和推理错误会带来隐性的 GPU 消耗 |
| 接受率 | 被拒绝的输出、重试和质量门控会提高真实单位成本 |
| 合规工作 | 审计、证据收集、访问审查、供应商审查、法律审查 |
| 退出成本 | 数据迁移、模型迁移、服务栈替换、承诺最低消费 |
然后与三种替代方案进行比较：
- 用于突发型任务的公有 GPU 云租用。
- 用于不均匀生产需求的无服务器或托管推理。
- 适合希望获得治理、官方端点、用量台账和单一账单而不想运维 GPU 的团队的模型/API 路由。
这正是 Flatkey 在评估中发挥作用的地方。如果 TCO 模型显示，私有 GPU 云之所以成立，主要是因为多模型访问、账单合并、可审计性或 token 成本控制，那么在签署硬件承诺之前应先评估 Flatkey。如果模型显示需求是专用硬件、自定义内核、数据驻留或拓扑特定训练，则应保留私有 GPU 云方案。对于财务评审，可将此与 GPU 集群 TCO 模型以及更广泛的 AI API 定价对比 框架配合使用。
签约前的验收测试
不要把演示文稿当作证据。请在完全相同的拓扑，或合同上等同的环境中运行验收测试。
安全与隔离测试
- 确认可从你的网络访问私有终端节点。
- 验证不需要公共控制平面或模型服务端点。
- 检查平台管理员、模型团队、安全读取者和财务读取者之间的 IAM 隔离。
- 确认容器镜像仓库、对象存储、检查点存储和日志都保留在批准边界内。
- 审查登录、镜像拉取、作业提交、端点部署、密钥读取、数据外流和管理员提权的审计事件。
性能测试
- 针对多节点训练运行 NCCL all-reduce 和拓扑测试。
- 通过你选择的服务栈回放具有代表性的推理流量。
- 在稳定负载和突发负载下测量 p50、p95 和 p99 延迟。
- 测量每个 GPU 的每秒 token 数、每美元可接受 token 数以及失败请求消耗。
- 测试模型加载时间、检查点写入时间、回滚时间和节点排空行为。
运维测试
- 模拟 GPU 故障、节点故障、存储挂载故障、控制平面组件故障以及模型服务部署故障。
- 在非生产节点池中测试驱动升级和回滚。
- 确认凌晨 3 点由谁响应以及他们可以访问哪些信息。
- 验证供财务和审计使用的用量导出字段。
- 确认当需求超过预留容量时会发生什么。
合同测试
- 将每一项架构承诺映射到合同条款或支持文档。
- 定义容量交付日期、替换 SLA、维护通知、数据删除、事件通知以及审计配合。
- 确认“private”仅涵盖计算，还是也包括存储、日志、指标、支持访问和备份。
内部架构模式
面向企业 AI 的实用私有 GPU 云通常采用以下模式：
- 具有直连或 VPN 的私有网络边界。
- 按工作负载类型划分的专用 GPU 节点池：训练、批量推理、在线推理、评估和实验。
- 在需要时，使用 Kubernetes 承载服务，使用 Slurm 承载大规模批处理/训练。
- 模型注册表，以及从实验到预发布再到生产的制品晋级路径。
- 通过内部网关提供 vLLM、SGLang、TensorRT-LLM、Triton 或 Ray Serve。
- 按团队配额、准入策略和成本标签。
- 对 GPU 利用率、显存、排队等待、延迟、失败作业、可接受输出和支出进行可观测性监控。
- 通过受治理的路由器对外部模型/API 进行回退，用于溢出、未支持的模型或成本比较。
最后一点不是捷径，而是一种韧性模式。即使是拥有私有 GPU 云的团队，也通常会保留模型/API 路由器，用于溢出、模型比较、供应商回退，以及那些购买 GPU 并不合理的用例。
决策矩阵
| 要求 | 私有 GPU 云 | GPU 云租用 | 模型/API 路由器 |
|---|---|---|---|
| 专用硬件隔离 | 最匹配 | 有时 | 否 |
| 自定义内核和底层栈控制 | 高度匹配 | 有时 | 否 |
| 多节点训练拓扑 | 高度匹配 | 有时 | 否 |
| 突发推理 | 通常较贵 | 匹配良好 | 匹配良好 |
| 快速访问众多前沿模型 | 较弱，除非自托管模型已足够 | 较弱 | 高度匹配 |
| 一张账单和使用台账 | 需要平台工作 | 取决于供应商 | 与 Flatkey 结合高度匹配 |
| 数据驻留和私有网络 | 设计得当则很强 | 取决于供应商 | 取决于供应商 |
| 小团队运维负担 | 重 | 中等 | 低 |
| 成本可预测性 | 在利用率高时很强 | 可变 | 对 API 支出控制很强 |
| 首次生产路由的时间 | 最慢 | 中等 | 最快 |
私有 GPU 云采购检查清单
在筛选供应商之前，请使用此清单：
- 定义工作负载：训练、微调、批量推理、在线推理、评估、嵌入、媒体生成或笔记本。
- 定义隔离：物理、虚拟、GPU 分区、调度器、网络、存储和支持访问。
- 定义拓扑：GPU 型号、每节点 GPU 数、每集群节点数、互连、存储和区域。
- 定义运行时：CUDA、驱动、NCCL、Kubernetes、Slurm、vLLM、SGLang、TensorRT-LLM、Triton、Ray 和可观测性。
- 定义数据控制：模型权重、提示、输出、日志、追踪、检查点、备份、删除和法律保全。
- 定义成本单位：GPU 小时、完成的作业、接受的输出、接受的 token、端点小时、存储、出站流量、支持和平台人力。
- 定义验收测试：安全、网络、调度器、性能、故障转移、使用导出和事件响应。
- 定义回退：溢出到公共 GPU 云、模型 API 或受 Flatkey 管控的路由。
需检查的官方来源
在评估私有 GPU 云时，请使用官方来源了解易变部分：
- 用于 GPU 分区和配置文件支持的 NVIDIA MIG 用户指南：NVIDIA MIG 文档。
- 用于 Kubernetes GPU 生命周期和调度的 NVIDIA GPU Operator 和 Kubernetes 设备插件文档：GPU Operator 和 NVIDIA k8s-device-plugin。
- 用于调度器集成模型的 Kubernetes 设备插件文档：Kubernetes device plugins。
- AWS EC2 GPU 实例和容量文档：Amazon EC2 P5 实例 和 EC2 Capacity Blocks for ML。
- Google Cloud 加速器优化虚拟机和 AI Hypercomputer 文档：Google Cloud accelerator-optimized machines 和 AI Hypercomputer。
- Microsoft Azure ND 系列 GPU 虚拟机文档：Azure ND H100 v5-series。
- 特种 GPU 云容量的供应商页面，例如 Lambda Private Cloud、CoreWeave 和 Vultr Cloud GPU。
- 用于集成私有 AI 栈评估的 HPE Private Cloud AI：HPE Private Cloud AI。
- 用于成本分摊词汇和报告结构的 FinOps FOCUS：FinOps Foundation 的 FOCUS。
- 用于模型/API 治理替代方案的 Flatkey 产品页面：Flatkey、Flatkey Compute 和 Flatkey pricing。
常见问题
什么是私有 GPU 云？
私有 GPU 云是以云式资源交付、网络、安全、计量和支持方式提供的专用或强隔离 GPU 基础设施。它可以由供应商托管、部署在托管数据中心，或运行在本地。关键不在于位置。关键在于隔离和运维模式。
私有云 GPU 是否与裸金属 GPU 租用相同？
不是。裸金属 GPU 租用可以是私有云 GPU 设计的一个构件，但私有 GPU 云还应定义网络隔离、存储边界、调度器策略、访问控制、可观测性、成本分摊、支持和事件响应。
什么时候 GPU 即服务私有云比模型 API 更好？
当您需要专用硬件、自定义运行时控制、私有网络路径、特定拓扑训练、受监管的数据处理或可预测的预留容量时，GPU 即服务私有云会更合适。当您需要众多前沿模型、快速集成、故障回退、账本控制以及较低的基础设施负担时，模型 API 通常更合适。
企业 AI 团队应如何比较顶级私有 GPU 云平台？
应从工作负载匹配度、隔离证据、拓扑、调度器所有权、数据边界、可观测性、支持模式、成本导出以及验收测试结果等方面进行比较。不要仅凭 GPU 每小时价格来给企业 AI 的顶级私有 GPU 云平台排名。
关于 Vultr 私有 GPU 云服务，我应该问什么？
应询问您的需求是否对应 Cloud GPU VM、裸金属、VPC/私有网络、承诺容量、支持响应、合规证据、存储边界以及模型服务运维。还应在将该服务视为私有 GPU 云之前，要求提供基准测试访问权限。
如果我们已经有私有 GPU 云，Flatkey 适合放在什么位置？
Flatkey 可以与私有 GPU 云并行存在，作为面向外部模型的受治理模型/API 路径，用于溢出、故障回退、成本对比，以及那些不需要硬件级控制的团队。它为官方模型和工具 API 提供一个密钥、一个余额、一张发票，以及基于用量的账本控制。
结论
私有 GPU 云是一项平台承诺，而不是采购捷径。当企业 AI 团队需要专用容量、拓扑控制、私有数据路径和运维证据时，它才是正确答案。当真正的需求只是更容易访问更多模型、一张更清晰的发票，以及更好的 API 成本治理时，它就是错误答案。
请先使用私有 GPU 云架构检查清单。然后对确切的拓扑进行基准测试。接着将 TCO 与 GPU 租赁、托管推理以及由 Flatkey 治理的模型/API 路径进行比较。最佳决策，是既能给您的 AI 团队提供他们真正需要的边界，又不会迫使他们运维自己并不需要的基础设施。如果硬件选择本身仍未确定，请先查看LLM 推理最佳 GPU，再向供应商索取私有报价。
