Enterprise Controls and Trust2026年7月6日Flatkey

AI 网关 SLA：模型路由、回退与支持相关问题

在续订前，使用这些 AI 网关 SLA 问题，将有关正常运行时间、回退、支持和第三方依赖的声明转变为买方可验证的依据。

在第一次模型事件发生之前，AI 网关 SLA 看起来可能很简单。买家看到的是一个可用性百分比、一个支持地址以及网关路由请求的承诺。但生产团队仍然需要回答更棘手的问题：涵盖了哪个端点，哪个上游提供商失败了，回退是否改变了模型合同，支持需要什么证据，以及是否有任何补救措施是自动的。

使用这份 AI 网关 SLA 清单，将供应商的语言转化为证据文件。目标不是用口号进行谈判，而是要了解 SLA 涵盖了什么、排除了什么、如何证明路由和回退，以及您的团队在续约前应该审查什么。

具体到 Flatkey，于 2026 年 7 月 6 日查阅的公开服务水平协议指出，其涵盖范围是 Flatkey 直接运营的托管仪表板、API 网关、路由、计量和账户服务。它的目标是为所涵盖的端点提供 99.5% 的月度可用性，排除了第三方 AI 模型提供商的中断和提供商侧的故障，要求客户在寻求支持时发送请求 ID、时间戳、错误、端点、账户电子邮件和影响摘要，并且除非另有书面协议规定，否则不会自动创建服务积分。请将此作为初始证据，然后在生产流量依赖它之前，验证您的账户、流量类别、回退策略和支持流程。

快速解答：AI 网关 SLA 问题

| SLA 领域 | 签署或续约前应询问 | 需要保留的证据 | |---|---|---| | 涵盖的服务 | 涵盖了哪些仪表板、API 网关、路由、计量、账户和支持功能？ | 当前的 SLA URL、合同附表、端点列表和带日期的截图。 | | 可用性计算 | 可用性是通过供应商监控、客户探测、公共状态页面还是合同报告来衡量的？ | 月度可用性报告、探测日志、事件导出和计算方法。 | | 第三方提供商 | 是否排除了上游模型中断、速率限制、区域限制、模型变更和提供商侧的故障？ | 提供商状态链接、模型错误体、路由日志和供应商的排除条款文本。 | | 路由 | 首先尝试了哪个模型、提供商、账户、区域或组？ | 请求 ID、所选路由、模型 ID、端点族、密钥所有者和时间戳。 | | 回退 | 哪些错误会触发重试、回退、排队或故障关闭行为？ | 回退策略、路由跟踪、重试次数、最终模型和已接受输出的证明。 | | 支持 | 必须发送什么证据，适用哪个严重性路径？ | 工单模板、请求 ID、端点、时间戳、错误、影响摘要和响应时间线。 | | 补救措施 | 服务积分是自动的、逐案处理的，还是仅在单独的书面协议中规定？ | SLA 补救条款、合同修正案、积分申请和财务批准。 | | 续约 | 在下一个合同期开始前必须审查什么？ | 事件登记册、回退异常、支持结果、配额事件、价格变动和路由批准。 |

关于 AI 网关 SLA 的实际答案是：将网关的责任与上游提供商的责任分开，然后测试路由。如果买家无法检查路由、回退、支持工单和月度可用性证据，那么该 SLA 尚未准备好用于生产治理。

将网关正常运行时间与上游模型可用性分开

第一个 AI 网关 SLA 问题是，供应商承诺的是网关、上游模型，还是完整的最终用户结果。这些是不同的层面。

Flatkey 当前的公开 SLA 明确了这种分离：涵盖的 Flatkey 运营的服务在范围内，而第三方模型提供商、提供商中断、提供商速率限制、策略变更、区域限制、模型行为和提供商侧的故障则在 SLA 之外。这在网关采购中非常普遍，因此采购部门绝不应将单个正常运行时间百分比视为“所有模型请求都会成功”。

在证据文件中使用这种划分：

| 层面 | 可能失败的环节 | 买方证据 | |---|---|---| | 客户端和 SDK | 错误的基 URL、错误的密钥、不支持的端点、超时时间过短、解析器错误。 | 客户端配置、SDK 版本、请求体、超时时间和本地日志。 | | 网关 | 身份验证、路由、计量、网关端点、仪表板、使用日志、账户服务。 | 网关 SLA、请求 ID、路由跟踪、状态、使用记录和支持工单。 | | 上游提供商 | 提供商中断、提供商配额、模型停用、区域封锁、策略拒绝、特定于模型的行为。 | 提供商状态、提供商配额页面、上游错误体、模型 ID 和回退决策。 | | 业务工作流 | 用户影响、队列深度、输出质量下降、未达到内部目标。 | 事件时间线、受影响的流量类别、客户影响摘要、回滚决策。 |

这就是 AI 网关 SLA 变得可操作的地方。买家应该要求路由级别的跟踪，而不仅仅是月度正常运行时间数字。

路由和回退问题

路由是 AI 网关 SLA 中最常被忽略细节的部分。一个网关可能支持多个模型和提供商，但生产可靠性取决于为每个流量类别允许了哪条路由。

来自其他供应商的官方网关文档说明了为什么细节很重要。Vercel 的 AI Gateway 文档描述了提供商路由和模型回退，包括对路由顺序和回退行为的控制。其模型回退文档称，当主模型失败或不可用时，可以按顺序尝试备用模型。Pydantic AI Gateway 文档描述了路由组，其中优先级和权重决定故障转移或负载均衡，当更高优先级的成员不可用、受速率限制或出错时会进行穿透。这些是有用的类别示例，并非 Flatkey 的保证。它们展示了买家应该向任何网关（包括 Flatkey）提出的问题。

在批准自动回退之前，请使用此路由表：

| 故障信号 | 默认购买者问题 | 安全证据 | |---|---|---| | 网关 401 或 403 | 密钥、账户、环境或策略范围是否错误？ | 密钥所有者、环境、身份验证错误和策略拒绝记录。 | | 未找到模型 | 请求的模型是否存在于此账户的当前目录中？ | 目录行、模型 ID、端点系列以及发布日期或测试日期证明。 | | 提供商 429 | 此账户、区域、模型或部署的配额是否已用尽？ | 配额页面、上游错误正文、重试后数据和回退策略。 | | 提供商 5xx 或超时 | 网关应该重试、切换相同模型的路由、排队还是故障关闭？ | 路由跟踪、重试次数、超时阈值、最终结果和成本记录。 | | 上下文限制或不支持的输入 | 如果备用模型更改了上下文、工具、视觉或媒体行为，是否允许回退？ | 模型合同、功能测试、可接受输出检查和产品负责人批准。 | | 策略或安全拒绝 | 是否允许另一个提供商接收相同的请求？ | 数据边界、提供商批准、提示分类和合规性签核。 | | 未知故障 | 停止条件是什么？ | 事件运行手册、最大尝试次数、故障关闭规则和支持升级。 |

最强有力的 AI 网关 SLA 证据是一份路由跟踪，其中指明了起始路由、回退规则、最终路由以及每次转换发生的原因。

回退并非总是可靠性的胜利

采购部门经常询问网关是否具有自动回退功能。平台团队应该用第二个问题来回答：回退到什么？

对于同一批准的模型，从一个账户自动切换到另一个账户是合理的。但从一个模型系列切换到另一个模型系列可能会改变质量、数据处理、延迟、输出格式、工具行为、图像或视频策略以及成本。某些流量应该故障关闭，因为隐藏的回退会使事件恶化。

按流量类别定义回退：

| 流量类别 | 回退策略 | 原因 | |---|---|---| | 客户聊天 | 仅使用经批准的等效路由，或返回受控错误。 | 面向用户的质量和安全性必须保持可预测。 | | 内部摘要 | 重试、排队或使用成本更低的经批准路由。 | 延迟可以换取成本和完成率。 | | 评估和基准测试 | 故障关闭。 | 隐藏的模型更改会破坏比较数据。 | | 财务敏感的批处理作业 | 排队或在回退前要求批准。 | 重试和备用模型可能会使支出成倍增加。 | | 带工具的代理工作流 | 仅在工具调用行为经过测试后才回退。 | 不同提供商的工具模式和流式行为可能不同。 | | 受监管或客户隔离的流量 | 故障关闭，除非备用提供商和区域已预先批准。 | 数据边界和采购证据比自动完成更重要。 |

这是购买者拥有的测试：通过主路由和建议的回退路由运行相同的提示，然后比较响应形态、日志、成本、延迟、可接受的输出和支持证据。在回退证据存在之前，不要将 AI 网关 SLA 视为完整。

证据包的支持问题

Flatkey 当前的 SLA 要求客户联系支持时提供账户电子邮件、受影响的端点、请求 ID（如果可用）、时间戳、错误消息和影响摘要。这对于任何 AI 网关 SLA 支持流程都是一个有用的模板。

在发布之前，创建一个包含以下字段的支持包：

| 字段 | 重要性 | |---|---| | 账户电子邮件和工作区 | 让支持人员能够找到正确的租户、密钥和权限。 | | 受影响的端点 | 区分聊天、响应、消息、图像、视频和仪表板事件。 | | 请求 ID | 将应用程序日志连接到网关和上游跟踪。 | | 带时区的时间戳 | 防止月度可用性和事件窗口发生偏移。 | | 模型 ID 和路由类别 | 显示涉及哪个路由策略和提供商系列。 | | 错误消息和状态码 | 区分身份验证、配额、超时、提供商和解析器故障。 | | 影响摘要 | 解释受影响的用户、收入、作业、队列深度或内部工作流。 | | 客户端重试 | 显示重复尝试是否增加了成本或负载。 | | 所需操作 | 阐明您是需要诊断、禁用路由、信用审查还是合同跟进。 |

将此支持包链接到您的 AI API 使用情况审计日志流程。如果在事件发生后无法获得请求 ID 和路由证据，支持流程就会变成一场记忆力考验。

补救和信用问题

AI 网关 SLA 的补救部分很重要，因为它通常定义了购买者实际可以获得什么补偿。一个没有信用条款的 99.5% 目标，与一个包含自动服务积分、书面通知要求、除外条款和索赔期限的承诺 SLA 是不同的。

Flatkey 的公共 SLA 表示，除非另有书面协议提供不同的补救措施，否则不提供自动服务积分、退款、罚款或违约赔偿金。任何善意调整、余额修正或支持补救措施都将根据用户协议和适用政策逐案处理。

这并不意味着 SLA 不可用。它意味着采购部门应该提出正确的问题：

公开的 SLA 是完整的协议，还是有单独的企业版方案？
如果提供信用额度，索赔窗口期是多久？
客户必须提供什么证据？
即使网关选择了上游提供商，其服务中断是否也被排除在外？
计划内维护和紧急安全措施是否被排除在外？
SLA 是否涵盖延迟、模型质量、限流和回退行为，还是仅涵盖可用性？
补救措施适用于预付余额、发票抵扣、退款、支持修复，还是合同终止权？
财务部门由谁最终批准索赔？

答案应与 AI API 供应商风险评估存放在同一个供应商文件中。法律和财务部门需要与平台工程师在事件审查期间使用的相同证据。

配额、速率限制与提供商依赖关系

即使上游提供商的配额已用尽导致请求失败，AI 网关的 SLA 仍可能有效。这就是为什么配额证据应纳入 SLA 审查的原因。

微软的 Azure OpenAI 配额文档指出，每分钟令牌数和每分钟请求数限制的范围是按区域、订阅以及模型或部署类型划分的。AWS Bedrock 文档同样引导团队查看 Bedrock 资源的服务配额，并指出模型推理受令牌使用配额控制。这些提供商的事实并非 Flatkey 的承诺。它们提醒我们，上游账户的配置可以决定在真实事件中回退是否可用。

将以下检查项添加到启动文件中：

| 依赖项检查 | 证据 | |---|---| | 上游配额范围 | 区域、账户或订阅、模型、部署类型、TPM/RPM 或提供商等效项。 | | 网关配额范围 | 密钥、团队、环境、模型组、预算上限和重置窗口。 | | 重试预算 | 最大重试次数、抖动/退避策略和成本防护栏。 | | 回退容量 | 备用路由配额、模型可用性和提供商批准。 | | 限流行为 | 错误代码、retry-after 信号、支持升级和面向用户的处理方式。 |

如果配额不由路由的同一所有者来衡量，AI 网关的 SLA 审查将错过最常见的故障模式：路由存在，但账户无法承受生产流量。

Flatkey 预发布审查

对于 Flatkey，于 2026 年 7 月 6 日核查的公开产品证明支持一个 AI API 网关、一个 API 密钥、与 OpenAI 兼容的路由器基础 URL https://router.flatkey.ai/v1、面向仪表盘的用量和计费可见性、定价审查以及与路由相关的定位。实时定价 API 快照返回了 success: true，定价版本为 a42d372ccf0b5dd13ecf71203521f9d2，包含 45 个模型行、48 个供应商，支持 Anthropic 消息、Gemini generateContent、图像生成、OpenAI 聊天补全和视频请求的端点元数据，以及各行中 available 和 unknown_failure 的可用性状态。

仅将其作为过时的公开证据使用。它不能证明您账户的 SLA 补救措施、支持级别、路由成功率、回退资格、永久模型可用性、延迟、合规范围或特定于账户的定价。

Flatkey AI 网关的 SLA 预发布审查应包括：

打开当前的定价页面，并选择确切的模型或路由系列。
在您的账户或仪表盘中确认模型行和端点系列。
通过 https://router.flatkey.ai/v1 运行一个低风险请求。
捕获请求 ID、模型 ID、端点、时间戳、状态、使用单位、成本证据和密钥所有者。
运行一个经批准的故障测试：错误的模型、配额边界、超时或禁用的回退。
确认支持证据在日志中的显示位置。
决定哪些流量类别可以回退，哪些必须在失败时关闭。
将支持包字段添加到事件运行手册中。
将当前的 SLA、定价、路由证明和支持路径保存在供应商证据文件夹中。

当这些证据存在时，平台、采购和财务部门可以评估同一个文件，而不是根据截图争论。

续订触发器清单

不要只审查一次 AI 网关的 SLA。添加续订触发器，以确保购买方文件保持最新。

| 触发器 | 需重新检查的内容 | |---|---| | SLA 页面或合同更新 | 范围、排除项、补救措施、支持流程和联系方式。 | | 新模型系列 | 端点、提供商、配额、数据边界、定价单位和回退策略。 | | 新的生产流量类别 | 故障转移态势、支持严重性和所有者批准。 | | 事件或准未遂事件 | 路由跟踪、支持时间线、用户影响、成本影响和预防措施。 | | 提供商配额变更 | 备用容量、限流行为和流量分配。 | | 定价变更 | 请求级成本、重试预算、回退模型成本和财务阈值。 | | 安全或合规审查 | 日志记录范围、保留期、提供商批准和访问审查。 |

将此清单与企业 AI API 网关清单联系起来。SLA 是企业证据包的一部分，而不是一个独立的信任徽章。

常见错误

| 错误 | 危害 | 更好的检查方法 | |---|---|---| | 将网关正常运行时间目标视为模型成功保证 | 上游提供商、配额、策略和模型行为可能被排除在外。 | 分离网关、提供商、客户端和业务工作流的证据。 | | 询问是否存在回退，但不问切换到什么 | 备用模型可能会改变输出、数据边界、功能和成本。 | 按流量类别和模型合同批准回退。 | | 不保留请求 ID | 支持团队无法可靠地将客户日志与路由日志连接起来。 | 为每个生产路由添加请求 ID 捕获。 | | 忽略配额范围 | 备用路由可能存在，但在流量高峰期仍会受到限制。 | 将上游和网关的配额证据存储在一起。 | | 假设服务抵扣额是自动的 | 许多 SLA 需要单独的协议、索赔流程或逐案审查。 | 在启动前保存补救条款和索赔负责人。 | | 仅在购买时审查 | 模型目录、配额和支持路径会发生变化。 | 添加续订触发器和事件驱动的重新检查。 |