Reliability and Routing
Reliability and Routing 的最新文章。
LLM API 可观测性：指标、链路、日志与成本
一份面向生产环境的指南，介绍如何通过已验证的成功指标、分布式链路、 सुरक्षित 的结构化日志、SLO、告警以及每个已接受任务的成本来监控 LLM API。
LLM 限流详解：RPM、TPM 与重试
了解生产环境 LLM API 中的 RPM、TPM、429 错误、容量规划、队列、指数退避、重试预算和故障转移路由。
LLM API 备用路由：生产故障切换实战手册
一份面向生产环境的实战手册，帮助你判断 LLM 请求何时应重试、故障切换、切换模型或直接停止——同时不破坏流式传输、工具调用、schema 或延迟预算。
面向后端团队的 Gemini API 生产就绪检查清单
面向集成 Gemini API 的后端团队的生产就绪检查清单，涵盖凭据、响应契约、重试、可观测性、成本、发布和故障事件。
单区域部署之外的 Claude API 访问：合规优先指南
一份面向合规优先的 Claude API 跨区域访问指南，涵盖直接 Anthropic、Bedrock、Vertex AI、网关、测试、可观测性以及获批的故障切换。
2026 年的 Seedance 2.0 API：访问、定价与回退路由
一份关于 Seedance 2.0 API 访问、定价验证、异步任务，以及在不断变化的视频模型版本之间安全回退路由的最新指南。
面向文本转视频团队的 Seedance API 生产清单
一份实用的生产清单，帮助你使用持久队列、标准化状态、安全重试、存储和成本控制来运行 Seedance 文本转视频任务。
面向 AI 代理的 Gemini API：生产集成清单
面向 Gemini 驱动代理的生产清单，涵盖稳定端点、受控模型切换、工具安全、重试、备用路由和成本可见性。
面向自动化构建者的 AI Gateway：回退路由、成本可视化与一个基础 URL
为什么自动化构建者需要一个 AI Gateway，用于稳定的基础 URL、更安全的回退路由，以及在高频工作流中更轻松地审查成本。
多上游账户池化：共享模型流量前的可靠性检查
一份用于在 AI 模型账户之间安全进行多上游账户池化的生产检查清单，涵盖健康检查、配额、计费凭证和故障即关闭路由规则。
模型回退质量测试：当更便宜或更快的模型并不等同
一套实用的模型回退质量测试方案，用于在生产路由前证明更便宜或更快的备用模型能保留质量、成本、工具、策略和可观测性。
LLM 路由器金丝雀发布：在不进行大规模切换的情况下安全迁移模型流量
使用 LLM 路由器金丝雀发布，结合指标、停止条件、回滚触发器和 Flatkey 检查，分阶段迁移模型流量。
AI API 排队策略：在提供商服务中断期间保护面向用户的工作流
一份生产可靠性手册，介绍如何通过队列通道、背压、回退合约、死信规则和路由证据来保护面向用户的 AI 工作流。
LLM 网关错误分类法：区分身份验证、配额、提供商和安全故障
一份生产可靠性实践手册，用于在重试或回退前，将 LLM 网关故障分类为身份验证、配额、提供商、请求、安全和取消路径。
AI API 速率限制处理：退避、队列、回退或故障关闭
一份用于处理 AI API 速率限制的生产环境清单，涵盖 Retry-After、抖动退避、队列处理、回退契约、故障关闭停止和可观测性。
AI API 超时策略：连接、读取、流式传输和队列预算
在事故造成昂贵损失之前，为生产环境的 AI API 设置连接、读取、流式传输、队列、重试、回退和可观测性的超时预算。
LLM API 网关的熔断器：保护应用免受提供商故障循环影响
使用 LLM API 网关熔断器来阻止提供商故障循环、分类错误、保护重试，并路由到备用、队列或失败关闭。
模型回退检查清单：质量、成本、工具与合规边界
使用这份模型回退检查清单，在自动 AI 网关回退之前评估质量、成本、工具、流式传输、合规、日志和回滚。
用一个 AI 网关更快上线。
使用 flatkey.ai 在一个 API 平台中管理模型、密钥、计费和可观测性。
开始使用