成本、计费与运维2026年10月23日Flatkey Team

免费 LLM API：限制、成本与生产环境权衡

实用指南：了解免费 LLM API 套餐、额度、速率限制、隐性运营成本，以及在用户依赖某条路由前应加入的生产环境控制措施。

免费 LLM API 可用于验证提示词、模型选择或产品想法。它并不自动等同于免费的生产环境计划。在围绕它进行构建之前，请确定它提供的是哪种免费访问方式、最先触及的限制是什么、达到上限后会发生什么，以及当前的数据和计费条款是否适合这项工作。

实用原则很简单：使用免费 LLM API 快速学习；在用户依赖它之前，制定容量、成本和回退方案。

这不是又一份提供商排行榜。如果您正在筛选候选方案，请先阅读 Flatkey 的免费 LLM API 指南。本指南回答下一个问题：如何将成功的免费层测试转变为可运营的应用程序？

快速回答：“免费”描述的是一种访问模式，而非保证

“免费 LLM API”这一说法可以指几种不同的安排。它们的适用方式不同，失效方式也不同。

访问模式	您获得的内容	适合的场景	发布前需验证的内容
持续性免费层	可重复获得的额度，通常受模型、速率、令牌或每日请求数限制	提示词实验、演示、小型内部工具	确切的模型资格、配额重置、账户范围和当前数据使用条款
试用或赠送额度	具有资格和到期规则的固定金额余额	快速概念验证	到期时间、充值行为，以及支付设置是否会改变故障模式
零定价路由	标示推理价格为零的选定模型路由	对比测试和低风险冒烟测试	模型可用性、路由特定限制、质量及任何提供商特定条件
本地或自托管 API	在您运行的基础设施上进行开放权重推理	私密开发测试和可重复的本地工作流	硬件、托管、运维、监控和待命责任

例如，Google 将 Gemini API 免费层描述为对某些模型的有限访问，并提供免费的输入和输出令牌。其付费层增加了更高的速率限制和面向生产环境的功能；定价页面还区分了不同层级的数据使用处理方式。请查看实时定价表，了解您计划使用的确切模型。

这种区别很重要，因为免费 LLM API 既可能很有价值，也有其限度。正确的问题不是“它免费吗？”，而是“我今天获得了什么容量和条件？”

检查最先可能导致您的工作负载中断的限制

原型可能通过一个简短请求就能成功，却会在客户实际产生的工作负载下失败。评估免费 LLM API 时，请记录您将要发布的确切账户、项目、模型 ID 和区域的以下信息。

请求速率和突发行为

每分钟请求数并不总是以平滑的一分钟平均值执行。即使总请求数看起来可以接受，短时突发也可能触发错误。在可能的情况下对交互式工作进行排队；出现 Retry-After 时遵从它；并使用有界指数退避，而不是无限重试。

令牌吞吐量和上下文形态

长上下文、检索载荷、代理循环和大量输出，可能会在请求数达到上限之前耗尽吞吐量。例如，Google 的 Gemini 文档指出，使用情况可能会按每分钟请求数、每分钟输入令牌数和每日请求数进行评估；即使其他指标仍低于限制，其中任一指标都可能成为约束。文档还指出，限制按项目而非按 API 密钥应用。请在 AI Studio 中查看当前 Gemini 限制，而不要复制旧的配额表。

每日配额、额度和支出边界

请明确询问容量何时恢复。每日额度、会过期的赠送额度、预付余额和每月支出限额是不同的控制方式，具有不同的故障模式。后台任务可以等待重置。面向客户的聊天体验通常不能。

模型和功能资格

在免费测试中可用的模型，可能并不是您进行 JSON 输出、工具调用、缓存、批处理、长上下文或生产流量所需的模型或功能集。请在测试证据中记录模型 ID 和功能，而不只是提供商名称。

账户和组织范围

容量可能由项目或组织共享。Anthropic 说明了独立的组织级支出和速率限制，而 Groq 记录了请求、令牌和每日维度的速率限制。Anthropic 当前的速率限制指南和Groq 的限制文档很好地说明了：您实际账户的控制台才是事实来源。

免费 LLM API 可能具有实际运营成本

零定价推理并不等同于零成本服务。发布前，请计算一次成功用户结果的成本：

monthly operating cost =
  paid model input + paid model output + cache storage/use
  + retry and fallback traffic + retrieval or tool calls
  + observability + human recovery work

首选指标是：

cost per accepted result = total workflow cost / accepted outcomes

该公式可避免一个常见错误：将第一个模型称为免费，却忽略付费回退、输出格式错误后的重复调用、搜索或检索计量费用，以及额度用尽时的支持工作量。

OpenAI 当前的计费指南区分了免费额度、预付余额、请求和令牌限制、获批使用限制以及支出控制。它还指出，正余额并不意味着所有其他 API 限制都可用。在决定重试是否有用之前，请使用计费文档和 429 故障排除指南对实际错误进行分类。

执行这项 30 分钟免费 LLM API 生产测试

请针对您计划部署的确切路由运行测试，而不是一条单行的 hello-world 提示词。

记录当前访问条件。记录套餐、项目、模型 ID、请求和令牌限制、每日或额度边界、重置/到期时间以及任何功能限制。
使用真实负载。测试预期的提示词大小、输出大小、流式模式、结构化输出或工具调用行为，以及检索上下文。
分别测试突发流量和持续运行。突发流量可揭示短时间窗口内的速率限制。持续运行可揭示每日上限、额度耗尽、排队和成本。
强制触发失败路径。确认发生 429、余额耗尽、超时、响应格式错误和提供商容量错误后的用户体验。
衡量回退方案。验证其质量、延迟、成本以及面向用户的消息。未经测试的回退方案只是第二个不确定点。
审查数据路径。在发送客户数据或专有数据之前，针对确切的层级、模型、区域和已连接功能重新核查当前条款。

请将结果保存在应用配置旁边：

free_llm_route:
  provider: "verify in provider console"
  project_or_organization: "production-separated-from-development"
  model_id: "exact-model-id"
  free_mechanism: "recurring_quota | credit | zero_price_route | local"
  limits_checked_at: "YYYY-MM-DDTHH:MM:SSZ"
  first_expected_limit: "rpm | tpm | rpd | credit | spend"
  reset_or_expiry: "provider-documented value"
  fallback_route: "tested-model-and-provider"
  behavior_on_exhaustion: "queue | graceful_degrade | retry_later | pause"
  spending_guardrail: "owner and control location"
  data_terms_reviewed_at: "YYYY-MM-DD"

将容量耗尽视为一种产品状态

生产代码应区分临时容量压力与余额或支出停止。重试硬性资金错误无法恢复请求；它只会延迟向用户给出明确的响应。

async function callWithCapacityPolicy(request: RequestInit) {
  const response = await fetch(process.env.AI_BASE_URL + "/chat/completions", request);
  if (response.ok) return response.json();

  const retryAfter = response.headers.get("retry-after");
  const detail = await response.json().catch(() => ({}));

  if (response.status === 429 && retryAfter) {
    // Queue or retry with a bounded, jittered delay.
    throw new RetryableCapacityError({ retryAfter, detail });
  }

  if (detail?.error?.code === "credit_balance_exhausted") {
    // Use a tested paid fallback or pause the feature gracefully.
    throw new FundingOrQuotaStopError({ detail });
  }

  throw new ProviderError({ status: response.status, detail });
}

确切的代码和标头因提供商而异，因此请在日志中保留响应正文、请求 ID、时间戳、模型 ID 以及账户/项目上下文。如需更深入的实现模式，请参阅 Flatkey 的LLM 速率限制与重试指南。

免费 LLM API 何时是正确选择

场景	免费层级适配度	发布前应补充
提示词探索或模型评估	非常适合	保存提示词、输出、延迟和确切的模型 ID
已知低使用量的内部工具	通常适合	额度告警、指定负责人和记录在案的暂停行为
演示或黑客松	有备用方案时适合	预先运行测试，缓存安全的回退方案，并了解重置时间
封闭测试版	有条件适合	每用户限制、预算护栏和升级路径
面向客户的实时功能	作为唯一途径很少足够	可观测性、回退方案、支出控制、事故处理行为和付费容量
受监管或涉及客户敏感信息的工作负载	至多有条件适合	对数据条款、保留、访问和区域要求进行最新的书面审查

这并不是说免费 LLM API 永远无法服务真实用户。它只是提醒您，免费层级不应成为未经审查的单点故障。

从免费测试转向受控的生产路径

你在第一天并不需要一个复杂的平台。但在第一条免费路由成为架构约束之前，确实需要让模型 ID、凭据、回退规则、预算归属和使用遥测数据可配置。

对于单一提供商，这可能意味着单独的生产项目、有界队列、经测量的付费回退方案，以及一位负责使用量警报的负责人。一旦你开始测试不止一个模型，或需要协调跨提供商的成本，统一访问层可以减少集成偏差。Flatkey 提供一个密钥、用于模型和工具调用的统一余额，以及一条与 OpenAI 兼容的路由，适合希望尽量减少应用改动的团队。先从 Flatkey API 快速入门开始，然后使用 AI 网关定价框架和 AI API 配额管理指南，为新路径建立控制机制。