定价页面上最便宜的模型，并不总是生产环境中最便宜的模型。更低的输入 token 费率，可能会被更长的输出、较弱的缓存复用、重试、更慢的响应，或迫使你调用第二个模型的质量下降所抵消。
这就是为什么比较 AI 模型价格的正确方式，是衡量你的工作负载被成功完成的成本——而不是孤立地购买一百万个 token 的成本。
本指南为创始人和工程师提供了一个实用的评估框架，可在更换 AI API 提供商之前使用。它涵盖标价、缓存行为、批量折扣、工作负载质量、延迟、可靠性、迁移工作量，以及一个你可以在每月模型评审中重复使用的工作表。
从成功任务的有效成本开始
当团队第一次学习如何比较 AI 模型价格时，他们通常会建立一个包含三列的表：模型、输入价格和输出价格。这个表对于初步筛选很有用，但它不是购买决策。
更有用的指标是：
每个成功任务的有效成本 = 总评估支出 ÷ 被接受的任务结果
假设模型 A 在每个 token 上看起来比模型 B 便宜 30%。如果模型 A 需要更多重试、生成更长的回答，或者更频繁地未通过你的验收检查，那么它的有效成本可能更高。
对于每个候选项，跟踪：
- 总输入 token、缓存输入 token 和输出 token；
- 任何推理、工具、图像、音频或搜索费用；
- 成功响应和已接受的输出；
- 重试、超时、速率限制失败以及回退调用；
- 中位数延迟和尾部延迟；
- 迁移和运行该路由所需的工程时间。
这把问题从“哪一个模型费率最低？”变成了“哪一个模型能以最佳的成本、质量和运营风险完成这项工作？”
换句话说，如何比较 AI 模型价格，首先是一个工作负载测量问题，其次才是一个采购问题。
在比较之前先统一价格单位
提供商的定价页面并不总是以相同方式描述相同的计费事件。在比较 AI 模型价格之前，请将每个候选项转换为统一的工作表。
任何关于如何比较 AI 模型价格的可重复流程，都必须先统一这些单位，再对候选项进行排序。
1. 区分输入、缓存输入和输出
输入和输出 token 通常具有不同的费率。缓存输入可能有更低的读取费率，而创建或写入缓存可能有自己的价格或保留规则。
不要录入一个合并后的“token 价格”。请分别记录这些项：
| 成本字段 | 需要记录的内容 |
|---|---|
| 输入 | 未缓存的提示词 token 以及提供商的计费单位 |
| 缓存写入 | 可复用上下文进入缓存时收取的 token 费用 |
| 缓存读取 | 从缓存提供的 token 以及适用的折扣 |
| 输出 | 可见的生成 token |
| 推理 | 任何单独报告或计费的推理 token |
| 工具和媒体 | 搜索、代码执行、图像、音频、视频或其他按单位计费的费用 |
OpenAI、Anthropic 和 Google 都会公布模型定价和缓存细节，但其机制各不相同。请阅读当前的提供商文档，而不要想当然地认为“缓存输入”在所有地方都意味着相同的行为。
2. 将同步和批处理工作分开
批处理或异步 API 可以降低那些不需要立即响应的工作的成本。它们也可能改变完成窗口、运维处理和故障恢复方式。
客服聊天机器人和夜间分类作业不应使用相同的定价假设。将实时流量与实时费率进行比较，将可批处理流量与提供商当前的批处理条款进行比较。
3. 分离多模态
文本 token、生成图像、音频秒数和视频秒数都是不同的单位。除非请求组合是固定且有文档记录的，否则不要把它们隐藏在一个“每次请求成本”数字里。
如果你的产品使用多种模态，请为每种工作负载建立一个成本模型，然后根据预期的生产量将它们合并。
4. 记录上下文窗口和输出限制
一个模型看起来可能很便宜，但对于你的工作负载却需要截断提示词、拆分文档块，或者多次调用。请在价格之外，一并记录可用上下文窗口、最大输出、结构化输出支持以及工具限制。
为你的实际缓存行为建模
缓存定价是头条价格比较最容易误导你的主要原因之一。
要准确比较 AI 模型价格，请估算输入中有多少部分在请求之间保持稳定。例如：系统指令、产品目录、代码仓库摘要、政策手册，或较长的 few-shot 前缀。
对一个简化请求使用以下公式：
request cost =
(uncached input tokens × input rate)
+ (cache-write tokens × cache-write rate)
+ (cache-read tokens × cache-read rate)
+ (output tokens × output rate)
+ other billable units
然后至少测试三种缓存场景：
| 场景 | 缓存假设 | 为什么重要 |
|---|---|---|
| 冷缓存 | 0% 重用 | 新租户、已更改前缀或已过期的缓存条目 |
| 预期 | 来自具有代表性的流量样本的观测重用率 | 正常生产环境的最佳估计 |
| 热缓存 | 高重用 | 稳定前缀和集中的重复流量 |
不要对每个请求都使用热缓存假设。缓存键、最小 token 阈值、保留窗口、前缀变更和流量分布都可能降低实际命中率。
安全的决策应基于观测到的缓存遥测数据，而不是宣传中的最高折扣。
对于具有较长且重复提示前缀的应用来说，这对 如何比较 AI 模型价格 是至关重要的一部分。
构建具有代表性的评估集
一个有用的 AI 模型评估框架应从与生产环境相似的任务开始。公开基准可以帮助你发现候选项，但它们很少能匹配你的提示设计、文档、工具、输出模式、语言或故障成本。
创建一个包含四个部分的评估集：
- 常见任务：产生你大部分流量的请求。
- 困难任务：需要更深入推理或更好遵循指令的情况。
- 风险任务：一旦出现幻觉、格式失败或不安全输出就会付出高代价的提示。
- 边缘任务：长上下文、多语言内容、工具调用、非常规格式或稀疏数据。
对于狭窄的工作流，50 到 100 个精心挑选的案例可能比成千上万个通用提示更有用。对于广泛的助手，使用更大的分层集合，并按任务类别报告结果，而不是用一个平均值掩盖差异。
在不同候选方案之间保持提示、采样设置、工具定义和输出限制一致。如果某个提供商要求不同的提示格式，请将这种差异记录为迁移工作量，而不是悄悄改变测试。
这个受控测试集是在更换 API 提供商前，如何比较 AI 模型价格的基础，它能避免把提示变化误认为模型改进。
在运行测试前定义“成功”
在定义成功之前，你无法计算每个成功任务的有效成本。
使用与工作负载相匹配的验收标准：
- 提取：所需字段齐全、模式有效，以及字段级准确性。
- 分类：精确率、召回率，或经过审查的混淆矩阵。
- 代码生成：测试通过、安全检查通过，并且补丁保持在范围内。
- 客户支持：有依据的回答、正确使用政策、有帮助的语气，以及没有编造行为。
- 智能体：工具选择、参数有效性、任务完成情况，以及从工具错误中恢复的能力。
- 内容生成：事实支撑、品牌契合度、修改率，以及编辑接受度。
尽可能使用确定性检查。对于无法简化为测试的质量，加入盲测人工评审。如果评审人员知道哪个模型生成了答案，品牌预期可能会扭曲结果。
将延迟和可靠性作为成本输入进行衡量
一个略便宜但经常无法满足延迟目标的模型，可能会降低转化率，或迫使你构建更复杂的回退系统。
跟踪：
- 首个 token 的时间；
- 总响应时间；
- p50、p95 和 p99 延迟；
- 超时率；
- 429 和 5xx 比率；
- 重试次数；
- 回退频率；
- 不完整或格式错误响应率。
速率限制也属于同一评估范围。某个提供商可能提供很有吸引力的单价，但每分钟请求数、每分钟 token 数、并发数或账户级容量不足，无法满足你的发布计划。
同时运行隔离质量测试和受控负载测试。隔离测试告诉你模型能做什么。负载测试告诉你提供商能否在你预期的流量模式下交付。
容量测试属于在更换 API 提供商前，如何比较 AI 模型价格的一部分，因为失败或延迟的请求仍然会带来业务和工程成本。
纳入迁移和运营成本
学习如何比较 AI 模型价格的团队，常常会忽略 API 账单之外的一次性和持续性成本。
将这些字段加入决策：
| 成本领域 | 需要回答的问题 |
|---|---|
| API 兼容性 | 你可以只更改基础 URL 和模型 ID，还是必须重写请求逻辑？ |
| 工具调用 | 工具 schema、并行调用或结果消息的行为是否不同？ |
| 结构化输出 | 你的 JSON schema 是否能被一致支持？ |
| 流式传输 | 客户端和 UI 能否处理提供商的事件格式？ |
| 可观测性 | 你能否按路由或工作负载归因使用量、错误、延迟和成本？ |
| 治理 | 密钥控制、审计要求和数据政策是否符合你的组织？ |
| 回退机制 | 你能否在不复制提供商特定代码的情况下切换模型？ |
估算迁移工程工时、测试维护成本，以及预期的每月运营负担。较小的费率优势未必值得冒险重写。相反，一个兼容性良好且可观测性强的路径，能让持续的模型评审便宜得多。
使用加权决策分数——但保留原始指标
收集完原始结果后，创建一个反映工作负载的加权分数。
权重使 如何比较 AI 模型价格 更贴合你的产品，而不是强行让每种工作负载都套用同一种价值定义。
生产级抽取服务的示例权重：
| 维度 | 示例权重 |
|---|---|
| 被接受输出率 | 35% |
| 每个被接受输出的有效成本 | 25% |
| p95 延迟 | 15% |
| 负载下的可靠性 | 15% |
| 迁移和运维工作量 | 10% |
对于交互式编程助手，质量和延迟可能更值得高权重。对于离线文档分类，批处理成本和吞吐量可能占主导。
不要只发布最终分数。保留原始测量结果，这样利益相关者就能看到取舍，并且无需重新运行评估就能调整权重。
可复用的 AI 模型价格比较工作表
每个模型与工作负载组合使用一行：
| 字段 | 候选 A | 候选 B | 候选 C |
|---|---|---|---|
| 未缓存输入费率 | |||
| 缓存写入费率 | |||
| 缓存读取费率 | |||
| 输出费率 | |||
| 其他单位费用 | |||
| 平均未缓存输入 token 数 | |||
| 平均缓存输入 token 数 | |||
| 平均输出 token 数 | |||
| 评估请求数 | |||
| 已接受输出 | |||
| 重试和回退调用 | |||
| 评估总支出 | |||
| 每个已接受输出的有效成本 | |||
| p50 / p95 延迟 | |||
| 错误率 | |||
| 迁移工时 | |||
| 决策备注 |
使用以下计算方式：
接受率 = 已接受输出 ÷ 评估请求数
每个已接受输出的有效成本 =
（主模型支出 + 重试支出 + 回退支出）
÷ 已接受输出
预计月成本 =
每个已接受输出的有效成本
× 每月预计已接受任务数
针对流量增长、缓存命中率、输出长度和回退率进行敏感性检查。这能显示哪项假设可能逆转决策。
比较 AI 模型价格时的常见错误
从单个提示词中选择
一次令人印象深刻的回复只是演示，而不是评估。请使用具有代表性的一组样本并报告方差。
只比较输入 token 价格
输出 token、缓存机制、重试和工具都可能主导最终账单。
将最高缓存折扣当作预期节省
请根据你自己的提示词结构和流量分布来衡量缓存复用情况。
忽视输出长度
两个模型都可能正确回答，但其中一个生成的可计费输出 token 数是另一个的两倍。
把速率限制视为后续问题
容量限制可能把一个便宜的模型变成不可靠的生产依赖。
一次性切换所有工作负载
最优模型可能因任务而异。先迁移一个工作负载，增加回滚路径，并保持评估可重复。
Flatkey 在评估工作流中的位置
Flatkey 通过一个 API 密钥提供对广泛模型目录的访问，并让团队能够查看其 AI 工作负载的使用情况。这使得你可以更轻松地从静态的 AI 模型价格比较 转向重复的工作负载测试，而无需围绕单独的提供商账户重建每个集成。
先查看实时的 Flatkey 定价页面，了解可用模型和当前价格。然后使用 AI 模型价格比较 来获取当前市场层面的视图。本文中的框架可帮助你将这些标价转化为生产决策。
目标不是更频繁地更换提供商。而是在证据支持时，让切换更安全。
切换前的最终检查清单
在更改生产路由之前，请确认你已经：
- 在同一天比较了当前提供商文档；
- 对输入、输出、缓存、批处理、工具和模态收费进行了标准化；
- 测试了具有代表性的、困难的、风险和边缘案例；
- 在审查输出之前定义了验收标准；
- 计算了每个成功任务的有效成本；
- 衡量了延迟、错误、速率限制、重试和回退；
- 估算了迁移和持续运营成本；
- 针对流量规模和缓存行为进行了敏感性检查；
- 准备了分阶段上线、可观测性和回滚计划。
这就是如何在不优化错误指标的情况下比较 AI 模型价格。
常见问题
比较 AI 模型成本的最佳指标是什么？
使用每个成功任务的有效成本。它包括主请求、重试、回退支出，以及满足你验收标准的输出百分比。
团队应该多久比较一次 AI 模型价格？
每月审查一次标题价格，并在主要模型、价格、提示、流量模式或产品需求发生变化时重新运行工作负载评估。
每次比较都应该包含缓存输入吗？
是的，如果你的工作负载会复用有意义的提示前缀或上下文。应按模型的冷缓存、预期缓存和热缓存场景进行分析，而不是假定最高缓存折扣适用于所有流量。
公开 AI 基准测试足以用来选择 API 提供商吗？
不够。公开基准测试有助于发现候选方案，但生产环境中的选择应使用你的提示、工具、数据、语言、schema、延迟目标和验收标准。
一个模型应该处理所有工作负载吗？
不一定。不同工作负载可能更适合不同的质量、延迟、上下文大小、工具行为和价格组合。在运营复杂度有正当理由时，应按工作负载进行评估和路由。
当前提供商条款的主要来源
- OpenAI API 定价
- OpenAI Batch API 指南
- Anthropic 定价文档
- Anthropic 提示缓存文档
- Google Gemini API 定价
- Google Gemini 上下文缓存
- Amazon Bedrock 模型评估
提供商条款可能会变化。请在你执行评估的当天重新核对每个来源。
