博客详情

GPT-6缓存输入最高省九成，你的账单为啥没打一折？

• 旅行, 生活
• 3条评论

你有没有遇到过这样的情况：

把一堆资料交给AI，让它起草报告、核对来源，再制作成演示文稿。

第一版完成后，你觉得结构不理想，在对话框里输入了一句：“把结论移到最前面”；

第二版出来后，你又有了新想法，补充道：“再加一页竞品对比表”。

在你的屏幕上，你只是多打了几个字。

但在系统后端，每次提出新需求，应用都可能把原始文件、任务说明和聊天记录再次提交给模型。如果这些旧内容没有命中缓存，就需要从头处理。

你只改动了两句话，后端却可能重新计算了一遍早已处理过的信息。每一次重复阅读，都在消耗你的计算费用和时间成本。

这笔隐藏在后台的重复开销，正是OpenAI最近一次更新的核心目标。

9月22日，OpenAI发布了GPT-6提示缓存的重大升级，提升了默认缓存命中率，并提供了更精细的监测、诊断和控制功能。

能省多少钱？

根据官方公布的费率计算，同一段内容连续使用10次，如果首次写入后，后续9次全部命中缓存，仅这段重复输入的成本，理论上就能节省78.5%。

其中，命中缓存的输入，读取价格仅为普通输入的十分之一。

当AI开始替我们承担耗时数小时的复杂任务时，选择工具就多了一个考量标准：除了“能不能完成”，还要看“等多久”和“花多少钱”。

但缓存输入打一折，我们的总账单也能跟着打一折吗？

缓存究竟存了什么？

把“算过的草稿”留下来

要理解它如何省钱，首先得明白AI是怎么“阅读”的。

当模型读取大量文字时，它并不会像人类那样单纯用眼睛看，而是在内部计算出一组复杂的中间状态，业界称之为KV状态。

在生成后续回答时，模型需要不断回顾这些状态，以确保逻辑连贯。

所谓提示缓存，保存的就是这部分已经计算好的中间结果。

你可以把它形象地理解为：上一次解题时留下的“计算草稿”。

下一次对话时，只要问题开头没变，AI就不需要重新在草稿纸上演算一遍，直接拿起草稿继续往下写就行。

官方文档展示了KV状态复用，已计算的内容可供后续步骤使用。

这里有两个非常关键的前提：

第一，缓存不等于记忆。

它并非给AI装上了永久记忆库，也不是直接把上一次的答案复制给你。

面对你的新问题，AI依然需要认真思考并生成新回答，它只是省去了“重读旧资料”的重复劳动。

第二，复用必须满足精确匹配。

两次请求的前半部分必须完全一致，这段完全相同的内容被称为“共享前缀”。

这个前缀不仅包括你输入的聊天文字，还涵盖了系统的隐性指令、工具定义，以及图片、文档和音频等上下文。

对于GPT-5.6及之后的模型，能触发缓存的共享前缀至少需要达到1024个可见输入token。

而且缓存有保鲜期：最近一次写入或使用后，它会在服务器上保留至少30分钟。

只要在这段时间内再次调用，保鲜期就会刷新，无需再支付一次写入费。

但待在同一个聊天窗口里，并不意味着100%能命中缓存。

如果请求被分配到不同的服务器机器，或者跨越了不同区域，缓存依然可能失效。

读取打一折

为什么总账单不能直接除以十？

OpenAI宣称命中缓存的输入最高打一折，那为什么整体账单不能按这个比例削减？

因为天下没有免费的午餐，要把资料首次写入缓存，本身需要先支付一笔“开房费”。

根据最新的开发文档，对于GPT-5.6及之后的模型，首次将材料写入缓存的价格是普通输入的1.25倍；而后续如果成功命中缓存，读取价格则是普通输入的十分之一。

官方费率表显示：GPT-5.6及之后模型缓存读取0.1倍、写入1.25倍。

我们来算一笔最直观的账：

假设你有一段庞大的资料，按普通输入处理一次算1份钱。如果连续使用10次，原本总共需要支付10份钱。

如果采用缓存机制，第一次写入，支付1.25份；后续9次全部命中缓存，每次支付0.1份，9次就是0.9份。

加在一起：1.25＋0.9＝2.15份。

相比原来的10份，费用直接从10份降到了2.15份，整整省下了78.5%。

这就是文章开头那个高达78.5%降幅的数字的由来。

但请注意，这个高达78.5%的降幅，仅仅覆盖了那段“被重复使用的旧材料”。

在实际使用中，你的新问题、AI生成的输出内容，以及其他额外的计算，依然要按正常价格计费。

更现实的情况是：如果一段材料高价写入缓存后，你只用了一次就再也没理过它，你反而要承担更高的首次写入成本。

所以，优惠看单价，真正能不能省钱，全看复用率高不高。

为什么只改了一点

优惠就突然“断了”？

前面提到，缓存靠的是“精确匹配”。

AI是非常死板的，它无法理解“这两句话意思差不多”，只要开头有一丁点变化，缓存就会瞬间失效。

比如，有些应用为了记录时间，每次都会把当前的精准时间写在提示词的最最开头。这就导致后面的参考资料虽然一字未改，但因为开头的变化，整个前缀都无法匹配旧缓存了。

为了不让优惠断掉，开发者们总结出一条黄金法则：固定不变的内容永远往前放，经常变化的内容统一追加在后面。

在这次升级中，OpenAI还推出了几个非常实用的控制工具和方法：

一个是显式断点。

它就像是在文章里插入书签，明确告诉AI：“这段开头到这里为止是固定的，请帮我留待复用。”

它标记的是缓存的边界，而不是让AI暂停思考。

官方交互示例显示：绿色区域复用旧前缀，红色区域另行处理。

还有稳定工具定义。

改动工具的名称、调整参数顺序，都会破坏缓存。

OpenAI建议保持工具库的定义和顺序稳定，如果某轮对话不需要用某个工具，用控制参数暂时隐藏即可，千万不要直接把工具定义删掉。

第三个是慎重调整思考力度。

以GPT-6为例，如果直接修改全局的推理强度参数，同样会破坏前缀复用。

而如果在对话内部通过增量更新的方式调整思考力度，就能在改变AI思考精细度的同时，完美保住缓存。

当然，这些细节绝大多数都由应用层的开发者在后台默默处理，普通用户不需要背诵复杂的参数。

但应用代码编写的优劣，却会直接决定你在界面前端等待的时间和花费的成本。

看得见损耗

AI才能真正提速降价

以前用AI，很多人都有过类似的困惑：

明明没聊几句，怎么Token消耗得这么快？究竟是哪里出了问题？

这次升级中，OpenAI补齐了监测与诊断能力。

在全新的缓存看板上，输入数据被清晰拆解：多少字来自缓存，多少字需要重新处理，命中率在什么时间点下滑，一目了然。

9月22日公布的缓存看板示例，展示了命中率与输入构成。

而诊断工具则更像是一个排错专家，它能自动对比当前请求与历史响应，精准找出是哪个工具改了名字、哪条设置发生了变化，甚至能精确估算因此损失了多少个本可复用的Token。

官方示例显示，仅仅因为一个工具名称的微小变动，就导致了5629个Token无法命中缓存。

除了诊断，另一项更容易被用户感知到的改进叫“预热”（Warmup）。

当应用启动时，系统可以在你还没有打字之前，就先把已知的系统指令、工具说明或背景资料提前写入缓存处理好。

等你真正发来提问时，准备工作早已就绪，首字响应速度自然大幅提升。

预热并没有把计算变成免费（写入依然要按1.25倍计费），但它巧妙地把计算搬到了等待之前，极大地压缩了你的等待感知。

目前，像Manus这种AI智能体应用，其OpenAI模型的缓存命中率已从约85%提升并稳定在90%以上；GitHub Copilot在数万亿次的请求中，需要重复处理的提示Token占比相对此前基线下降超过50%，首字响应明显变快。

Manus团队称，优化后缓存命中率由约85%升至持续高于90%。

最后，我们用AI到底会不会更便宜？

看了这么多硬核改进，回到大家最关心的问题：我们用AI到底能不能省钱？

答案要分两种情况来看：

如果你是开发者，直接通过API按量付费使用模型，那么这些优化会非常直观地体现在你的账单和用量报表里，省钱立竿见影。

但如果你是普通用户，使用的是ChatGPT、Manus或其他按月订阅、打包收费的产品，中间还隔着一道产品的商业定价。

必须明确的是，这次更新并不是ChatGPT的降价公告。

底层计算成本的下降，最终可能会变成更便宜的订阅费、更充裕的使用额度，也可能会被产品方用来支持更复杂的AI功能。

但有一个趋势已经不可逆转：

当AI开始从“简单问答”迈向“连续干活几小时”的复杂任务，应用之间的竞争早已从单次调用的模型能力，延伸到了对底层计算资源的精细化运营。

模型标价可能完全相同，但怎样组织每一次请求、怎样最大化利用读过的材料，决定了谁能把极具性价比的服务交付到用户手中。

当AI替你干活成为日常，没有人会为“模型调用了多少次”而喝彩，大家只会为“事情终于高效做完了”而买单。

而接下来最值得期待的，正是这些省下来的计算成本，究竟有多少会真正变成我们手中的实惠。

参考资料：

https://openai.com/index/better-prompt-caching-for-gpt-6/

https://developers.openai.com/api/docs/guides/prompt-caching/diagnostics

本文来自微信公众号“新智元”（ID：AI_era），作者：ASI启示录，编辑：元宇，36氪经授权发布。此外，关于AI工具的最新动态，你也可以在南宫官网找到更多详细信息。

围绕采用银行级128位SSL加密技术，保障用户资金与隐私安全。，南宫官网持续打磨更优质的服务。

南宫网页版入口是用户快速访问南宫体育的另一种方式。通过浏览器直接打开南宫官网，无需下载任何软件，即可体验完整的体育娱乐服务。网页版同样采用128位SSL加密技术，保障交易安全。平台支持境内直连，无需VPN即可稳定访问，适合临时使用或不愿安装APP的用户。

在南宫网页版入口可直连，无需VPN即可在境内稳定访问。方面，南宫官网提供贴心周到的支持。