Context Caching降低80%成本：实施指南

Context Caching

看到API账单的时候，简直不敢相信自己的眼睛。一个月200万日元。

随着导入店铺数的增加，API费用也成比例增加。这样下去，事业根本无法持续。

工程师团队分析账单明细时，发现了一个事实。

「每次都在教同样的事」

我们的AI每次收到顾客提问时，都会把店铺的全部信息传给AI。店名、地址、电话、营业时间、菜单、FAQ——总共约3,000个token。

一天1,000个咨询的话，就是300万token。其中大部分每次都是相同的信息。

每次问AI「我们店几点关门？」的时候，我们都从头开始解释店铺的一切。就像每天早上都要从自我介绍开始的职场一样。

「教一次，就记住吧」

Anthropic和OpenAI提供的Context Caching功能正是解决这个问题的。

把不变的信息（店铺基本信息、菜单、FAQ）保存到缓存。每次有顾客提问时，只追加「会变的信息」。

AI在「记住」了缓存信息的状态下回复。

成本削减80%

这是导入缓存后的数字。

缓存命中率85%。也就是说，85%的请求不再需要从头发送店铺信息。

月API费用从200万日元降到40万日元。削减了80%。

「顺序」很重要

有一点需要注意。缓存只对从提示词开头匹配的部分有效。

我们重新设计了提示词，把不变的信息放在前面，变化的信息（今天的空位情况等）放在后面。

不要反复教AI同样的事。这个简单的原则带来了80%的成本削减。