Context Caching降低80%成本：實施指南

Context Caching

看到API帳單的時候，簡直不敢相信自己的眼睛。一個月200萬日元。

隨著導入店鋪數的增加，API費用也成比例增加。這樣下去，事業根本無法持續。

工程師團隊分析帳單明細時，發現了一個事實。

「每次都在教同樣的事」

我們的AI每次收到顧客提問時，都會把店鋪的全部資訊傳給AI。店名、地址、電話、營業時間、菜單、FAQ——總共約3,000個token。

一天1,000個諮詢的話，就是300萬token。其中大部分每次都是相同的資訊。

每次問AI「我們店幾點關門？」的時候，我們都從頭開始解釋店鋪的一切。就像每天早上都要從自我介紹開始的職場一樣。

「教一次，就記住吧」

Anthropic和OpenAI提供的Context Caching功能正是解決這個問題的。

把不變的資訊（店鋪基本資訊、菜單、FAQ）保存到緩存。每次有顧客提問時，只追加「會變的資訊」。

AI在「記住」了緩存資訊的狀態下回覆。

成本削減80%

這是導入緩存後的數字。

緩存命中率85%。也就是說，85%的請求不再需要從頭發送店鋪資訊。

月API費用從200萬日元降到40萬日元。削減了80%。

「順序」很重要

有一點需要注意。緩存只對從提示詞開頭匹配的部分有效。

我們重新設計了提示詞，把不變的資訊放在前面，變化的資訊（今天的空位情況等）放在後面。

不要反覆教AI同樣的事。這個簡單的原則帶來了80%的成本削減。