AIの中で起きていること
キャッシュという仕組みを、いちばん手前から。
先に結論です。AIは前回のことを何ひとつ覚えていません。話が通じているのは、覚えているからではなく、毎回ぜんぶ読み直しているからです。キャッシュは、その読み直しを速くするための仕組みです。
優秀な助っ人を雇ったと想像してください。仕事はとても速い。ただしひとつだけ、変わったところがあります。
この人は、毎回まっさらな状態でやってきます。昨日いっしょに何をしたか、5分前に何を話したか、いっさい覚えていません。悪気はなく、そういう仕組みなのです。
覚えていない人と仕事を進めるには、どうすればいいでしょうか。答えはひとつです。そのつど、必要なものをぜんぶ渡す。
実際そうしています。あなたが「これ直して」とひとこと送るたびに、裏側ではこれだけの束が一緒に渡されています。
つまり、あなたが送っているのは「ひとこと」でも、AIが受け取っているのはぶ厚いファイルの束です。そして会話が進むほど、この束は厚くなっていきます。
ここからが本題です。渡された束を、助っ人は最初から最後まで読んでから仕事にかかります。
具体例で考えます。あなたが40ページの資料を渡して、3回質問したとします。
1回目この資料の要点を3つにまとめて
2回目中小企業向けの記述はどのあたり？
3回目受講者向けに一枚のスライドにして
助っ人は毎回まっさらですから、40ページを3回、最初から読み込むことになります。資料の中身は1文字も変わっていないのに、です。
あまりにもったいない。そこで考え出されたのが、次の工夫です。
助っ人が40ページを読み終えたとき、その本には付箋がびっしり貼られています。どこに何が書いてあるか、頭に入った状態です。
この付箋だらけの本を、片付けずに机の上に出しっぱなしにしておく。そうすれば次の質問のとき、読み込みからやり直さずに済みます。
この「机に出しっぱなしの、付箋だらけの本」がキャッシュです。
ここだけは、誤解されやすいので念を押させてください。
「キャッシュがあるときはキャッシュから情報を取り出し、ないときは会話の記録から取り出す」
情報を取り出す先は、いつでも会話の記録ひとつだけです。キャッシュは情報のしまい場所ではありません。
本のたとえに戻ります。付箋を貼ったからといって、本の中身が付箋に移ったわけではありません。答えるときに読むのは、あくまで本文です。付箋は「どこを見ればいいか」を速くしているだけです。
だから、こうなります。
| 読み込む作業 | 中身を使って考える作業 | |
|---|---|---|
| キャッシュなし | 一から読む（重い） | ぜんぶ使う |
| キャッシュあり | 机から取るだけ（軽い） | ぜんぶ使う |
右の列は、まったく同じです。だから答えの中身も同じになります。キャッシュを使ったからといって、雑になったり、見落としが増えたりはしません。
この理解が身につくと、次の疑問が自然に消えます。
「キャッシュが切れたら会話も消えるのでは？」
→ 消えません。本は本棚にあります。
「キャッシュに入っていないことは答えられないのでは？」
→ 答えられます。読む先は本文です。
机の上に置きっぱなしにできる時間には、期限があります。5分か1時間です。
ただし5分のほうには特典があります。本を手に取るたびに、期限がタダで延びます。だから作業を続けている間は、5分でも切れません。
まとめると、こうなります。ずっと張りついて作業するなら5分で十分。5分から1時間くらいの中断がよく入るなら1時間が向いています。半日あけるなら、どちらにしても片付いているので同じです。
最後にもうひとつ。この付箋の貼り方は、助っ人ひとりひとりで違います。
Opus が貼った付箋を、Fable は読めません。人が違えば、印のつけ方も違うからです。だから作業の途中でモデルを切り替えると、新しい助っ人が一から読み直すことになります。
切り替えた直後の1回だけ、遅くて割高になるのはこのためです。損を減らしたいなら、会話がまだ短いうち、あるいは区切りをつけたタイミングで切り替えるのが得策です。
AIは毎回まっさらで来る。だから毎回、ぶ厚い束をまるごと渡している。それを読むのが重いので、読み終えた状態を机に出しっぱなしにしておく。それがキャッシュ。
キャッシュは情報のしまい場所ではなく、読む手間を省くための下ごしらえ。だから答えの中身は変わらない。変わるのは速さと料金だけ。