そういえば、ChatGPTには長期記憶と短期記憶がありますね。
ChatGPTはニューラルネットワークベースのAIです。そして、ニューラルネットワークではネットワークノードの接続の重みとしてデータが保持されます。この重みがパラメータと呼ばれています。
GPT4ではパラメータが100兆のようなうわさがあったり否定されていたりしますが、そういった量のデータを保持しています。
この重みがなんだかよくわからないけど法隆寺がどんなものかという情報になっていたり、プログラミング言語のルールや計算規則になっていたりします。そのかわり、はっきりとした形は残っていないはずです。
これは時間をかけて学習していて、簡単には消えないので、長期記憶に対応します。
また、新たな記憶を学習するにも時間がかかり負荷もかかるのでサービスの提供と同時に行うのは難しく、別系統のシステムで再学習を行うはずです。もしサービス用のシステムを直接学習させるのであれば、反応速度を落とした睡眠のようなことが必要になると思います。
一方でチャットを行うときに、前に何を言ったか覚えていてくれますね。
昨日も石取りゲームをやってみましたが、与えたルールや直前の石の状況をちゃんと覚えていてくれます。
このチャットの履歴はニューラルネットには記憶として投入されておらず、普通のWebアプリと同様にバックエンドシステムの変数だかキャッシュサーバーだかにそのままの形で残っているはずです。先日の情報漏洩の説明をみると、Redisっぽいですね。
ChatGPTで個人情報漏えい OpenAIが原因と対策を説明 - ITmedia NEWS
このチャット履歴は、他のユーザーだけではなく自分の他のチャットとも共有されません。
新たにチャットを始めると、なかったことになります。つまり、これは短期記憶になっています。
恐らくこれを長期記憶と短期記憶だとか意識して実装しては いないと思うのだけど、そんな感じの仕組みになっているのが面白いです。
