前のエントリで、GPTのembeddingで埋め込みベクトルとってDBにつっこんで、質問からとってきた埋め込みベクトルに近いものを探して出てきた文章をChatGPTに要約させることを「ChatGPTに学習させた」っていうのは違和感あるって話をしました。
ChatGPTにブログ全エントリを学習させて「おしえてきしださん」を作る - きしだのHatena
「ChatGPTが学習」ではなくて「ChatGPTを使ってシステムが学習」という感じになるわけですよね。
で、LLMの学習にはいろいろあるよ、というブコメついていたのだけど、整理するとこんな感じになります。
- pre-training ニューラルネットの重みを1から学習していく(実際にはランダムから始めるはず)
- fine-tuning pre-trainingが終わったモデルに用途に合わせたデータを追加で学習させる
- in-context learning pre-trainingやfine-tuningが終わったモデルを使うときにプロンプトとして例を与える
で、やはり外部DBに覚えさせるというのはどれにも当てはまらないなぁと思ったけど、なんか学習させた印象はあるので、それを表す言葉は欲しいところ。
で、ledsunさんとやりとりをしてて思いついたのだけど out-context learningとか言って、LLMとは外れた文脈外で学習していることを示すのはどうだろうか。
※ 9/5追記 RAG(Retrieval Augumented Generation)に落ち着いたっぽい
