前のエントリへのコメントで、メアリーの部屋という記述が出てるのだけど、むしろこのChatGPTでクオリアを説明する考え方を補強できる話ではないかと。
メアリーの部屋というのは、白黒しか見えない部屋に住んでいる色彩専門家メアリーが、色に関する知識は多くもっているけど実際の色を感じたことはなく、そしてそれが白黒の部屋を出て色を感じるようになったときにどういう認識が起きるかという話です。
これはChatGPTでとても説明しやすい話ではないかと思います。
GPT3.5までは言語処理だけを行うAIで、色に関する知識や表現、言葉遣いは深く理解していても、色の情報を感じることはできていませんでした。これがGPT4になるとマルチモーダルで画像情報も扱えるようになっているので、色の知識や表現と実際の色の情報を結び付けることができるようになっています。
これを、GPT3.5の拡張として追加学習の形で画像情報を扱えるようにするとどうなるかという話にすると面白いのですが、「メアリーの部屋」はGPT4を白黒画像だけで学習させたあとにカラー画像を見せるとどうなるかという話になります。
そうするとただの転移学習やファインチューニングの話になって、「なんかようわからんけどうまく学習するのでは」という感じになるように思います。
クオリアのように扱えるトークン候補が色彩を反映したものになるのではないかと。
想像ですが、GPT4内部で出力されるトークンは単語だけではなく画像などの情報も重ね合わせたものになっていて、ユーザーへの出力用に単語を取り出す感じになっているかもしれないなと思っています。
