2023-04-27から1日間の記事一覧

大規模言語モデルの「脳波」をとって言葉を生成しているときにどこが活動しているのか見てみる

AI

ChatGPTなんかの大規模言語モデルが言葉を生成しているときに、どういう反応が起きているのか気になりますよね。きっと気になる。 ということで、手元で動かせる言語モデルのニューラルネット各層での出力を表示してみました。 GPTにはGPTブロックが複数あっ…