シンギュラリティは来ない

ChatGPTが思いがけずいろいろなことを人間より賢くやっているのを見てシンギュラリティという言葉を使う人が増えたように思いますが、逆に、シンギュラリティは来ないのではという思いを強くしています。

まず、この文章でのシンギュラリティがなにかという話ですが、レイ・カーツワイルが「シンギュラリティは近い」の1章の終わりで「さあ、これが特異点だ」といっている特異点、そのシンギュラリティです。

作者:レイ・カーツワイル
NHK出版

この特異点は単にAIが人間より賢くなるというだけではありません。人間より賢くなるだけだと、便利な道具が増えるだけなので、大騒ぎするほどの変化は起きません。人の仕事を奪うといっても、蒸気機関ほどでもないですね。印刷機などと並んで、人の生活を変える転換点にすぎず、ただひとつの点をあらわすシンギュラリティにはなりません。(生活に変化はあると思います)

カーツワイルがシンギュラリティと言っているのは、人工知能が自律的によりよい人工知能を作れるようになると人間の手による進化よりもはるかに速く発展が行われることになり、指数関数の指数関数のような爆発的な進化が訪れるということからです。それが人間の手による進化とは違うものになるので、その転換点をシンギュラリティと呼んでいます。

ただ、人工知能の形がChatGPTのようなものになったので、「シンギュラリティは近い」の1章に書かれている前提が崩れています。

まず次の点。これはカーツワイルが想定する人工知能が、ソースコードで記述されたロジックによるものであることを表しています。

機械が、人間のもつ設計技術能力を獲得すれば、速度や容量は人間のそれをはるかに超え、機械自身の設計（ソースコード）にアクセスし、自身を操作する能力ももつことになる。

けれどもChatGPTなどいまの人工知能のキモは投入するデータです。ソースコード自体は、おそらくGPT1のころからほとんど変わってないと思われます。また、ソースコードではなくニューラルネットの構造だとして、LLMの学習のためにはその人工知能が動いているコンピュータの何倍ものコンピュータが必要になるため、簡単ではありません。

そして次の点。

機械は、それ自身の設計を組み替えて、性能を際限なく増加させることができる。

LLMの性能がロジックの改善ではなくモデル規模と学習データ、計算リソースの大きさで決まる以上は、性能を際限なく増加というのは難しそうです。
推論時、つまり実際におしゃべりする段階ではモデルの軽量化やRWKVのような仕組みもありますが、学習時ではそこまで軽量化できてないように思います。(RWKVも学習時はTransformer的という話)

そして、例えばGPT4であればおそらく1TBくらいのメモリを使えるGPUを使うと思うのですが、じゃあ2TBのメモリが載ったGPUが必要となったら、人工知能単体ではどうにもなりませんね。
また、学習にはデータセンター一軒くらいのコンピュータが必要です。シンギュラリティとなる人工知能はその時点で最高のデータセンターで学習されていると思うので、あらたにデータセンターを建てる必要があります。少なくとも、新しいGPUが載った計算機クラスタを作る必要があります。

そもそもその費用どうするの、ということを考えると、際限なくというのはちょっと無理ですね。
人工知能が自分自身を強化するためのサーバー代を稼ぐためにTikTokやYouTubeの動画を作って稼いでるのを想像すると、ちょっと笑ってしまうけど。
そして、ある程度の規模になると、電力設計的に限界がきてしまいます。
※ 追記核融合の話がでてますが、発電量の問題ではなく建物に引き込んで数か月高負荷をかけつつ24時間落ちないよう管理できる電力量の問題です。発電量であれば火力発電1基でまかなえる程度です。(という話を後述の松岡先生がされています。おそらく熱管理の問題ではないかと。)

最後に次の段。これがシンギュラリティがシンギュラリティである最重要項目です。

機械の知能が自身の設計を繰り返し改善するサイクルは、どんどん速くなる。

けど、ここまで見ると、なかなかどんどん速くというのは難しいです。せいぜい、人間が効率よく働いた程度ではないでしょうか。
より賢い人工知能というのは、より大量の学習データをより大量の言語モデルに投入していくことになるので、数か月の学習時間がかかります。そして、数か月の学習をまわすために資金の確保や電力の確保など社会とのかかわりが必要になります。

もしシンギュラリティAIが量子コンピュータで動いていれば、より賢いAIを作るために量子ビットを増やす必要があるとなれば簡単なことではありません。

ということで、人工知能の発展は人工知能で閉じて行えるわけではなく人間社会との関わりが必要になるので、シンギュラリティと言えるほどの進化スピードの変化は起きない、という結論です。
まあ「可能性はゼロではない」ですけどね。

ところで、GPT4のあとというのも格段に性能向上するのはそんなに簡単じゃないのでは、という話がいろいろ出てきています。
このエントリのときには、学習データの枯渇を主に挙げました。
大規模言語モデルはこれ以上賢くならず庶民的になっていく - きしだのHatena

計算資源の観点からは松岡先生がこういう話をされています。

ところでBERTからGPT4まで急速な進化を遂げたLLMの進化ですが、今後は少なくとも事前学習モデルの進化のスピードは周囲の期待に反して全般的には遅くなるでしょう。それは、学習に用いるスパコンが世界の汎用スパコンのトップレベルに急速に追いついてしまったからです。
— Satoshi Matsuoka (@ProfMatsuoka) 2023年4月11日

そしてOpenAIのサム・アルトマン自身も、データセンター構築の物理的な制約や構築速度、そして言語モデルを大きくしたときの性能向上が減少していることなどをあげて、GPT4以降は別の方法をとる必要があるという話をしています。
https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/

やはり、上に挙げたエントリで書いたように「ひとつのとても賢いモデルで全部の需要を賄う必要はなくて、ほどほどに賢い言語モデルがあればあとはロジックやアプリケーションの作りこみ、追加学習などでだいたいの需要は賄えるので、もっと賢いモデルを作るぞという方向ではなく、使いやすいという意味でも庶民的な方向でモデルが作られていくんじゃないか」と思います。

このエントリで「ChatGPTに「その発言は正しいですか？」と尋ねると誤りを見つけることも多いので、原理的にはそういう仕組みを入れることで幻覚が減らせる」ということを書いたのだけど、実際にそんな感じで精度をあげることもされてますね。
ChatGPTは返答の全体をイメージして答えをはじめる、そして誤っても訂正ができず幻覚を見る - きしだのHatena

内省を入れて生成しなおすことでよりよい返答ができたという話。
GPT-4以上？自分で何度も“推敲”し完成度を上げる言語生成AI「Self-Refine」：Innovative Tech - ITmedia NEWS

※ 追記 2023/4/20 ChatGPT自体でChatGPTを強化すればいいのでは、という話が出ていますが、GPTがそもそもそういう仕組みです。生成した文章を自分で判定してそれっぽい文章になるようにパラメータを調整していきます。

ということで、しばらく人間を超えるような劇的な進化はなさそうで、どう使っていくかってなりそう。