LLMを動かすハードウェア、軽くまとめておきます。
SoC
LLMを動かそうとしたら、まず候補にしたいのはCPU+NPU+GPUのSoCが載ったマシン。
GPUカードのようなパフォーマンスは出ないけど、現実的な値段で大きいモデルが動かせます。
Ryzen AI Max+ 395搭載の128GBのEVO-X2が48万円、と思ったら品切れ・・・
※追記
本家に「在庫たっぷり」と売ってあった。
GMKtec EVO-X2 AMD Ryzen™ AI Max+ 395 ミニPC – GMKtec JP
GB10が載ってDGX Spark互換のGX10が58万円。
Mac Studioの96GBが60万円。(128GB以上は注文できない状況)
インテルもようやくCore UltraでLLMが動くようになりました。32GBで22万円。
GPU(32GB)
GPUであれば、RTX 5060 Ti 16GBを2枚挿すのが恐らく現状で一番安く20万弱で32GBを得ることができます。
インテルのIntel Arc Pro B70が32GBで22万5000円。
ファンレス版も。32GB VRAM搭載の「Intel Arc Pro B70」ビデオカード - PC Watch
しかしAmazonだと32万円ですね。
AMDのRadeon AI Pro R9700が25万円。
RTX 5090だと60万円から。
RTX Pro 4500も60万円
電源などあわせてそろえることを考えるとLLMの推論だけが目的ならSoC系のマシンを買うほうがよさそう。
大きいモデルを動かそうと思うと、メインメモリも増やして、いい感じの設定で動かす必要もあります。
動画生成や学習までさせるならRTX系は有力だけどDGX Sparkでもいい。
