2025-08-13から1日間の記事一覧

GPUメモリ4GBあればGPT-oss 20Bが14tok/secで動く

LLM

llama.cppにMoEに適したCPU/GPUの振り分けのオプションが入って、LM Studioでもそのオプションに対応したことによって、MoEモデルであるGPT-ossが少ないGPUメモリでもそれなりに動くようになりました。拡大するとわかりますが、LM Studioの右下の表示による…