ちょっと、おうちで動くLLMを振り返ってみます。
年間を通してではなく、毎年の3-4月くらい、16GB VRAMのGPUで動くくらいのモデルがどんな状況だったかをみてまとめるとこんな変遷
動いてえらい(2023)->返答がまとも(2024)->返答が使える(2025)->こだわらなければ使える(2026)
2023「動いてえらい」
最初に動かしたのはChatRWKVというモデルですね。TransformerではなくRNNを使うモデル。
おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena
こんな感じ。「寿司は好き？」って聞いたら英語でそれっぽい返事してくれてる。
いろいろ出てるのはデフォルトの文章で、このように会話形式の文に続けることで同様に会話してくれるんではないか、という作戦。チャット向けにファインチューンされてるわけではありません。
基本的に、海外のモデルは日本語を理解するけど出力しませんでした。
で、これはRinna社が開発したモデルで、ちゃんと日本語で会話ができています。
GPT-NEOXというアーキテクチャで、名前からもわかるように言語モデルの種類としてのGPT、つまりTransformerです。
そして、対話ができるようファインチューンもされています。
このころは「対話ができて偉い！」「日本語でやりとりできて偉い！」「聞いたことを答えてくれて偉い！」という感じでしたね。
あと、モデル開発もちょっと牧歌的でした。しかし牧歌的であるがゆえにマネタイズにはつながらかったのだろうな。
2024「返答がまとも」
GoogleからGemmaが出てなんかまともなことを話してくれるようになりました。
単文レベルの答えしか期待できなかったのが、まともな文章を、それも日本語を特別に学習してないモデルが返してくれるようになりました。
ただ、「動くぞ！」という感激は過ぎて、かといって「使えるぞ」というにはまだまだという状況で、振り返るとそこまで盛り上がってなかった。
2025「返答が使える」
Gemma 3やQwen3が出ました。
特にQwen3は、使える出力をするようになりました。
Qwen3はローカルLLMの世界を変えたかも - きしだのHatena
Qwen3 4Bに「CQRSと関数型プログラミングの関係」を聞いてみると、まず「CQRSとは、関数型プログラミングとは」という言葉の解説から始まり、ちゃんとした説明が出力されます。
また、14Bは「JavaのSwingでブロック崩しを作って」で一発目でちゃんと動くブロック崩しを作りました。
Q4_K_Mのような量子化も普及して小さいサイズで十分な精度を出せるようにもなり、おうちでLLMを動かすということもやりやすくなりました。 2023年は8GB VRAMのGPUつかってたのだけど、3BのモデルがFP16で動くのでギリギリとかが、2025年なら14BがちょっとCPU使いつつ動くという感じに。16GBあれば余裕です。
2026「実際に使える」
Qwen3.6とGemma 4が出て、実際に使えるようになりました。
例えばこれはDeepSeek V4のテクニカルレポートをQwen3.6-35B-A3Bに渡して内容を説明してもらっています。
そして追加の質問をしても答えてくれています。
英語PDFの内容を確認したいという用途であれば十分に使えます。
新しいアイデアを形にしたい、という場合にはちょっと足りないですが、既存情報を解説してもらう、要約してもらう、翻訳してもらう、といった、新しい考えや知識を付け足す必要がない用途であれば実用できます。
ブロック崩しもこんな感じに。
LLMの推論を速くする投機的デコードMTPは想定ユースケースに近いかどうかが重要？ - きしだのHatena
RPGも簡単なプロンプトで複数のモンスターの描画まで行って作っていました。
Qwen3.6-27BにRPGを作ってもらったらすごすぎた - きしだのHatena
1800行のHTMLになったのですが、これをJavaに移植もちゃんとやってます。
2025年のGemma 3やQwen3では、使える出力をするものの、じゃあどこで使う？というと困る程度でしたが、Gemma 4やQwen3.6では1～2往復のチャットでおさまりそうなやりとりや、単機能のアプリケーションであれば十分に使えるというところまで来ています。
