前回のエントリではChatRWVKを動かしたのだけど、Alpaca.cppもちょっと試してみてたのでメモを。
おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena
ほとんどの大規模言語モデルがPythonで書かれてるけど、Alpaca.cppは名前のとおりC++で書かれてて、少ないリソースで動きます。
https://github.com/antimatter15/alpaca.cpp
インストールは、zipをダウンロードして解凍するだけ。
https://github.com/antimatter15/alpaca.cpp/releases/tag/81bd894
モデルはここからggml-alpaca-7b-q4.binをダウンロードして↑で展開したchat.exeと同じ場所に置くだけ。というか、上記は不要で、同じ場所にあるchat.exeを持ってくるだけで動いてくれますね。
https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml
chatコマンドを実行すると、数分後にプロンプトを受け付けます。
日本語は受け付けてくれないけど、単純な問いには答えてくれます。そして普通に間違う。
検索の代わりという感じだとちゃんと答えてくれるのだけど、会話をしようとするとちょっと厳しいです。
しかし、CPUだけで動いてるにしてはかなり速いと思います。
まあ、気軽にChat AIを手元で試すというのにはいいですね。
