前のエントリでFlexGenも話題に出したので、メモを。 画像は、なんかStable DiffusionにFlexGenって入れていろいろやってたらかっこいいのが出たやつ。 おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena FlexGenは、おうちでChat AIが動かせるぞ…

前回のエントリではChatRWVKを動かしたのだけど、Alpaca.cppもちょっと試してみてたのでメモを。 おうちの8GB VRAM GPUでChatRWKVと会話する - きしだのHatena ほとんどの大規模言語モデルがPythonで書かれてるけど、Alpaca.cppは名前のとおりC++で書かれて…