GPT4ALLを動かす

そしてGPT4ALL

GPT4ALLのレポジトリをクローン
https://github.com/nomic-ai/gpt4all

> git clone https://github.com/nomic-ai/gpt4all.git

ここからモデルをダウンロード
https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin

ダウンロードしたモデルはchatディレクトリに置いておきます。

そしてchatディレクトリでコマンドを動かす

> cd chat
> gpt4all-lora-quantized-win64

日本語は通らなさそう

GPUで試してみようと、gitに書いてある手順を試そうとしたけど、

D:\dev\nomic\gpt4all\chat>py -3.10 gpt4all-gpu.py
Traceback (most recent call last):
  File "D:\dev\nomic\gpt4all\chat\gpt4all-gpu.py", line 1, in <module>
    from nomic.gpt4all import GPT4AllGPU
ImportError: cannot import name 'GPT4AllGPU' from 'nomic.gpt4all'

というエラーが出たので断念。