LLM

rinnaのYouri 7Bで8GB GPUでもLLM翻訳ができるかも

LLM

rinnaからLlama 2 7Bに日本語を追加学習させたYouri 7Bが公開されました。 rinna、Llama 2の日本語継続事前学習モデル「Youri 7B」を公開|rinna株式会社 このうち、Youri 7B Instructionが指示に応じた返答をするモデルになっています。このモデルを使って…

LINE LLMをMacで動かす

LLM

先日、LINE(現LINEヤフー)のNLP Foundation Devチームから日本語言語モデルが公開されました。(以降LINE LLMと表記します) 36億パラメータの日本語言語モデルを公開しました Instruction Tuningにより対話性能を向上させた3.6B日本語言語モデルを公開します …

画像対応モデルのLLaVAをMacで動かす

画像認識対応モデルのLLaVAで、おうちでも設計画像からコードが生成できるようになりました。 LLaVAを使っておうちのパソコンでも画像からコード生成 - きしだのHatena llama.cppが対応したことでMacでも動かしやすくなりました。 https://github.com/ggerga…

LLaVAを使っておうちのパソコンでも画像からコード生成

ChatGPTが画像対応して、画像からいろいろなコードが生成できて楽しいことになっていましたが、同じようなことをおうちで動かせるLLaVAが出ていたので試してみました。 GPUはVRAM 12GBあれば十分、8GBはギリギリという感じ。 LLaVA-1.5 先週、LLaVAのバージ…

Stability AIの日本語画像言語モデルをWindows+RTX 4060 Ti 16GBで試す

Stability AIから日本語画像モデルが出ていたので試してみました。 Windows + RTX 4060 Ti 16GBです。 Stability AIのリリースはこちら 日本語画像言語モデル「Japanese InstructBLIP Alpha」をリリースしました — Stability AI Japan モデルはこれ。 stabil…

rinnaの画像対話モデルをUIで試す。あとGradioの練習。

おうちで日本語で画像を使った会話ができるようになりましたよ、ということで、試してみます。 rinna 画像対話モデル おとといrinnaから日英バイリンガルモデルが発表されました。 rinna、日英バイリンガル大規模言語モデルをオープンソースで公開|rinna株…

ChatGPTなどLLMを使わずに自然言語でツールを操作する

LLM

OpenAIのFunction Callingが出たときに、GPTを使って自然言語でツールを操作するというのをやったんだけど、この程度にGPT使う必要なくない?という感じもしたので、GPTなどLLM使わずに実装してみました。 LLM使わずに実現できることはLLM使わないほうがよさ…

GPTさんに英語の勉強を手伝ってもらう - Function Callingのパースエラー対策

ChatGPT、いろいろ教えてくれますね。 じゃあ英語の勉強用に文章やら確認問題やら作ってもらうといいじゃない、ってやってみたら、よさそう。 日本語の文章を入れると、いい感じの単語数の文章で英訳して、難しい単語とその説明を挙げて、確認問題をつくって…

ChatGPTは虚構新聞を知らない

ChatGPTは何でも知ってますよね。で、虚構新聞なんて話題になってることも多いし、当然しってるだろうと思ったら、知りませんでした。 これ、国際信州学院大学を知らなかったので、虚構新聞も知らないんじゃないかと思ったんですよね。 こういったフェイク系…

CTranslate2でRinnaモデルをコンバートしてCPUや8GB GPUで動くようにする

LLM

CTranslate2はTransformerモデルをCPUやGPUで効率的に動かすライブラリです。 https://github.com/OpenNMT/CTranslate2 CTranslate2の機能のひとつにモデルの量子化があります。INT8で量子化すると雑に必要メモリが半分に。そしてCPUでも動かしやすくなるの…

Stability AIのチャットスクリプトを利用してRinnaのチャットモデルとお話する(追記あり)

Rinna社がチャットにも対応した日本語言語モデルをリリースしてました。 Rinnaの新しい3Bモデルを試してみる - きしだのHatena そうするとちゃんとチャットとしてやりとりしたいですね。 ところで、Stable DiffusionのStability AIが言語モデルStableLMをリ…

Rinnaの新しい3Bモデルを試してみる

CyberAgentのモデルを試したところですが、Rinna社も新しいモデルを出しました。 rinna、日本語に特化した36億パラメータのGPT言語モデルを公開|rinna株式会社のプレスリリース ここですね。 https://huggingface.co/rinna/japanese-gpt-neox-3.6b というこ…

CyberAgentの日本語言語モデルを試してみる

CyberAgentが日本語LLMを公開していたので、とりあえず動かしてみました。 サイバーエージェント、最大68億パラメータの日本語LLM(大規模言語モデル)を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供― | 株式会社サイバーエージェント …

Bardも世の中のサービスぜんぶGoogle製と思ってるらしい

Googleの言語生成AI、Bardが日本語でも使えるようになってました。 で、いろいろ試していたのだけど、プログラミングアシスタントのCopilotをGoogle Copilotと呼んでいます。 Google翻訳のときも、文中で作者が指定されていないプロダクトに「Googleの」をつ…