LLMの最近のブログ記事

node.js+express+typescript で、 Ai Chat を作ってみた。

"node.js + express + typescript で、ai を使ったシステム" を、 google ai で問い合わせると、ai チャットも簡単に作れるみたい。
ChatGTP だと、有料になるにで、先ずは、Ollama で、ローカルPC で試すのが良いと思う!!
これへの質問の過程で、
"一つ質問がありますが、Ollama で、上述のように AI チャットを作ったとして、次のステップとして、質問と回答の内容を、自社の業務に関する事にするには、どうすればよいのでしょうか?"
を問い合わせしたら、やり方を教えてくれたぞね!!
これなら、特定事業者に関する AI チャットもできそうじゃ。

i) RAG(検索機能拡張)
ii) ファインチューニング (Fine-tuning)
ファインチューニング だと、完成への道のりは、たいへんだろうが!!
RAG(検索機能拡張) だと簡単にできそうじゃ。

やはり、流行りの、 AI との連携には、node.js + express + typescript の利用が向いているんだろう。

Ollama に関しては、以前触れた。
LM Studio と言うのが、あるそうな!!

1. 開発環境
Ubuntu 24.04 PC 12G memory
llama3
GTX 1070 8GB

LM Studio と言うのが、あるそうな!!

ローカルPC 上で、LLM が気軽に試せるそうだ!!

lmstudio.ai

おんちゃんの、Ubuntu Mate 24.04 PC に入れてみようとおもったが、
Disk 容量が、50 Gigabytes 必要だそうで、うむ....
SSD の容量を増やさないと、むりか!!

Ollama というのもあるみたい。
How much hard disk size to install Ollama で、google で検索してみた。
Operating System: Linux: Ubuntu 22.04 or later
RAM: 16 GB for running models up to 7B
Disk Space: 12 GB for installing Ollama and basic models. Additional space is required for storing model data depending on the used models

Disk がだいぶ少なくてすむが、RAM が、 16GB だとさ。
7B というのが、LLMモデルの学習パラメータの大きさみたい。これが大きくなると、RAM も大きくなるみたいじゃ。
Gemma 3 なら、1B、4B 程度にすればよいのかも。

B: Bllion の事。10億 つまり学習パラメータの数みたい。1B: 10億個の学習パラメータの意味みたいじゃ。

Disk は、上記に加えて、ダウンロードする、local LLM モデルのサイズも必要みたいじゃ。
詳しくは、本家をみることじゃ。
ollama.com
Windows、Mac だと、GUI 版が出たそうじゃ。

@ollama/ollama