LM Studio と言うのが、あるそうな!!

LM Studio と言うのが、あるそうな!!

ローカルPC 上で、LLM が気軽に試せるそうだ!!

lmstudio.ai

おんちゃんの、Ubuntu Mate 24.04 PC に入れてみようとおもったが、
Disk 容量が、50 Gigabytes 必要だそうで、うむ....
SSD の容量を増やさないと、むりか!!

Ollama というのもあるみたい。
How much hard disk size to install Ollama で、google で検索してみた。
Operating System: Linux: Ubuntu 22.04 or later
RAM: 16 GB for running models up to 7B
Disk Space: 12 GB for installing Ollama and basic models. Additional space is required for storing model data depending on the used models

Disk がだいぶ少なくてすむが、RAM が、 16GB だとさ。
7B というのが、LLMモデルの学習パラメータの大きさみたい。これが大きくなると、RAM も大きくなるみたいじゃ。
Gemma 3 なら、1B、4B 程度にすればよいのかも。

B: Bllion の事。10億 つまり学習パラメータの数みたい。1B: 10億個の学習パラメータの意味みたいじゃ。

Disk は、上記に加えて、ダウンロードする、local LLM モデルのサイズも必要みたいじゃ。
詳しくは、本家をみることじゃ。
ollama.com
Windows、Mac だと、GUI 版が出たそうじゃ。

@ollama/ollama