OllamaとOpenWebUIでLlama3

先日のDifyと同じくらいあっけなくLLMをローカルで動かせるのがOllamaです。

ローカルマシンにOllamaをインストールするのは以下のコマンド１行です。

$ curl -fsSL https://ollama.com/install.sh | sh

そして実行は次の１行。

$ ollama run llama3

これはモデルにLlama3を使ってアプリケーションを起動した例です。

Ollamaで使用できるモデルは公式ホームページのここに列挙されています。多くのモデルに対応しているので色々と試すのに良いですね。

これでもいんですがDockerでOpenWebUIと一緒に動かすのが好みです。

Dockerで実行するには次のコマンド１行です。

$ docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

そしてOpenWebUIを動かします。

$ docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

これでWebブラウザーから http://localhost:3000 を開けば使えます。適当なアカウントを登録して始めます。

アカウントの設定メニューからモデルをダウンロードします。「Ollama.comからモデルをプル」と書かれているフィールドに「llama3」などを入力してフィールド右端のダウンロードボタンを押します。

今回はllama3:instructと入力してモデルをダウンロードして使いました。