gpt-ossが公開されて、ローカルで動かせるLLMもだいぶ良くなったと感じたので、ChatGPTの有料版とほぼ同じ機能（画像生成を除く）を持ったローカルLLMベースのチャットアプリを作ろうと思い立ち、かれこれ一週間ほど開発作業をしています。
なるべく操作をシンプルにしながら、仕事で使えるものを作ることを目標にしています。そのために重要な機能が
- 自動Web検索
- プロジェクト
ユーザーの入力に対して検索が必要かどうかを自動的に判定してWeb検索をしてから文章を生成します。これが自動Web検索機能。ググらないで知りたいことを知る。gps-ossはツール呼び出しの機能を持っているので、Web検索ツールをプラグインした格好です。
上の画像は、gpt-ossが知るはずのないモノづくり塾ZIKUUの所在地を尋ねたときのもの。正確な住所を回答しています。
下の画像はG7各国の人口構成を比較させている様子。
メッセージごとに検索履歴が表示されるようになっています。
まずはこのWeb検索機能を鍛えてから、プロジェクト機能を実装する予定です。
プロジェクト機能をどう使うかというと、
- プロジェクトごとにメッセージのスレッドを束ねる
- プロジェクトごとにPDF文書や画像、テキスト文書をプロジェクトファイルとして登録して文書生成に利用する
- プロジェクト単位にシステムプロンプトを登録して、プロジェクト内限定の指示を行う
例えば、「CNCルーターの製作」というプロジェクトを作成したら、その中に部品や材料の見積書、市販のCNCルーターの機能一覧、みたいなものをプロジェクトファイルとして登録して使います。
実感としてはgpt-ossの20bモデルでも、結構仕事で使える印象です。この規模なら、それほど高火力のサーバーがなくても、ZIKUUのような少人数での利用では問題なく運用できそうです。そこそこのサーバーを用意できたら運用を開始する予定です。
完成度次第では、ZIKUUのコミュニティDX基本セットのオプションとして希望するコミュニティーや企業に配布するかもしれません。
「ChatGPTのようなローカルLLMチャットアプリ」への1件のフィードバック