ObsidianとLLM Brokerをつなぐ

LLM BrokerにObisidianのLocal LLM Helperというプラグインを使って接続してみました。

設定項目は

• Providerに OpenAI を選ぶ
• LLM BrokerのURLを入力する
• モデル（LLM Brokerの世界ではプロフィール）を選ぶ

だけです。

これはRAG Chatを実行した様子。

残念ながら、LLM BrokerのOpenAI 互換APIが埋め込みモデルを返していないので、埋め込みが使えません。

これは早急に修正しておこうと思います。

これまでに、

• Codex
• Open WebUI
• Continue
• FreeCAD
• すべてのZIKUUアプリケーション

との接続を確認しました。

小さな修正でこのObsidian用のプラグインにも対応できるはずです。

当初は、バックエンドのLLMプロバイダーの中継をするだけの薄いブローカーとして開発を始めましたが、様々なクライアントの接続を確認したら、さらに進化させます。

予定している拡張は、

1. リクエストをキューイング
2. 複数GPUへのリクエストの振り分け
3. マルチモーダル対応（GPU #1にテキスト推論、GPU #2に画像処理という形）
4. Observability APIの実装（動作の追跡）

などです。

1については、複数箇所からのバッチリクエストを、遅くなってもいいから確実に処理したいから。
ZIKUUのコアサービスは、バックグランドでLLMを使用する箇所が多いのです。

2については、今後、GPUサーバーを複数台並べた際に、状況に応じて適切なGPUを使うため。

3については、LLM自体がマルチモーダル対応でない場合でも、アプリケーションから見たらマルチモーダルのように振る舞えるようにしたいから。

4はセキュリティとトレーサビリティーを持たせるため。
これは、他の主要なZIKUUアプリケーションについても、実装を予定している機能です。

すでに、GPUが何か、LLMプロバイダーが何か、モデルが何かを意識せずに、

• 説明して
• 翻訳して
• 分析して

のように、処理の意味（プロフィール）を使ってアプリケーションから推論機能を呼び出す基盤になっていますが、そろそろBrokerという名前では収まらない規模のソフトウェアになりそうです。
推論資源オーケストレーターのような表現がふさわしいかもしれません。