Inference Broker – 画像生成パラメーターへの対応など

少し使いにくかったInference Broker WebのUIを調整してから、画像生成系のテストで生成パラメーターを設定できるようにしました。

そのためにAMDのライブラリやNPUを使う場合の設定を調べるのにだいぶ時間を使いました。

その後に、Inference Brokerサーバー側へのAPIの拡張とInference Broker Webの修正が終わって動作確認しました。

NPUを使う方法では、生成画像のサイズが512 x 512に固定されています。それ以外のサイズを指定すると受け付けてくれません。

AMDのStable Diffusion対応ライブラリの方は、生成画像のサイズを指定できます。
生成枚数も指定できるのですが、このアプリでは1枚です。

検証画面は、当初上下二分割のレイアウトでしたが、使いにくかったので左右二分割レイアウトに変更しています。

---

Inference Brokerが完全にLLM Brokerの機能を吸収したので、ZIKUU Mini検証機のミニPCでは Codex をInference Brokerに接続しました。

Codex CLIのインストールはこのコマンドで。

npm install @openai/codex

この記事を書いている時点では、0.150.1というバージョンがインストールされました。

インストールが成功したら、

mkdir -p ~/.codex

で、ホームディレクトリにCodexの設定ファイルを作ります。

作るのは、

config.toml
inference-broker.config.toml

の2つ。

config.toml

7行目の [model_providers.inference-broker] の wire_api = “responses” まで入力すればOK。

inference-broker.config.toml

2つのファイルを作成したら、適当なプロジェクトのディレクトリに移動して Codex を実行して確認します。

Listコマンドも正しく実行されています。

これで、

ZIKUUアプリ/Codex
↓
Inference Broker
↓
llama.cpp/Ollama/Lemonade/Ryzen AI SD

という経路が完成しました。

これで、複数のGPUサーバーにLLM Runtime Agentを配置すれば、アプリケーション側は、どこでどんな推論資源が動いているかを意識せずに動けます。