Inference Broker – 推論資源のプラットフォーム化

NPU搭載のPCが加わったことで、これまでのCPU/GPUを使う推論処理以外の選択肢が増えました。

この機会に、これまで開発してきたLLM BrokerとVision Brokerを統合して、推論資源の管理もできる推論プラットフォームに育てていこうと思います。

今日はその開発が一段落しました。

Inference Brokerは8種類の推論資源にアクセスするAPIを持ちます。

今日開発したのは、Inference Brokerの検証と管理をするためのWebツールです。
これで今後開発を進める過程で、Inference Brokerの機能のテストをします。

1. Chat

llama.cppとOllamaのバックエンドに対応したChat APIです。ツール呼び出しとストリーム出力に対応しています。

2. Embedding

埋め込みモデルを使った、埋め込みを生成するAPIです。

3. OpenAI互換 /chat/completions

OpenAI API互換のChat APIです。ツール呼び出しやストリーム出力に対応しています。

4. OpenAI互換 Responses

OpenAI API互換のResponses APIです。ツール呼び出しに対応しています。

5. OpenAI互換 Embeddings

OpenAI API互換の埋め込みAPIです。

6. Whisper

NPUを使った、音声ファイルから文字起こしするためのAPIです。

7. Describe

NPU上でVisionモデルを使って画像を解説するAPIです。OCR機能もあります。Qwen3 VL 4Bを使っています。

8. Image Generation

Stable Diffusion系のモデルを使って画像生成をするためのAPIです。

NPUを使うものはSD 1.5系モデルを使います。

NPUを使わないものはSD Turboを使います。

Settings

Inference Broker Webの管理画面です。

設定項目は Inference BrokerのベースURLを入れるだけです。

バックエンド一覧を見ると、Lemonadeで動くWhisper/SD-Turbo/Qwen3vl、SD NPU BackendというZIKUUで作ったNPUでStable Diffusionを動かすものが並んでいます。

適切なURLを入力すれば、Inference Brokerに接続されて、上記の8種類のAPIを試せます。

ここにはInference Brokerが到達できる計算ノードとそのノードにあるバックエンド（計算資源）の一覧が表示され、バックエンドの起動と停止ができますが、起動・停止の制御ができるのは、LLM Runtime Agentに対応したバックエンドだけです。

テキスト系については、LLM Runtime Agentの制御対象外なので、ここからは起動・停止できません。

ノードとバックエンドはいくつでも並べることができます。

例えば、

• Node1
  • text_generation1
  • text_generation2
• Node2
  • text_generation3

のように、2台のサーバーで3つの文書生成系推論資源（llama.cppであったりOllamaであったり）を用意すれば、アプリケーションはtext_generationを使うとプログラミングするだけで、Inference Brokerが最適な推論資源を選んで処理結果を返してくれます。
段階的な規模の拡大・縮小、耐障害対応ができることになります。