Inference Brokerの開発

これまで文章生成系はLLM Broker、画像処理系はVision Brokerを開発して、ZIKUUのアプリケーションや第三者のアプリケーションを接続していましたが、もう少し柔軟で容易に推論資源を利用できるように、これらの機能を包含し、バックエンドの管理機能まで含んだInference Brokerを開発しています。

バックエンドでは、systemdでLLM Runtime AgentとSD NPU Backend、Dockerでllama.cppが走っています。

LLM Runtime Agentは、そのホストで動作している推論資源の起動・停止・監視をするサーバーです。

SD NPU Backendは、Ryzen AI CPUに内蔵されているNPUを使って、WhisperやVisionモデルを動かすサーバーです。

Inference Brokerはこれらを利用して、文章生成、画像生成、文字起こし、画像解析などを行う推論資源を管理し、アプリケーションからの推論要求を推論資源に振り分ける役割を持ちます。

Inference Broker Webは、Inference Brokerの機能を検証するためのWebアプリケーションです。

Inference Broker Webの設定画面では、ノード情報やバックエンド情報が見えます。

この上で、

• Chat
• Embedding
• OpenAI互換 Chat Completions
• OpenAI互換 Embedding
• OpenAI互換 Responses
• Whisper Transcribe
• Whisper Translate
• Stable DiffusionのNPU版と通常版

のAPIをテストできるようになります。

一つのInference Brokerを通して、複数のホスト（ノード）で走るLLM Runtime Agentが統制されて、どこで・どんな推論資源が動いているかを意識せずに、アプリケーションが推論処理を行えるようになります。これがZIKUU製の推論プラットフォームとして標準になります。

現在、Inference BrokerはZIKUU Mini機で開発していますが、完成したらZIKUUフルシステムに配備します。