LLM Broker拡張案

LLM Brokerは

• GPU資源を有効に使う
• LLM呼び出しを抽象化する

のを目的に開発したミドルウェアですが、早速、拡張を検討しています。

現行の仕様は後方互換性を維持するために残し、新たにOpenAI API互換機能を追加する。

今は、Open WebUIから直接llama.cppサーバーに接続していますが、これをやめてOpen AI APIでLLM Brokerに接続し、その背後にllama.cppサーバーやOllamaを隠す。

LLM Brokerはクライアントからリクエストを受けると、

• プロファイルから実行先を選ぶ
• 空いているサーバーにリクエストを振り分ける
• 同時実行数を制限する
• 混雑時はリクエストをキューに入れる
• 障害ノードを外す
• 必要なら別のノードにフォールバックする

という交通整理をする。

ちなみに、ZIKUUのシステムは、RTX PRO 4000のような省電力なGPUをいくつも並べる、あるいは、PRO 4000を搭載した小さなPCをいくつも並べる、さらには、Strix HaloのようなミニPCをいくつも並べる、みたいな構成に適しています。

GPUクラスターみたいなもので、特段目新しいものではありませんが、柔軟な文明バックアップシステムを作るのに必要だと思っています。

暇な時にやります。