Inference Broker – マルチノード対応

塾のGPUサーバーにLLM Runtime Agentを入れて、Inference Brokerのマルチノード対応をやりました。

mini01というノードがミニPCで、gpu01というノードが塾のGPUサーバーです。

それぞれのノードで利用可能な推論資源がBackendsに並び、LLM Runtime Agent統制下のものはここで起動・停止ができます。

現時点では、同系推論資源を使ったフォールバックやリクエスト負荷分散の機能はありませんが、一応、推論資源インフラとして稼働できる状態にはなりました。

これがInference Brokerと他のコンポーネントの関連を表す図です。

---

この1年ほどの開発で、ZIKUUのシステムはかなり大きく重層的になりました。

• 人
• Interface層
• Application層
• 物理世界
• Context層
• Inference層
• 知識と記録

が有機的に接続した構造です。

全体を図にするとこんな感じです。