Inference Broker – マルチノード対応
塾のGPUサーバーにLLM Runtime Agentを入れて、Inference Brokerのマルチノード対応をやりました。 mini01というノードがミニPCで、gpu01というノードが塾のGPUサーバーです。 そ … 続きを読む
LLM
Inference Broker – 画像生成パラメーターへの対応など
少し使いにくかったInference Broker WebのUIを調整してから、画像生成系のテストで生成パラメーターを設定できるようにしました。 そのためにAMDのライブラリやNPUを使う場合の設定を調べるのにだいぶ時間 … 続きを読む
Inference Broker – 推論資源のプラットフォーム化
NPU搭載のPCが加わったことで、これまでのCPU/GPUを使う推論処理以外の選択肢が増えました。 この機会に、これまで開発してきたLLM BrokerとVision Brokerを統合して、推論資源の管理もできる推論プ … 続きを読む
Inference Brokerの開発
これまで文章生成系はLLM Broker、画像処理系はVision Brokerを開発して、ZIKUUのアプリケーションや第三者のアプリケーションを接続していましたが、もう少し柔軟で容易に推論資源を利用できるように、これ … 続きを読む
LLM Runtime Agentの開発
LLM Runtime Agent は、ZIKUU Mini 上で動作する LLM / AI 推論バックエンドの起動・停止・状態確認を統一的に扱うための小さなホスト常駐サービスを作りました。LLM Brokerの背後で動 … 続きを読む
Ryzen AI NPUの推論能力を検証する
今日はZIKUU Miniに採用予定のRyzen AI 300シリーズに載っているNPUが実用的な推論資源としてどこまで使えるかを検証しました。 対象は、 検証に使ったAMDのソフトウェアは、Ryzen AI Softw … 続きを読む
Fact Builder – Discordメッセージと内部資料を意味空間に投影する
前回のWordpressに続き、Discordメッセージと内部資料（ZDL）を意味空間（Pivot）に投影できるようになりました。 ZIKUUの場合は、 を日々ここに蓄積しますが、これが企業なら、 研究室なら、 を読み込 … 続きを読む
ZIKUU mini実証機を入手
MinisforumのAI X1 Proを手に入れました。64GB RAM/1TB SSDのモデルです。これをZIKUU mini実証機として弄り回していきます。 Ubuntu 24.04をインストールして、基本的なソフ … 続きを読む
Fact Builder – WordPressブログを意味空間に投影する
CPS (Context Pipeline Server)に蓄積されたブログの文脈束を、Pivot Serviceが持つ意味空間に投影する機能をFact Builderに追加しました。 これがCPSに保存されている文脈束 … 続きを読む
ObsidianとLLM Brokerをつなぐ
LLM BrokerにObisidianのLocal LLM Helperというプラグインを使って接続してみました。 設定項目は だけです。 これはRAG Chatを実行した様子。 残念ながら、LLM BrokerのOp … 続きを読む