Inference Broker – GPUを使ったVision系モデルへの対応
ここまで、Inference Brokerが対応していた推論資源は、 でしたが、新たに、 にも対応します。 この対応が終わると、Inference BrokerがNVIDIA GPU/Ryzen AI CPU/NPUを使 … 続きを読む
Inference Broker
Inference Broker – マルチノード対応
塾のGPUサーバーにLLM Runtime Agentを入れて、Inference Brokerのマルチノード対応をやりました。 mini01というノードがミニPCで、gpu01というノードが塾のGPUサーバーです。 そ … 続きを読む
Inference Broker – 画像生成パラメーターへの対応など
少し使いにくかったInference Broker WebのUIを調整してから、画像生成系のテストで生成パラメーターを設定できるようにしました。 そのためにAMDのライブラリやNPUを使う場合の設定を調べるのにだいぶ時間 … 続きを読む
Inference Broker – 推論資源のプラットフォーム化
NPU搭載のPCが加わったことで、これまでのCPU/GPUを使う推論処理以外の選択肢が増えました。 この機会に、これまで開発してきたLLM BrokerとVision Brokerを統合して、推論資源の管理もできる推論プ … 続きを読む
Inference Brokerの開発
これまで文章生成系はLLM Broker、画像処理系はVision Brokerを開発して、ZIKUUのアプリケーションや第三者のアプリケーションを接続していましたが、もう少し柔軟で容易に推論資源を利用できるように、これ … 続きを読む