Vision Broker

Inference Broker – 推論資源のプラットフォーム化

by

NPU搭載のPCが加わったことで、これまでのCPU/GPUを使う推論処理以外の選択肢が増えました。 この機会に、これまで開発してきたLLM BrokerとVision Brokerを統合して、推論資源の管理もできる推論プ … 続きを読む

Inference Brokerの開発

by

これまで文章生成系はLLM Broker、画像処理系はVision Brokerを開発して、ZIKUUのアプリケーションや第三者のアプリケーションを接続していましたが、もう少し柔軟で容易に推論資源を利用できるように、これ … 続きを読む

Vision Brokerを作り、Vision Playgroundを修正する

by

あまり使用率は高くありませんが、画像を扱うAI処理も少しあります。 GPUサーバーには2枚のGPUが挿されていて、1枚は文書生成用、もう1枚は画像用としていますが、小さなVRAMを効率よく使うために、GPUのアクセスを制 … 続きを読む