Inference Broker – Img2Imgバックエンドを追加
Inference Brokerは、llama.cpp、Ollama、Lemonade、の他に、画像処理や文字起こしを行う、ZIKUUで開発したバックエンドである、SD NPU Backend や GPU Inferen … 続きを読む
Inference Brokerは、llama.cpp、Ollama、Lemonade、の他に、画像処理や文字起こしを行う、ZIKUUで開発したバックエンドである、SD NPU Backend や GPU Inferen … 続きを読む
Inference Brokerの用途を広げるためのアプリを拡張して、いくつか実験をします。 前回までは、チャットスレッド全体を渡して、Stable Diffusion用のプロンプト生成をさせ、画像を生成するというもので … 続きを読む
GPUを使うStable Diffusion 1.5とTurboのバックエンドを追加しました。 このスクリーンショットで言えば、gpu01というノードのBackendsテーブルの下の2行です。 これで、画像生成に使える推 … 続きを読む
少し使いにくかったInference Broker WebのUIを調整してから、画像生成系のテストで生成パラメーターを設定できるようにしました。 そのためにAMDのライブラリやNPUを使う場合の設定を調べるのにだいぶ時間 … 続きを読む
NPU搭載のPCが加わったことで、これまでのCPU/GPUを使う推論処理以外の選択肢が増えました。 この機会に、これまで開発してきたLLM BrokerとVision Brokerを統合して、推論資源の管理もできる推論プ … 続きを読む
これまで文章生成系はLLM Broker、画像処理系はVision Brokerを開発して、ZIKUUのアプリケーションや第三者のアプリケーションを接続していましたが、もう少し柔軟で容易に推論資源を利用できるように、これ … 続きを読む
GPUを効率よく使うために作ったLLM BrokerとVision Brokerに対応するために、Vibe Playgroundを改修しました。 Vibe Playgroundについては、Vibeモデル および Vibe … 続きを読む
やり方はここに書いてあります。 大まかな手順です。 ComfyUIでワークフローを作る ComfyUIでワークフローを作ります。これはデフォルトのワークフローのままでも動くので、ComfyUIに詳しくなくても大丈夫です。 … 続きを読む
画像生成AIのStable DiffusionのUIをシンプルにしたFooocusがなかなかお手軽で面白かったです。先日の非プログラマー向け自作PCワークショップでPinokioをインストールしてからStable Dif … 続きを読む
モノづくり塾のサーバーは現時点ではGPUを搭載していません。文書生成AIについてはLlama-cppを使ってCPUのみで推論できるようにしていますが、画像生成AIもCPUのみで動かせると思い調べたら良いのが見つかりました … 続きを読む