余暇のプログラミング – Inference Pipeline PoCアプリをそれっぽくする

Inference Brokerの用途を広げるためのアプリを拡張して、いくつか実験をします。 前回までは、チャットスレッド全体を渡して、Stable Diffusion用のプロンプト生成をさせ、画像を生成するというもので … 続きを読む

Inference Broker – GPU版のStable Diffusionバックエンドを追加する

GPUを使うStable Diffusion 1.5とTurboのバックエンドを追加しました。 このスクリーンショットで言えば、gpu01というノードのBackendsテーブルの下の2行です。 これで、画像生成に使える推 … 続きを読む

Inference Broker – 画像生成パラメーターへの対応など

少し使いにくかったInference Broker WebのUIを調整してから、画像生成系のテストで生成パラメーターを設定できるようにしました。 そのためにAMDのライブラリやNPUを使う場合の設定を調べるのにだいぶ時間 … 続きを読む

Inference Broker – 推論資源のプラットフォーム化

NPU搭載のPCが加わったことで、これまでのCPU/GPUを使う推論処理以外の選択肢が増えました。 この機会に、これまで開発してきたLLM BrokerとVision Brokerを統合して、推論資源の管理もできる推論プ … 続きを読む

Inference Brokerの開発

これまで文章生成系はLLM Broker、画像処理系はVision Brokerを開発して、ZIKUUのアプリケーションや第三者のアプリケーションを接続していましたが、もう少し柔軟で容易に推論資源を利用できるように、これ … 続きを読む

ComfyUIとOllamaを組み合わせて画像生成してみる

やり方はここに書いてあります。 大まかな手順です。 ComfyUIでワークフローを作る ComfyUIでワークフローを作ります。これはデフォルトのワークフローのままでも動くので、ComfyUIに詳しくなくても大丈夫です。 … 続きを読む

Fooocusが面白い

画像生成AIのStable DiffusionのUIをシンプルにしたFooocusがなかなかお手軽で面白かったです。先日の非プログラマー向け自作PCワークショップでPinokioをインストールしてからStable Dif … 続きを読む