Inference Broker

開発ツールとしてのZIKUU Distilleryが完成

by

教師モデルが生成した文章を人間が調整し、Seedモデルに学習させ、学習結果を蒸留モデルとして仕立て、Inference Broker経由で配備し、配備したモデルの検証をする。 このループが回るところまで漕ぎ着けました。 … 続きを読む

ZIKUU Distillery – 蒸留したモデルをエクスポートする

by

上のスクリーンショットは、蒸留したモデルのサイズごとにllama.cppで推論させたときの比較表です。Qwen3-0.6Bをseedとしてモデルの場合は、f16と量子化版q8の差はごくわずかでしたが、量子化版q4ではだい … 続きを読む

Inference Broker – ImageEditバックエンドを追加

by

昨日はImg2Imgバックエンドの追加でしたが、今日はImageEditバックエンドの追加です。 仕組みは単純なもので、オリジナル画像と同サイズのマスク画像をサーバーに渡すと、マスク範囲以外の部分にプロンプトを適用した画 … 続きを読む

余暇のプログラミング – Inference Pipeline PoCアプリ　対話しながら画像生成のやり直す

by

会話の中で、「画像を作りたそう」を検知して、画像生成をするかを訊いてくるようにしました。 「これ、絵にしたら面白そう。」 に対して、 「画像生成しますか？」 を返してきます。 画像生成を支持すると画像を生成します。 ここ … 続きを読む

Inference Broker – リソーススケジューラーを追加

by

Inference Brokerは、そのバックエンドに が動いていて、文章生成、埋め込み生成、画像生成、文字起こし、画像説明を行うAPIを持っています。文章生成については、Open AI 互換APIになっていて、/cha … 続きを読む

余暇のプログラミング – Inference Pipeline PoCアプリをそれっぽくする

by

Inference Brokerの用途を広げるためのアプリを拡張して、いくつか実験をします。 前回までは、チャットスレッド全体を渡して、Stable Diffusion用のプロンプト生成をさせ、画像を生成するというもので … 続きを読む

余暇のプログラミング – Inference Brokerの用途を広げてみる

by

月曜日は休養日に当てているんですが、どうもじっとしていられない。 現在、ZIKUU Mini検証機で稼働している Inference Brokerはいくつものバックエンドを利用できるようになっています。 Miniの上だけ … 続きを読む

Inference Broker – GPU版のStable Diffusionバックエンドを追加する

by

GPUを使うStable Diffusion 1.5とTurboのバックエンドを追加しました。 このスクリーンショットで言えば、gpu01というノードのBackendsテーブルの下の2行です。 これで、画像生成に使える推 … 続きを読む