ZIKUU Distillery – 蒸留したモデルをエクスポートする

上のスクリーンショットは、蒸留したモデルのサイズごとにllama.cppで推論させたときの比較表です。Qwen3-0.6Bをseedとしてモデルの場合は、f16と量子化版q8の差はごくわずかでしたが、量子化版q4ではだい … 続きを読む

ZIKUU Distillery – LLM蒸留ツールの基本形ができた

投稿「ZIKUU Distillery – LLM蒸留ツール」の続きです。 蒸留やファインチューニングは試行の多い作業なので、試行しやすいUIに改造しました。 新しい蒸留をする場合 まずは、教材を作る。 教師に回答を作ら … 続きを読む

Inference Broker – ImageEditバックエンドを追加

昨日はImg2Imgバックエンドの追加でしたが、今日はImageEditバックエンドの追加です。 仕組みは単純なもので、オリジナル画像と同サイズのマスク画像をサーバーに渡すと、マスク範囲以外の部分にプロンプトを適用した画 … 続きを読む

余暇のプログラミング – Inference Pipeline PoCアプリ 対話しながら画像生成のやり直す

会話の中で、「画像を作りたそう」を検知して、画像生成をするかを訊いてくるようにしました。 「これ、絵にしたら面白そう。」 に対して、 「画像生成しますか?」 を返してきます。 画像生成を支持すると画像を生成します。 ここ … 続きを読む

Inference Broker – リソーススケジューラーを追加

Inference Brokerは、そのバックエンドに が動いていて、文章生成、埋め込み生成、画像生成、文字起こし、画像説明を行うAPIを持っています。文章生成については、Open AI 互換APIになっていて、/cha … 続きを読む