ZIKUU Distillery – Seedモデルを選択可能にする

Qwen3 0.6Bに加えて、Qwen3 1.7BもSeedモデルとして使えるようにしました。 同じ教材で、異なるモデルの学習ができるようにしているので、モデル間で成果の比較ができます。 Qwen3 0.6Bでの学習。 … 続きを読む

開発ツールとしてのZIKUU Distilleryが完成

教師モデルが生成した文章を人間が調整し、Seedモデルに学習させ、学習結果を蒸留モデルとして仕立て、Inference Broker経由で配備し、配備したモデルの検証をする。 このループが回るところまで漕ぎ着けました。 … 続きを読む

ZIKUU Distillery – 蒸留したモデルをレジストリに登録する

昨日は、蒸留済モデルをファイルに書き出すところまでやりましたが、今日はそれをモデルレジストリに登録する処理を実装しました。 モデルレジストリは、Giteaに作らえたリポジトリで、モデルはそのリポジトリの添付ファイルとして … 続きを読む

ZIKUU Distillery – 蒸留したモデルをエクスポートする

上のスクリーンショットは、蒸留したモデルのサイズごとにllama.cppで推論させたときの比較表です。Qwen3-0.6Bをseedとしてモデルの場合は、f16と量子化版q8の差はごくわずかでしたが、量子化版q4ではだい … 続きを読む

ZIKUU Distillery – LLM蒸留ツールの基本形ができた

投稿「ZIKUU Distillery – LLM蒸留ツール」の続きです。 蒸留やファインチューニングは試行の多い作業なので、試行しやすいUIに改造しました。 新しい蒸留をする場合 まずは、教材を作る。 教師に回答を作ら … 続きを読む