ZIKUU Distillery – Seedモデルを選択可能にする
Qwen3 0.6Bに加えて、Qwen3 1.7BもSeedモデルとして使えるようにしました。 同じ教材で、異なるモデルの学習ができるようにしているので、モデル間で成果の比較ができます。 Qwen3 0.6Bでの学習。 … 続きを読む
Qwen3 0.6Bに加えて、Qwen3 1.7BもSeedモデルとして使えるようにしました。 同じ教材で、異なるモデルの学習ができるようにしているので、モデル間で成果の比較ができます。 Qwen3 0.6Bでの学習。 … 続きを読む
ZIKUU Distillery が ZIKUU Mini 上で完全動作するようになり、推論資源として自動配備ができるようになりました。 これが Inference Broker を介して、蒸留したモデルを配備する画面で … 続きを読む
CUDA前提に開発したLLM蒸留ツール ZIKUU Distillery でしたが、AMD Strix Point (Ryzen AI9 370)搭載のZIKUU Mini機でも使えるように拡張しました。 このPCは、U … 続きを読む
教師モデルが生成した文章を人間が調整し、Seedモデルに学習させ、学習結果を蒸留モデルとして仕立て、Inference Broker経由で配備し、配備したモデルの検証をする。 このループが回るところまで漕ぎ着けました。 … 続きを読む
昨日は、蒸留済モデルをファイルに書き出すところまでやりましたが、今日はそれをモデルレジストリに登録する処理を実装しました。 モデルレジストリは、Giteaに作らえたリポジトリで、モデルはそのリポジトリの添付ファイルとして … 続きを読む
上のスクリーンショットは、蒸留したモデルのサイズごとにllama.cppで推論させたときの比較表です。Qwen3-0.6Bをseedとしてモデルの場合は、f16と量子化版q8の差はごくわずかでしたが、量子化版q4ではだい … 続きを読む
投稿「ZIKUU Distillery – LLM蒸留ツール」の続きです。 蒸留やファインチューニングは試行の多い作業なので、試行しやすいUIに改造しました。 新しい蒸留をする場合 まずは、教材を作る。 教師に回答を作ら … 続きを読む
Inference Brokerを作ったことによって、LLMを「特定の能力を持った推論資源」として扱えるようになりました。 これまで、LLMは大きくて賢いものを使うのが良い、そのためには大きなVRAM、高速なGPUが必要 … 続きを読む