ZIKUU Distillery – 蒸留したモデルをエクスポートする

上のスクリーンショットは、蒸留したモデルのサイズごとにllama.cppで推論させたときの比較表です。Qwen3-0.6Bをseedとしてモデルの場合は、f16と量子化版q8の差はごくわずかでしたが、量子化版q4ではだい … 続きを読む

ZIKUU Distillery – LLM蒸留ツールの基本形ができた

投稿「ZIKUU Distillery – LLM蒸留ツール」の続きです。 蒸留やファインチューニングは試行の多い作業なので、試行しやすいUIに改造しました。 新しい蒸留をする場合 まずは、教材を作る。 教師に回答を作ら … 続きを読む