ZIKUU MiniでのDistillery配備が完了
ZIKUU Distillery が ZIKUU Mini 上で完全動作するようになり、推論資源として自動配備ができるようになりました。 これが Inference Broker を介して、蒸留したモデルを配備する画面で … 続きを読む
ZIKUU MiniでもDistillery
CUDA前提に開発したLLM蒸留ツール ZIKUU Distillery でしたが、AMD Strix Point (Ryzen AI9 370)搭載のZIKUU Mini機でも使えるように拡張しました。 このPCは、U … 続きを読む
「できるけどやらない」を選べるか
ZIKUUはほぼすべてのソフトウェアを内製している。 Linux、Python、JavaScript/TypeScript、Rust、C/C++がなくなることは無いだろうし、LLMのオープンウェイトのものは手元に確保して … 続きを読む
開発ツールとしてのZIKUU Distilleryが完成
教師モデルが生成した文章を人間が調整し、Seedモデルに学習させ、学習結果を蒸留モデルとして仕立て、Inference Broker経由で配備し、配備したモデルの検証をする。 このループが回るところまで漕ぎ着けました。 … 続きを読む
フットパワード工作機械 – 試作開始
「フットパワード工作機械」の続きです。 今日は、フリーハブを取り付ける部品、自転車ならチェーンステイ、を作ってみました。 鋼材に切れ目を入れて、チェーンステイの型（木製ロードバイクを製作するときに使っている型のコピー）に … 続きを読む
Repository Explorerは便利
Repository Explorerは、ZIKUUのソフトウェア全般について調査を行うツールです。システムが自分自身を説明するツールとして開発しています。 質問の回答に質問をして、深堀りできるようにする計画ですが、現時 … 続きを読む
ZIKUU Distillery – 蒸留したモデルをレジストリに登録する
昨日は、蒸留済モデルをファイルに書き出すところまでやりましたが、今日はそれをモデルレジストリに登録する処理を実装しました。 モデルレジストリは、Giteaに作らえたリポジトリで、モデルはそのリポジトリの添付ファイルとして … 続きを読む
ZIKUU Distillery – 蒸留したモデルをエクスポートする
上のスクリーンショットは、蒸留したモデルのサイズごとにllama.cppで推論させたときの比較表です。Qwen3-0.6Bをseedとしてモデルの場合は、f16と量子化版q8の差はごくわずかでしたが、量子化版q4ではだい … 続きを読む