ZIKUU MiniでのDistillery配備が完了

ZIKUU Distillery が ZIKUU Mini 上で完全動作するようになり、推論資源として自動配備ができるようになりました。

これが Inference Broker を介して、蒸留したモデルを配備する画面です。

そして、これが配備したモデルを試す画面。

dGPUを使い場合に比べると遅いですが、

• 一回20ステップの学習に30秒。
• モデル生成に数秒。
• 配備に10秒
• 配備した蒸留モデルの性能は、89 prompt tokens · 218 completion tokens · 98.99 tokens/s
• CPU使用率が最大で50%ちょっと

Ryzen AI 9 370HXで、使える性能が出ています。

値段が2倍のStrix Haloなら、2倍速くらいは出るのかな。