Ryzen AI NPUの推論能力を検証する

今日はZIKUU Miniに採用予定のRyzen AI 300シリーズに載っているNPUが実用的な推論資源としてどこまで使えるかを検証しました。

対象は、

検証に使ったAMDのソフトウェアは、Ryzen AI Software 1.8.0です。

画像生成以外の検証にはLemonadeを使用しました。

これはVisionモデルを使って画像の解析をさせたもの。
使用したモデルはqwen3vl-it-4b-FLMです。

現在のZIKUUシステムでは、この部分はGPUサーバーの2枚めのGPUを使って処理しているもので、実行速度的にはそれといい勝負でした。

これはWhisperを試した様子で、モデルはwhisper-v3-turbo-FLMです。

現行のZIKUUシステムでは、この処理をCPU（Core i5 13400）で処理していますが、性能的には、それと比べて同等以上かもしれません。

文章生成については、小さなモデルなら動くものの、性能は不十分で用途は狭いことがわかりました。

文章生成はllama.cpp + Vulcanバックエンドで実行した方が良いことは明らかです。

続いてStable Diffusion 1.5を試して、20 steps/512 x 512 で画像生成時間は約4秒でした。
これは、まあまあの結果で、もう少し高精度なSDXLを試したが、これはエラーで実行失敗。
その原因はよくわかりませんでした。

SD 1.5の品質はあまり良くないので、品質を妥協するならNPUを使うてもあり。
ただし、高精度モデルが使える方法を見つけるのが先です。

Whisper/Vision/OCR/SD1.5についてはNPUは実用レベルであることがわかりました。

それを前提に、ZIKUU Miniの推論資源は以下のように分けます。

NPUをCPU/GPUから軽量AI処理を分離する独立推論資源として扱うということです。

CPUやiGPUの負荷を上げずに、推論処理の一部を任せられるという点でNPUは非常に有用です。
こんなに使えるものだとは思っていませんでした。

Ryzen AI搭載機は、爆速AIマシンではありませんが、個人や小さなグループで使えるAIマシンとして、とても使いやすいPCだと思いますし、ZIKUUのBrokerが活きるシステムだと思います。

現時点では、LLM Brokerはテキスト系推論、Vision Brokerは画像系推論という責務になっているが、将来的には、テキスト系、画像系、音声系の推論資源を統合したサービスに展開することを考え始めています。

LLM Brokerの構造は、バックエンドの推論機をクライアントが意識しなくて済むように設計されているので、クライアントは、推論がCPU/GPU/NPUのどこで行われているか、どんなモデルを使っているかを知らなくても良いです。

システムの名前も、LLM Broker/Vision BrokerからInference Brokerのようなより大きな意味を持つものに変わり、ZIKUUの推論インフラとして成長するかもしれません。

「Ryzen AI NPUの推論能力を検証する」への1件のフィードバック