左はRTX A4000搭載のCore i5 13500でGemma 2 9Bモデルを使用、右はCore i5 13400でGemma2 9Bの4bit量子化モデルを使用。
GPU有りの場合が16秒、GPU無しの場合が1分30秒かかりました。
どちらもOllamaサーバーをモデルプロバイダーとし、Difyでチャットボットを作成して実行しています。OllamaもDifyもDockerコンテナとして動かしています。
i5 13500と13400という違いがあるので同条件での比較ではありませんが、概ねこんな速度差だと思います。GPUを使うとCPU負荷が激減するので、13400のPCにA4000を載せて動かしてもCPUの差は顕著ではなく、今回と同じような結果になるでしょう。GPUのVRAM使用量は9GBほどでしたので、速度を求めなければ12GB VRAMを搭載したGeForce 3060辺りがあれば同じことができます。
省電力を理由に選んだA4000はそれほど速いGPUではありません。省電力に拘らなければ4070tiスーパー辺りの方が速くて快適かもしれません。
モノづくり塾のDiscordサーバーにAIチャットボットを載せようと思っていて、プログラムはほぼ出来ているのですが、常時稼働しているモノづくり塾のアプリケーションサーバーはCore i5 13400のGPU非搭載PCですので、GPUを載せるまではAIチャットボットの運用はお預けです。
資金がギリギリの中で、予定通り塾をオープンしたくて、VPNサーバー、サーバーへのGPUの搭載を見送りました。現時点ではモノづくり塾のIT設備を使うには塾に来ないといけませんが、当初は塾生が自宅からIT系の環境にフルアクセスできるようにする予定でした。