GPUサーバーに2枚目のdGPUを挿す

今日、届いたQuadro RTX 4000です。
新品で7万円でした。
現在のNvidia GPUはBlackwell世代、一つ前がAda Lovelace、その前がAmpere、そしてその前がQuadro。つまり３世代前のGPU。

時代遅れと言うなかれ。

ZIKUUでは、画像観測専用GPUとして使うので、これで性能は十分。
VRAMは8GBで足りる。
処理のほとんどがバックグランドで、寝ている間に動くので、レスポンスの速さはいらない。

早速、GPUサーバーに挿しました。

ZIKUUでは、省電力優先です。

PCケースの制約で、2枚目のGPUはシングルスロットであることが絶対条件。
シングルスロットのGPUというと、RTX A4000、RTX 4000 AdaRTX PRO 4000などが候補に上がりますが、残念ながら予算が足りない。

このGPUサーバーでは、Ollamaを2系統起動して、1つをRTX 2000 Ada 16GBに、もう1つをQuadro RTX 4000 8GBを使用するようにし、Open WebUIはこの2つのOllamaにアクセスする設定をしています。

早速、画像の説明をさせてみました。

十分な性能だと感じます。

設計で工夫して、少ないVRAM、遅いGPUでも、滞りなく運用できるようにシステムを設計します。
資金に余裕ができたら、もっと高性能な機器にアップグレードすればいい。

巷では、すごいGPUで、大きなモデルを動かして・・・・みたいな熱狂が見られますが、ZIKUUはそういうゲームには乗らずに、設計で頑張ります。

これは、将来的にも意味があって、

• お金に余裕のない学生がAIを勉強する方法を示せる
• ZIKUU MiniやZIKUU Seedで、ミニPC上でZIKUUのすべてのアプリケーションを動かせるようになる

などの利点があります。

また、物事を進めるときは、何をやるかではなく、何をやらないかを決めるのが大事。
そうすれば、一歩一歩が軽やかになります。