サーバー用のGPUが届いたが

塾のサーバーに載せるGPUが届きました。
NVIDIA RTX 2000 adaという製品で16GBのVRAMを搭載しています。
この製品の美点は消費電力が少ないこと、補助電源が不要なこと、小さいこと、VRAMが大きいこと。

開発用PCでRTX A4000（Ampere世代）を使っていますが、それよりも性能が低そうな製品です。しかし、量子化された言語モデルを処理する能力が高そうなので、もしかするとA4000くらいの実用速度が得られるかもしれませんし、常時稼働のサーバーで、静かにAI処理をするには適した製品だと思っています。

映像出力には使わずに、16GBのVRAMをすべてLLM用として使います。モデルサーバーはvLLMを使う予定です。

ZIKUUの神経系システム Nerveがすでに動いていて、そのキューに投げられたイベントから起動したパイプラインが、データの変換や分析を行い、最終的に頭脳系システムのAI塾長やKAGURAが利用するRAG用のベクターデータやファインチューニング用のコーパスになります。データの変換と分析に、このGPUが使われます。

GPUが届いたので、いよいよ、AI塾長とKAGURAの開発に入れると思ったのですが、なんとGPUに問題がありました。

これは箱から出してすぐに撮った写真ですが・・・

よく見ると、PCIeの端子に欠損があります。

こういう欠損が２箇所ありました。

これでは動かないと思って、すぐに返品手続きをしました。

明日から開発に入れると思って、いろいろ準備をしていたのですが、新しいGPUが届くまでおあずけです。