NVIDIA社が発表したミニPCサイズのAI処理が得意なスーパーコンピューターです。
１２８GBのユニファイドメモリーを搭載したLinuxマシンです。
ユニファイドメモリーというとApple社のMacが有名ですが、これはCPUとGPUが高速なメモリーを共有する構造になっています。Macの場合、動作周波数が7000MHzを超えるメモリーを搭載していて、通常の外部GPUに搭載されているメモリーに遜色のない動作速度を持っています。
NVIDIA社が発表したPCと同等の構成にする場合、M4 Max搭載のMacBook Proなら128GBのユニファイドメモリー、4TBのSSDを搭載をして90万円ほどになりますが、NVIDIA社の製品は3,000ドルということなので、50万円くらいです。
余裕があったら、７、８台購入して、スーパーコンピュータークラスターを構築したい。そう思える機材です。
このスペックだと、FP32でMeta社のLlama 3.1の80億パラメーターモデルの学習（開発）が可能です。FP32というのはパラメーターのデータ型が３２ビット浮動小数点という意味です。多少精度の落ちるFP16（１６ビット浮動小数点）ならば、130億パラメーターのモデルまでは学習が可能でしょう。LoRAなどの部分的なパラメーターのチューニングをするなら、もっと大きなモデルが扱えます。
24GBメモリーを搭載したゲーミング用GPUが25万円くらいしますが、その5倍ほどのメモリーを搭載したものが50万円というのはとても割安に見えます。
モノづくり塾に置いているAI学習用のPCのVRAMは16GBですので、20億パラメーターモデルの部分的なチューニング程度しかできませんが、ノウハウは生きるので勉強や研究は続けていきます。ノウハウさえあれば、このような高性能な機材を導入すればすぐに開発に取りかかれます。
こういう機器が手に入るようになると、小さな組織でのAI開発が加速しそうです。
これは、小さな企業、共同体、自治体などが、独自にチューニングし、セキュリティーに考慮した組織にあった生成AIを開発・運用できる時代になってきたことを意味します。
人口減少や少子化は確定的なトレンドです。人手不足への対応は必須だと思われます。どこの自治体も「人口を増やす方策」を考えていると思いますが、これは技術を知らない人たちが集まって考えているからです。今の日本の地方自治体で「人口を増やす方策」を時間かけて考えるのは良策ではありません。
技術を使いこなして乗り切るか、朽ち果てるように沈んでいくのか。そろそろ決断をしても良いと思います。
みんなでAIを勉強しましょう！