モノづくり塾で機械学習の学習・研究をするために用意したCPUとGPUです。
CPUはCore i5 13500。
GPUはNVIDIA RTX A4000。
長時間の連続運用をすることを前提に消費電力控えめの選択をしました。
第13世代のミドルクラスCPUであるCore i5は前世代のCore i7と同等の性能ですので十分に速いです。プロ用GPUと呼ばれるRTXシリーズは、ゲームなどに使うには不向きですが、待機時も稼働時も消費電力が少ないのが美点。VRAMは16GBしかありませんが、７０億パラメーター程度の言語モデルのファインチューニング、ゼロから作る言語モデル、画像認識などの勉強ができれば良いと考えて選びました。Google ColabのT4インスタンスのVRAMが16GBだったと記憶していますが、それと同じ容量でより高速に動くローカル環境ということになります。
多少熱狂している感はありますが、AIの実運用はこれから増えるのは確実だと思っていて、地域の産業や行政機関がAIを活用する際の相談窓口になるような人材、基礎を勉強してより高度な研究に進路を取る人、AIを使って起業する人などが出てくるきっかけを作る場になることを目指します。