NVIDIA RTX A4000の動作確認をしたくて、Stable DiffusionのWeb UIとtext-generation-webuiをインストールし、いくつかのモデルをダウンロードして動かしてみました。
ハイエンドの高速GPUではないので、動作速度自体はそれほど速くはありませんが、今まで使ってきたRTX 3060に比べると30%くらいは速いかなという印象です。言語モデルのファインチューニングやニューラルネットワークのスクラッチからの学習などをやればVRAMの容量が少し大きいことも含めて差を感じるだろうと思います。
あまり大きなものは動かせませんが、機械学習の基本を学ぶという目的ならRTX 3060 12GBは悪くないですね。なんと言っても4万円代で手に入るのが嬉しい。16GBメモリーの4060tiだと価格はその２倍、16GBメモリのA4000の価格はその３倍です。
塾生さんにはPCの自作を勧めるつもりです。推奨システムは第13世代Core i5を使ったものですが、それにRTX 3060を追加すればモノづくり塾で取り扱う内容の大部分を自宅で勉強できます。お小遣いが足りない人は塾に入り浸ってこのPCを使えば良いです。
Google ColabのT4インスタンスのVRAMが16GBくらいだったと思いますが、それと同等のVRAM容量でローカルで高速に動かせることを考えると、これを好きなだけ使えるモノづくり塾の環境は悪くないと思います。
基礎を学んでより高度で大規模なシステムをやりたいなら、それができる大学や研究機関、企業に行けば良いのです。そういうところで活躍できる下地は塾で作ってください。