IBMが開発したGraniteというLLM。
パラメーター数350Mから数Bまでの小型のモデルがなかなか高性能です。
ZIKUUでは少し前のバージョンのgranite-visionをVision Playgroundで試しています。
今はAI塾長を含むZIKUU v1.0の開発に専念していますが、並行して小さなプロジェクトがいくつかあります。
その一つが安価なPCでできるLLMのファインチューニング教材の開発です。
タイトルを見ればわかるように、NVIDIA RTX 3060という12GBのVRAMを搭載した２世代前のGPUで始められるチュートリアルです。
いくつかの業務分野を想定して、LLMをファインチューニングして業務専用のLLMに仕立てる練習ができます。
ちょうど最近入手したXeonワークステーションに、手持ちの3060を載せたので、このチュートリアルをやってみるのにちょうどいい環境ができました。
この中古のワークステーションは、ストレージなしで売られていたもので、CPUがXeon W-1250P (6コア/12スレッド）というエントリークラスで、32GBのメモリを搭載していました。それがたったの4万円でした。
メモリやSSDが大変高騰しているので、この価格で手に入るワークステーションは救いです。
エントリークラスとはいえ、業務用に作られたPCですので、冷却も電源も十分。安定して静かに動きます。
じっくり開発や勉強をするには良いマシンではないかと思います。
そのワークステーションに手持ちの512GB SSDと3060を載せ、Ubuntu 24.04LTSをインストールしています。
自宅からはVPNを通してThinLincでデスクトップにアクセスして使っています。
ほぼローカル環境で使うのと同じ感覚で使えて快適です。
試しに、この環境で、Jupyter Notebookを立ち上げて、その上でUnslothを使いGranite 4のファインチューニングをやってみようと思っているところです。
