LMStudioでgpt-ossを使う

先日公開されたOpenAIのgpt-ossですが、大きい方（120b – 1200億パラメーター）の方は80GBのVRAMを持つGPUがないと動かせませんが、小さい方（20b – 200億パラメーター）の方は16GBのVRAMを搭載するGPUでも十分に実用的な速度で動きます。

gps-ossを使ってみたい人は、これを書いている時点ではLMStudioを使うのが一番良さそうです。

早速、LMStudioの最新版をダンロードして試しました。

LMStudioをダウンロードしてインストール、アプリケーションを起動したらgps-ossをダウンロードする。たったこれだけのステップで始められます。

Core i5 13500 + 64GB RAM (DDR4 3200Mhz) + RTX A4000 (16GB VRAM)という構成のPCで50〜60トークン/秒の応答速度が得られます。普通に使える速度です。12GB VRAMのGeForce RTX 3060でも試しましたが、十分に使用に耐える速度が出ていました。

A4000のようなプロフェッショナル用とされているGPUは長期連続運用や省電力に振った製品で、処理速度はそれほど高くありませんから、同価格帯のGeForce RTX 5070ti 16GB などを使用すればもっと快適に使えると思いますし、予算に余裕があればもう少しVRAMの大きなGPUを使えば、コンテクスト長を大きくするなどの調整ができるでしょう。

この時は、デフォルトの設定を少し修正し、コンテクスト長はほどほど（8000程度）にして、GPU Offloadは最大に設定しています。これで13〜14GBのVRAMが使われています。

私が試したローカル運用のLLMの中では最も精度の高い文章生成ができます。

手元のPCで時間や費用を気にせずに生成AIを使いたいという方にとって、LMStudioとgps-ossの組み合わせは一つの理想形ではないかと思います。

*この投稿を書いている平成7年8月9日時点では、Ollamaで量子化版gpt-ossは動きません。