前の投稿で触れたRustformersを使って生成AIサーバーを動かす実験をしました。これはRustで書かれたTransformerのライブラリです。
Rustformersは現時点では量子化されたモデルに対応していないようす。
CPUのコアをたくさん使って計算をしています。
量子化されたモデルに対応できれば使いみちはありそうですが、今の所選択肢には含められません。
フロントエンドはStreamlitを使ったWebアプリケーションですが、これはなかなか使いやすい印象です。ひとまずStreamlitを使ったプリケーション開発の勉強だけはしておこうと思います。様々な実験プログラムを作る時に便利に使えそうです。