先日はGPUを使う文書生成AIのチャットボットを作ってみましたが、今度はGPUを使わないCPUのみで文書を生成するプログラムのサンプルを書きました。遊びのレベルですが勉強にもなります。
LlamaCppというCとC++で書かれたプログラムをPythonから使えるようにしたllama-cpp-pythonというモジュールを使っています。モノづくり塾のサーバーで試験的に動かしているものも、このllama-cpp-pythonを使っています。
機械学習をやるにはGPUが必要になってきますが、学習した言語モデルを動かす程度ならばGPUがなくてもやれます。
自分のノートPCがそれほど高速なものでなくて動きます。（とても遅いですがRaspberry Pi 4でも動くくらいです）
オープンソースの世界では世界中の技術者や趣味人がソフトウェアを育てていきます。その恩恵を受けるのも受けないのも我々次第なのです。