GPUを使わない生成AIの続き
前の投稿は生成された文章をコンソールにストリーミング出力するものでしたがStreamlitを使ったWeb UIを作ってみました。 CallbackHandlerというクラスを使ってやればできるということがわかって良かった … 続きを読む
AI
GPUを使わずに文書生成AIをやる方法を文書化
LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。 実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む
Rustformersはいまひとつ
前の投稿で触れたRustformersを使って生成AIサーバーを動かす実験をしました。これはRustで書かれたTransformerのライブラリです。 Rustformersは現時点では量子化されたモデルに対応していない … 続きを読む
誰でも自宅でAIを勉強できるように
モノづくり塾でAIの学習をするために、ある程度は学習者の敷居を下げたいと思います。 塾に学習用のコンピューターを置きますが、これだって高価なGPUを搭載するわけにもいかず制限があります。塾のサーバーにもGPUを載せようと … 続きを読む
GPUを使わないAI遊び
先日はGPUを使う文書生成AIのチャットボットを作ってみましたが、今度はGPUを使わないCPUのみで文書を生成するプログラムのサンプルを書きました。遊びのレベルですが勉強にもなります。 LlamaCppというCとC++で … 続きを読む
生成AIを勉強したい方へ
これから生成AIを勉強したい方は次のようなPCを自作すると良いでしょう。 CPU CPUはIntel Core i5以上のもの。後々のことを考えるとなるべく最新モデルを選択しましょう。モノづくり塾のPCはCore i5 … 続きを読む