Rustformersはいまひとつ
前の投稿で触れたRustformersを使って生成AIサーバーを動かす実験をしました。これはRustで書かれたTransformerのライブラリです。 Rustformersは現時点では量子化されたモデルに対応していない … 続きを読む
Python
誰でも自宅でAIを勉強できるように
モノづくり塾でAIの学習をするために、ある程度は学習者の敷居を下げたいと思います。 塾に学習用のコンピューターを置きますが、これだって高価なGPUを搭載するわけにもいかず制限があります。塾のサーバーにもGPUを載せようと … 続きを読む
GPUを使わないAI遊び
先日はGPUを使う文書生成AIのチャットボットを作ってみましたが、今度はGPUを使わないCPUのみで文書を生成するプログラムのサンプルを書きました。遊びのレベルですが勉強にもなります。 LlamaCppというCとC++で … 続きを読む