今日の文書化〜StreamlitアプリをDockerizeするチュートリアル
モノづくり塾の資料館に新たな文書を登録しました。「Streamlitで開発したアプリケーションをDockerizeして配布する」という内容のものです。プロジェクトのソースコードは塾のGitLabに登録しておきました。 小 … 続きを読む
Python
GPUを使わない生成AIの続き
前の投稿は生成された文章をコンソールにストリーミング出力するものでしたがStreamlitを使ったWeb UIを作ってみました。 CallbackHandlerというクラスを使ってやればできるということがわかって良かった … 続きを読む
GPUを使わずに文書生成AIをやる方法を文書化
LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。 実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む
Streamlitチュートリアルを書く
StreamlitはPythonでWebアプリケーションを開発するときに使用するフレームワークの一つです。 Pythonは研究や教育の現場使われることが多いプログラミング言語ということもあってか、研究や教育の本質的なテー … 続きを読む
Rustformersはいまひとつ
前の投稿で触れたRustformersを使って生成AIサーバーを動かす実験をしました。これはRustで書かれたTransformerのライブラリです。 Rustformersは現時点では量子化されたモデルに対応していない … 続きを読む
誰でも自宅でAIを勉強できるように
モノづくり塾でAIの学習をするために、ある程度は学習者の敷居を下げたいと思います。 塾に学習用のコンピューターを置きますが、これだって高価なGPUを搭載するわけにもいかず制限があります。塾のサーバーにもGPUを載せようと … 続きを読む
GPUを使わないAI遊び
先日はGPUを使う文書生成AIのチャットボットを作ってみましたが、今度はGPUを使わないCPUのみで文書を生成するプログラムのサンプルを書きました。遊びのレベルですが勉強にもなります。 LlamaCppというCとC++で … 続きを読む