AIでコード生成するアプリケーションをサーバーにインストール
CTransformersとGradioを使ったCode Llamaを動かすアプリケーションをDocker対応しました。モノづくり塾のサーバーで動かしています。 プログラムはこんなに短くて簡単。 Dockerfileはこ … 続きを読む
独り言
DockerでLlamaCppPythonがクラッシュしていた問題を解決
以前、StreamlitでWeb UIを作りLlamaCppPythonを使って日本語言語モデルで文章生成するプログラムについての投稿をしましたが、モノづくり塾のサーバーで動かすためにDockerizeした際に原因不明の … 続きを読む
AIでプログラムを生成する
Meta社が開発したLlamaという言語モデルをプログラムコードの生成や検査に使えるように改良されたCode Llamaを使ってみました。すでにChatGPTを組み込んで開発者の作業を支援する機能を持ったソフトウェア開発 … 続きを読む
作り直しのシートポスト
先月末に完成した立ち木を伐採し製材と自然乾燥を行ってから作った木製ロードバイクです。これは林業の下流、製材業、製造業という３つの業を合わせた「合業」で以前から提唱していた考えです。仕事が面白いと感じる機会を作り、サプライ … 続きを読む
今日の文書化〜StreamlitアプリをDockerizeするチュートリアル
モノづくり塾の資料館に新たな文書を登録しました。「Streamlitで開発したアプリケーションをDockerizeして配布する」という内容のものです。プロジェクトのソースコードは塾のGitLabに登録しておきました。 小 … 続きを読む
GPUを使わない生成AIの続き
前の投稿は生成された文章をコンソールにストリーミング出力するものでしたがStreamlitを使ったWeb UIを作ってみました。 CallbackHandlerというクラスを使ってやればできるということがわかって良かった … 続きを読む
GPUを使わずに文書生成AIをやる方法を文書化
LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。 実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む
Streamlitチュートリアルを書く
StreamlitはPythonでWebアプリケーションを開発するときに使用するフレームワークの一つです。 Pythonは研究や教育の現場使われることが多いプログラミング言語ということもあってか、研究や教育の本質的なテー … 続きを読む
Rustformersはいまひとつ
前の投稿で触れたRustformersを使って生成AIサーバーを動かす実験をしました。これはRustで書かれたTransformerのライブラリです。 Rustformersは現時点では量子化されたモデルに対応していない … 続きを読む
誰でも自宅でAIを勉強できるように
モノづくり塾でAIの学習をするために、ある程度は学習者の敷居を下げたいと思います。 塾に学習用のコンピューターを置きますが、これだって高価なGPUを搭載するわけにもいかず制限があります。塾のサーバーにもGPUを載せようと … 続きを読む