ZIKUUのLLMへの取り組み
モノづくり塾『ZIKUU』ではAI活用に必要な知識や技術を身につけるために小規模ではあるもののAI学習用のPCを用意します。限られた計算資源ですが時間や費用を気にせずに好きなだけ勉強できます。 すぐに思い付くものでLLM … 続きを読む
LLM
AI学習用コンピューターの動作確認
NVIDIA RTX A4000の動作確認をしたくて、Stable DiffusionのWeb UIとtext-generation-webuiをインストールし、いくつかのモデルをダウンロードして動かしてみました。 ハイ … 続きを読む
モノづくり塾のAI学習環境
機材がすべて揃ったので組み立て、ソフトウェアのインストール等を行いました。 モノづくり塾では3D CADやソフトウェア開発もモノづくりの一部として学習テーマにしています。過去から未来にかけて、伝統工芸からハイテクまでバラ … 続きを読む
コード生成AIのデモ
モノづくり塾のサーバーで稼働しているCode Llamaベースのコード生成AIアプリケーションを動かした様子を動画にしました。 動画の内容は、 塾のダッシュボードからコード生成AIアプリケーションを開く コード生成を依頼 … 続きを読む
日本語版コード生成AI用の言語モデル
ELYZA社さんがCode Llamaを日本語で追加学習したモデルを公開されたので早速モノづくり塾のサーバーで稼働しているコード生成AIをこれを使ったもので置き換えました。 この分野は動きが速くて、公開が発表されたと思っ … 続きを読む
AIでコード生成するアプリケーションをサーバーにインストール
CTransformersとGradioを使ったCode Llamaを動かすアプリケーションをDocker対応しました。モノづくり塾のサーバーで動かしています。 プログラムはこんなに短くて簡単。 Dockerfileはこ … 続きを読む
DockerでLlamaCppPythonがクラッシュしていた問題を解決
以前、StreamlitでWeb UIを作りLlamaCppPythonを使って日本語言語モデルで文章生成するプログラムについての投稿をしましたが、モノづくり塾のサーバーで動かすためにDockerizeした際に原因不明の … 続きを読む
AIでプログラムを生成する
Meta社が開発したLlamaという言語モデルをプログラムコードの生成や検査に使えるように改良されたCode Llamaを使ってみました。すでにChatGPTを組み込んで開発者の作業を支援する機能を持ったソフトウェア開発 … 続きを読む
GPUを使わない生成AIの続き
前の投稿は生成された文章をコンソールにストリーミング出力するものでしたがStreamlitを使ったWeb UIを作ってみました。 CallbackHandlerというクラスを使ってやればできるということがわかって良かった … 続きを読む
GPUを使わずに文書生成AIをやる方法を文書化
LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。 実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む