コード生成AIのデモ
モノづくり塾のサーバーで稼働しているCode Llamaベースのコード生成AIアプリケーションを動かした様子を動画にしました。 動画の内容は、 塾のダッシュボードからコード生成AIアプリケーションを開く コード生成を依頼 … 続きを読む
ELYZA
GPUを使わない生成AIの続き
前の投稿は生成された文章をコンソールにストリーミング出力するものでしたがStreamlitを使ったWeb UIを作ってみました。 CallbackHandlerというクラスを使ってやればできるということがわかって良かった … 続きを読む
GPUを使わずに文書生成AIをやる方法を文書化
LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。 実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む