大規模言語モデル

AIでコード生成するアプリケーションをサーバーにインストール

by

CTransformersとGradioを使ったCode Llamaを動かすアプリケーションをDocker対応しました。モノづくり塾のサーバーで動かしています。 プログラムはこんなに短くて簡単。 Dockerfileはこ … 続きを読む

DockerでLlamaCppPythonがクラッシュしていた問題を解決

by

以前、StreamlitでWeb UIを作りLlamaCppPythonを使って日本語言語モデルで文章生成するプログラムについての投稿をしましたが、モノづくり塾のサーバーで動かすためにDockerizeした際に原因不明の … 続きを読む

GPUを使わずに文書生成AIをやる方法を文書化

by

LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。 実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む

AIチャットのカスタマイズ

by

大したカスタマイズではありませんが、先日紹介したLLMを使ったAIチャットをカスタマイズしてZIKUU版にしました。 出力がストリーミングされない、文脈を忘れるといった問題がありますが、ファインチューニングをすれば結構使 … 続きを読む

大規模言語モデル（LLM）をモノづくり塾で扱う

by

以前の投稿でRinna社の36億パラメーターのLLMのファインチューニングを手元のPCで行いました。ネット検索をしてみるとわかりますが、老若男女大勢の人がLLMを動かして研究したり遊んだりしています。 大手AI企業のLL … 続きを読む

大規模言語モデルの追加学習（チューニング）の結果

by

ChatGPTなどと比べると何桁も規模の小さなRinna社の言語モデル（36億パラメーターのもの）は日本語の前提として作られたものです。それに2000件程度のデータセットを使ってチューニングしてみました。 GPUはRTX … 続きを読む