LLM

GPUを使わずに文書生成AIをやる方法を文書化

by

LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。 実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む

GPUを使わないAI遊び

by

先日はGPUを使う文書生成AIのチャットボットを作ってみましたが、今度はGPUを使わないCPUのみで文書を生成するプログラムのサンプルを書きました。遊びのレベルですが勉強にもなります。 LlamaCppというCとC++で … 続きを読む

生成AI遊び

by

研究や勉強は遊びだと思ってやるのが楽しい！ 実際に研究をやっている人は楽しいはずですから、遊びだと思わなくても楽しいでしょう。 生成AI遊びです。 ELYZAの70億パラメータの言語モデルをGradioでチャットボットを … 続きを読む

AIチャットのカスタマイズ

by

大したカスタマイズではありませんが、先日紹介したLLMを使ったAIチャットをカスタマイズしてZIKUU版にしました。 出力がストリーミングされない、文脈を忘れるといった問題がありますが、ファインチューニングをすれば結構使 … 続きを読む

大規模言語モデル（LLM）をモノづくり塾で扱う

by

以前の投稿でRinna社の36億パラメーターのLLMのファインチューニングを手元のPCで行いました。ネット検索をしてみるとわかりますが、老若男女大勢の人がLLMを動かして研究したり遊んだりしています。 大手AI企業のLL … 続きを読む