大規模言語モデル

AIチャットのカスタマイズ

by

大したカスタマイズではありませんが、先日紹介したLLMを使ったAIチャットをカスタマイズしてZIKUU版にしました。 出力がストリーミングされない、文脈を忘れるといった問題がありますが、ファインチューニングをすれば結構使 … 続きを読む

大規模言語モデル（LLM）をモノづくり塾で扱う

by

以前の投稿でRinna社の36億パラメーターのLLMのファインチューニングを手元のPCで行いました。ネット検索をしてみるとわかりますが、老若男女大勢の人がLLMを動かして研究したり遊んだりしています。 大手AI企業のLL … 続きを読む

大規模言語モデルの追加学習（チューニング）の結果

by

ChatGPTなどと比べると何桁も規模の小さなRinna社の言語モデル（36億パラメーターのもの）は日本語の前提として作られたものです。それに2000件程度のデータセットを使ってチューニングしてみました。 GPUはRTX … 続きを読む