大規模言語モデル（LLM）をモノづくり塾で扱う
以前の投稿でRinna社の36億パラメーターのLLMのファインチューニングを手元のPCで行いました。ネット検索をしてみるとわかりますが、老若男女大勢の人がLLMを動かして研究したり遊んだりしています。 大手AI企業のLL … 続きを読む
LLM
大規模言語モデルの学習
大規模言語モデル(LLM)の学習中。 VRAM12GBのGPUでやれる程度のそんなに大きくないやつ。 学習するデータはこんな格好をしたものがズラーと並んだテキストです。 { “output”: & … 続きを読む