大規模言語モデルの追加学習（チューニング）の結果
ChatGPTなどと比べると何桁も規模の小さなRinna社の言語モデル（36億パラメーターのもの）は日本語の前提として作られたものです。それに2000件程度のデータセットを使ってチューニングしてみました。 GPUはRTX … 続きを読む
AI
再度大規模言語モデルについて
昨日から動かしている大規模言語モデルの追加学習。基本的な学習が済んだモデル（Pretrained Model）のファインチューニングと呼ばれる作業です。 たったの2000件のデータセット、サイズにして17.1MBのテキス … 続きを読む
大規模言語モデルの学習
大規模言語モデル(LLM)の学習中。 VRAM12GBのGPUでやれる程度のそんなに大きくないやつ。 学習するデータはこんな格好をしたものがズラーと並んだテキストです。 { “output”: & … 続きを読む