大規模言語モデル(LLM)の学習中。
VRAM12GBのGPUでやれる程度のそんなに大きくないやつ。
学習するデータはこんな格好をしたものがズラーと並んだテキストです。
{
“output”: “xxxxx”,
“category”: “xxxxx”,
“instruction”: “xxxxx”,
“index”: “xxx”,
“input”: “xxxx”
}
モデルはRinnaという会社がオープンソースで公開しているもの日本語を扱うことを重視したものです。今やっている作業はこれに知識を追加する作業です。
モノづくり塾ではAIの仕組みの理解と有効な利用を勉強する機会と設備を提供します。
我々がモノづくり塾で行う人間の学習内容をコンピューターにも学習させれば、ZIKUU AIが誕生するかもしれませんね。
これからオープンソースの大規模言語モデルがたくさん出てきます。それを有効に扱える知識や技術を持てば企業や共同体のそれぞれが使用するAIシステムを構築できるようになります。ZIKUUで学んだ若者がそういう領域で活躍できるかもしれません。