研究や勉強は遊びだと思ってやるのが楽しい！
実際に研究をやっている人は楽しいはずですから、遊びだと思わなくても楽しいでしょう。
生成AI遊びです。
ELYZAの70億パラメータの言語モデルをGradioでチャットボットを作りました。
ソースコードはGitHubに載せていますが、まだ完成したものではないのでこのまま使わないほうが良いです。
最終的にはDockerで簡単に導入できるようにします。
現状では10GBほどのGPUメモリーを使うので、最低でもRTX3060などの12G以上のメモリーを搭載したPCでなければ動きません。
現時点の塾のアプリケーションサーバーは外部GPUが載っていないPCなのですが、いずれ16GB程度のメモリが載ったGPUを取り付けてGPUサーバーとしても利用できるようにしたいと思っています。