７日目は記事にするのを忘れました。
ハイパーパラメーターを調整しながら、自作LLMの学習をいろいろと試しています。学習を開始すると、数時間から数日間、プログラムが走りっぱなしになるので、他の事をする余裕があります。
日付: 2024年11月5日Author: kazz122110 コメント— 編集
７日目は記事にするのを忘れました。
ハイパーパラメーターを調整しながら、自作LLMの学習をいろいろと試しています。学習を開始すると、数時間から数日間、プログラムが走りっぱなしになるので、他の事をする余裕があります。
実用性はひとまず置いておいて、LLMのを理解するのが目的なら、小さなモデルを作るだけで十分ですので、高価なGPUがなくても勉強できます。100万パラメーターくらいのモデルなら6GBや8GBのVRAMを持つローエンドGPUがあれば余裕でやれますし、速いと評判のM3/M4 Macなども有力な候補環境です。
午前中に近所のホームセンターに行き、セメント150kg、砂や砂利240kgの約400kgを買ってきました。普通車で無理せずに運べるのはだいたいこれくらいかな。
手積み手下ろし手こねですので、割と身体に負担がかかります。今日は腰が痛いです。
床面積4.5m x 2.6m程度ですが、この量だと全面に流し込むには至りません。
あと２回くらいやる必要があります。