LLMの学習をしていて気づいたこと〜GPUのPCIeインターフェース
上の画像は先日小規模なLLMの学習をしている最中のGPUの状態をnvtopコマンドを実行して監視していたときのスクリーンショットです。 パラメーター数100万程度の小さなLLMですので、GPUの使用率は元々高くなく、VR … 続きを読む
上の画像は先日小規模なLLMの学習をしている最中のGPUの状態をnvtopコマンドを実行して監視していたときのスクリーンショットです。 パラメーター数100万程度の小さなLLMですので、GPUの使用率は元々高くなく、VR … 続きを読む
もしかすると仕事が無くなった方が良いかもしれない? 自分の仕事がなくなるように努力しよう! そういう思考実験をしています。 現在の自分の仕事を人(主に若い人)に譲る、あるいは自分がやらなくても済むようにするという実験をし … 続きを読む
小規模なトランスフォーマーを使った言語モデルを作って遊んで(勉強して)います。 学習を重ねる過程で少しずつ賢くなっていくのを見ているのが面白い。 ローカルでLLMを学習させるのに必要なGPUメモリーがこのページに載ってい … 続きを読む
午前中に資材を仕入れて行き、土木作業を終わらせました。 今日は助っ人がいたので少し体が楽でした。 建屋の基礎と同じ高さに、車庫の柱が立つ部分のコンクリートを流し込みが終了です。 次は床部分を平面に均す作業をします。