LLMの学習をしていて気づいたこと〜GPUのPCIeインターフェース

上の画像は先日小規模なLLMの学習をしている最中のGPUの状態をnvtopコマンドを実行して監視していたときのスクリーンショットです。 パラメーター数100万程度の小さなLLMですので、GPUの使用率は元々高くなく、VR … 続きを読む

カレーの会

モノづくり塾でやりました。今回のメンバーは上野原と奥多摩の中間あたりにある小菅村で林業やマウンテンバイクのトレールコース整備をやっている方々。 昼過ぎからカレーの仕込みを開始し、夕方6時半頃から食べ始めました。 バンドを … 続きを読む

LLMと遊ぶ昼下がり

小規模なトランスフォーマーを使った言語モデルを作って遊んで(勉強して)います。 学習を重ねる過程で少しずつ賢くなっていくのを見ているのが面白い。 ローカルでLLMを学習させるのに必要なGPUメモリーがこのページに載ってい … 続きを読む

土木作業6日目

整地して踏み固めた後、砂利を敷き金網を借り置きました。 下の写真が作業を始めたときのものです。労力の割にあまり変わり映えしないのが微妙な気分にさせてくれます。 次回はしっかりとした枠を作ってここにコンクリートを流し込みま … 続きを読む

言葉〜コトバ

言葉はコトの葉。行動や現象から生える葉っぱのことです。 モノづくり塾スタッフが心がけているのは、言葉は行動から生まれることを意識することです。言葉だけで商いをする行為は慎むようにしているので、講演や執筆によって利益を得る … 続きを読む

土木作業4日目

雨が降ったり止んだりで、なかなか続けて作業ができませんが、考えながらやっているので、雨で中断するのも悪くない。 この日は、砂と砂利が足りなくなり、最後までやれませんでした。 続きは土曜日にやります。 手押し車的なものがな … 続きを読む

ノートPCの余生

2つ前の投稿でLinux搭載のノートPCのことをかきました。Windows 11が対応しない少し古いノートPCは、Linuxをインストールして延命するのが普通です。確か第8世代インテルCPU以降がWindows 11対応 … 続きを読む

土木作業3日目

昨日に引き続き車庫の土木工事です。 朝早く起きて、雨が降る前になんとかコンクリート型枠を設置できました。 鋸ガイドを作ったり。 微調整を繰り返し、建屋壁面に並行、建屋の基礎と同じ高さにしました。 10時頃には雨が落ちてき … 続きを読む