独り言

ZIKUUのオススメのまとめ

by

これまでに何度かZIKUUがおすすめするものを書きましたが、ここで一旦まとめておきます。 ローカルLLM 手元で生成AIを走らせていつでも使える状態になっていると良いと思います。使い方次第で実用できる分野があります。非プ … 続きを読む

土木作業８日目

by

７日目は記事にするのを忘れました。 ハイパーパラメーターを調整しながら、自作LLMの学習をいろいろと試しています。学習を開始すると、数時間から数日間、プログラムが走りっぱなしになるので、他の事をする余裕があります。 日付 … 続きを読む

マザーボードのBIOS更新

by

モノづくり塾のAI勉強機のマザーボードBIOSを更新しました。 これは騒動になった13世代14世代Intelプロセッサーが壊れる問題の対策です。Intel社が公表している対象プロセッサーには該当していないCore i5 … 続きを読む

新幹線とパチンコ

by

新幹線とパチンコの関係は、人間が昼間に働いて夜に眠るのということと良く似ています。 意識がある状態は、秩序を作ろうとする状態です。待ち合わせの時間に間に合うように道順を考え家を出る時間を決めるとか、納期に間に合わせるため … 続きを読む

LLMの学習をしていて気づいたこと〜GPUのPCIeインターフェース

by

上の画像は先日小規模なLLMの学習をしている最中のGPUの状態をnvtopコマンドを実行して監視していたときのスクリーンショットです。 パラメーター数１００万程度の小さなLLMですので、GPUの使用率は元々高くなく、VR … 続きを読む

カレーの会

by

モノづくり塾でやりました。今回のメンバーは上野原と奥多摩の中間あたりにある小菅村で林業やマウンテンバイクのトレールコース整備をやっている方々。 昼過ぎからカレーの仕込みを開始し、夕方６時半頃から食べ始めました。 バンドを … 続きを読む

LLMと遊ぶ昼下がり

by

小規模なトランスフォーマーを使った言語モデルを作って遊んで（勉強して）います。 学習を重ねる過程で少しずつ賢くなっていくのを見ているのが面白い。 ローカルでLLMを学習させるのに必要なGPUメモリーがこのページに載ってい … 続きを読む