ローカルLLMのすすめ
プログラミング経験のある方の場合は別のオススメがありますが、非プログラマーの方におすすめしたいのがLM Studioです。GPUを搭載のWindows PCやLinux PC、Appleシリコン搭載のMacで利用できます … 続きを読む
大規模言語モデル
マザーボードのBIOS更新
モノづくり塾のAI勉強機のマザーボードBIOSを更新しました。 これは騒動になった13世代14世代Intelプロセッサーが壊れる問題の対策です。Intel社が公表している対象プロセッサーには該当していないCore i5 … 続きを読む
LLMの学習をしていて気づいたこと〜GPUのPCIeインターフェース
上の画像は先日小規模なLLMの学習をしている最中のGPUの状態をnvtopコマンドを実行して監視していたときのスクリーンショットです。 パラメーター数１００万程度の小さなLLMですので、GPUの使用率は元々高くなく、VR … 続きを読む
LLMと遊ぶ昼下がり
小規模なトランスフォーマーを使った言語モデルを作って遊んで（勉強して）います。 学習を重ねる過程で少しずつ賢くなっていくのを見ているのが面白い。 ローカルでLLMを学習させるのに必要なGPUメモリーがこのページに載ってい … 続きを読む
言語モデルを作る続き
今日はあまり進みが良くありませんした。こういうのは辛抱強く淡々とやるしかありません。 ChatGPTのようなTransformerベースの言語モデルをスクラッチから作っているわけですが、知らないことに遭遇したときに、以前 … 続きを読む
Jupyter Notebookの準備ができたので次に進みます
昨日の記事「GPUを使用するJupyter NotebookをDockerでデプロイする」でGPUを使うJupyter Notebookの準備ができたので、早速、久しぶりにプログラマーらしいことをやってみます。とりあえず … 続きを読む
Fooocusが面白い
画像生成AIのStable DiffusionのUIをシンプルにしたFooocusがなかなかお手軽で面白かったです。先日の非プログラマー向け自作PCワークショップでPinokioをインストールしてからStable Dif … 続きを読む
NVIDIA GPUの稼働状況を監視する方法
先日の自作PCワークショップでは非プログラマー向けに生成AI環境を構築して動かしました。その際に、GPUの稼働状況を監視するために以下のコマンドを使いました。 これは1秒おきにnvidia-simを実行する、というコマン … 続きを読む
自作PCワークショップ
今日はモノづくり塾で自作PCワークショップをやりました。 AMD Ryzen 5とGeForce RTX 4070の繰り合わせでPCを組み、Linuxをインストールしてから、オープンソースの生成AI実行環境をインストール … 続きを読む