大規模言語モデル

Discordの生成AIボット

by

先日触れたDiscord用の生成AIボットの内容です。コードがなるべく最小限になるように作ってみました。 使用したPythonライラリーです。以下の内容をrequirements.txtに記述しpip install – … 続きを読む

大規模言語モデルを扱うプログラム

by

モノづくり塾は何かを新たに学ぶ動機付けや始める際の敷居を下げることを重視して運営しています。現在用意している５つの体験教室もその流れで考えたものです。 今回は、手元のPCで動く大規模言語モデルを利用した文書生成Webアプ … 続きを読む

生成AIチャットボットをDiscordに追加

by

モノづくり塾のDiscordコミュニティーにローカルLLMを使った文書生成ボットを追加してみました。まだ試験運用中で多少問題があります。ある程度、しっかり動くようになったら作成方法等をまとめて書きます。 まだコミュニティ … 続きを読む

いつでもどこで文書生成AI

by

やりたいと思うことをネットで探すと誰かが既にやっているということが多いです。 ZIKUUではアプリケーションサーバー（Core i5 13400搭載、外部GPU非搭載）でDockerを活用し、Ollamaを動作させていま … 続きを読む

生成AIをコマンドラインから利用する便利なソフト

by

たまたま見つけたオープンソースのソフトウエアで、コマンドラインからOllamaにアクセスして文書生成を行うプログラムです。 Ask-Ollama Rustで書かれたプログラムで、RustがインストールされたPCで使用でき … 続きを読む

土木作業８日目

by

７日目は記事にするのを忘れました。 ハイパーパラメーターを調整しながら、自作LLMの学習をいろいろと試しています。学習を開始すると、数時間から数日間、プログラムが走りっぱなしになるので、他の事をする余裕があります。 日付 … 続きを読む

マザーボードのBIOS更新

by

モノづくり塾のAI勉強機のマザーボードBIOSを更新しました。 これは騒動になった13世代14世代Intelプロセッサーが壊れる問題の対策です。Intel社が公表している対象プロセッサーには該当していないCore i5 … 続きを読む

LLMの学習をしていて気づいたこと〜GPUのPCIeインターフェース

by

上の画像は先日小規模なLLMの学習をしている最中のGPUの状態をnvtopコマンドを実行して監視していたときのスクリーンショットです。 パラメーター数１００万程度の小さなLLMですので、GPUの使用率は元々高くなく、VR … 続きを読む