大規模言語モデル

AI時代の失業問題

by

最近、海外の大手IT企業が大規模な人員削減を行ったという報道がありましたが、どうやらこれはAI活用を前提とした人員整理だったようです。 私はローカルLLMに関心があり、できるだけ手元でLLMを動かしながら日々研究していま … 続きを読む

知識蓄積・共有の研究〜その１ LLMファインチューニングの試み

by

先日、このブログをクローリングして投稿を機械学習用のデータセットに変換するプログラムを書きました。今回はその続きで、そのデータセットを使った既存の学習済言語モデル（Pretreined Language Model）をL … 続きを読む

知識の蓄積と共有について研究する

by

モノづくり塾での活動から知識を蓄積して公開する方法を研究しています。例えば、 というようなことを漠然と考えています。 このブログのように日々の活動や思考を記録をしているのは、３の知識集積を意識していますが、塾生も含めた全 … 続きを読む

n8nで簡単なAIワークフローを作ってみる

by

Ollama、Qdrant、n8nの組み合わせで簡単なRAGアプリケーションを作ってみました。 初めての使用だったので調べながら作業して１時間くらいかかったと思います。ノーコードツールですので、非プログラマーの方でも十分 … 続きを読む

データセットを作るコードの修正版

by

前回はこのブログの記事をすべて取得するプログラムと取得した記事からデータセットを作成するプログラムが別でしたが、それらを１つのプログラムにまとめたのが以下です。 近々、小さめのLLMでファインチューニングをしてみようと思 … 続きを読む

塾長AI

by

自分の工房のブログやこのブログも含めて、私のモノづくりの歴史はほぼ完全に記録されています。これらの記録には、私ならではの視点や思考も含まれています。いずれ、これらをAIに学習させ、私の代わりに文章を生成して会話ができるよ … 続きを読む

最小限のAIチャットプログラム

by

OpenAI APIを使ってOllamaで文章生成する小さなAIチャットプログラムです。 パラパラと生成された文章をストリーミング出力する例で47行のプログラムです。ストリーミング出力しなければ、41行、チャット履歴が不 … 続きを読む

LLMを扱うために必要なGPUのVRAM

by

このサイトを見ればLLMのパラメーターに対して必要なGPUのVRAMの容量がわかります。 いずれモノづくり塾でも70B (700億)パラメーター程度のオープンソース（またはオープンウェイト）のLLMを実用したいと思ってい … 続きを読む

AI検索エージェントらしきもの

by

早く目が醒めたので、YouTubeやらWebやらを調べて、Web検索する生成AIプログラムを書いてみました。 動画やWebページの解説を見てエージェントというのは「こうやればいいんだ」と少し理解を進められたように思います … 続きを読む