大規模言語モデル

データセットを作るコードの修正版

by

前回はこのブログの記事をすべて取得するプログラムと取得した記事からデータセットを作成するプログラムが別でしたが、それらを１つのプログラムにまとめたのが以下です。 近々、小さめのLLMでファインチューニングをしてみようと思 … 続きを読む

塾長AI

by

自分の工房のブログやこのブログも含めて、私のモノづくりの歴史はほぼ完全に記録されています。これらの記録には、私ならではの視点や思考も含まれています。いずれ、これらをAIに学習させ、私の代わりに文章を生成して会話ができるよ … 続きを読む

最小限のAIチャットプログラム

by

OpenAI APIを使ってOllamaで文章生成する小さなAIチャットプログラムです。 パラパラと生成された文章をストリーミング出力する例で47行のプログラムです。ストリーミング出力しなければ、41行、チャット履歴が不 … 続きを読む

LLMを扱うために必要なGPUのVRAM

by

このサイトを見ればLLMのパラメーターに対して必要なGPUのVRAMの容量がわかります。 いずれモノづくり塾でも70B (700億)パラメーター程度のオープンソース（またはオープンウェイト）のLLMを実用したいと思ってい … 続きを読む

AI検索エージェントらしきもの

by

早く目が醒めたので、YouTubeやらWebやらを調べて、Web検索する生成AIプログラムを書いてみました。 動画やWebページの解説を見てエージェントというのは「こうやればいいんだ」と少し理解を進められたように思います … 続きを読む

ことば〜コトのハ

by

人に伝えたいことがたくさんあるので、話し始めるとしゃべりまくってしまう欠点が私にはありますが、なかなか欠点は治りません。話も上手くないし。 ことば＝言葉は「コト」の「葉」です。コトから生える葉っぱ。作り手として、モノづく … 続きを読む

生成AIを使った仕事環境を作りましょう

by

モノづくり塾では多様なモノづくりの経験ができるようにしていますが、ほぼ一人で切り盛りしようと思うと、私の能力を超えてしまいます。なので、効率化できる部分は効率化して、どうしても時間のかかる作業はじっくりやるようにしていま … 続きを読む

オープンソースLLMが大きな進歩をするか？！

by

オープンソースが大好きなモノづくり塾には朗報です。 生成AI界隈で話題沸騰しているDeepseek R1。Deepseekは米国から高性能GPUの輸出を規制されたチャイナで開発されました。計算資源としてのGPUが少なくて … 続きを読む