Qwen3を動かしたり天体望遠鏡を覗いたり
中国製の大規模言語モデルQwen3が公開されたのでローカルPCのOllamaで動かしてみました。 30BのMoE (Mixture of Expert)を4ビット量子化したもの、14Bの4ビット量子化したもの、4Bの３つ … 続きを読む
LLM
最小限のRAGアプリケーション
初学者向けの最小限のプログラムを作りました。 PDFを読み込み、Qdrantベクターデータベースに埋め込みデータを保存、OllamaのLLMを使って、埋め込みデータを元に文章を生成する例です。 最小限とは言っても、200 … 続きを読む
最小限のAIチャットプログラム
OpenAI APIを使ってOllamaで文章生成する小さなAIチャットプログラムです。 パラパラと生成された文章をストリーミング出力する例で47行のプログラムです。ストリーミング出力しなければ、41行、チャット履歴が不 … 続きを読む
LLMを扱うために必要なGPUのVRAM
このサイトを見ればLLMのパラメーターに対して必要なGPUのVRAMの容量がわかります。 いずれモノづくり塾でも70B (700億)パラメーター程度のオープンソース（またはオープンウェイト）のLLMを実用したいと思ってい … 続きを読む
MCP（Model Context Protocol)
これ、流行りそうですね。 あまり技術的な飛躍はない印象ですが、新しい言葉が使われるとなんとなく凄そうに見えます。 マイクロWebサービスが盛んに作られるようになり、多くのサービスにREST APIが実装され、Webサービ … 続きを読む
AI検索エージェントらしきものの続き
武装。 武装というと仰々しい感じがしますが、私たち一般人に必要なのが「精神武装」「知識武装」「技術武装」です。モノづくり塾のやっていることが、この３つです。精神だけでも、知識だけでも、技術だけでもいけない。バランス良く武 … 続きを読む
AI検索エージェントらしきもの
早く目が醒めたので、YouTubeやらWebやらを調べて、Web検索する生成AIプログラムを書いてみました。 動画やWebページの解説を見てエージェントというのは「こうやればいいんだ」と少し理解を進められたように思います … 続きを読む
Reinsを使ってみる
ローカルでLLMを動かし、VS Codeやターミナルから文書生成を行えるようにしています。ターミナルを使う方法は、Neovimから離れずに文書生成できるのが快適です。それがVPNを経由してどこからでも実行できる。今日はi … 続きを読む
LLMを使ったサンプルプログラム
LLM（生成AIの大規模言語モデル）とRAG（Retrieval Augmented Generation）のStreamlit（Python用のWebアプリケーション開発フレームワーク）を使ったサンプルプログラムを見つ … 続きを読む
