RAG用のデータの効果を見る
昨日行ったQdrantに登録したデータの効果を見るべく、簡単な推論コードを書いて試験しました。 「ZIKUUとは?」と「ZIKUUの運営方針を教えてください」という2つの質問に対してどう答えるかを試した様子です。 言語モ … 続きを読む
昨日行ったQdrantに登録したデータの効果を見るべく、簡単な推論コードを書いて試験しました。 「ZIKUUとは?」と「ZIKUUの運営方針を教えてください」という2つの質問に対してどう答えるかを試した様子です。 言語モ … 続きを読む
OpenAIのChatGPTのオープンソース版が公開されました。 生成AIの言語モデルに関して、オープンソースの定義があったような記憶があるのですが、そこでは確か、「学習コード、ウェイト、データセットがオープンであること … 続きを読む
上の画像はOllamaとOpen WebUIを使ってRAGシステムを実現した様子です。 ベクターデータベース(ナレッジ)にはこのブログのすべての記事からテキストを抽出したデータとモノづくり塾の所在地や私のプロフィールなど … 続きを読む
Ollama、Qdrant、n8nの組み合わせで簡単なRAGアプリケーションを作ってみました。 初めての使用だったので調べながら作業して1時間くらいかかったと思います。ノーコードツールですので、非プログラマーの方でも十分 … 続きを読む
OpenAI APIを使ってOllamaで文章生成する小さなAIチャットプログラムです。 パラパラと生成された文章をストリーミング出力する例で47行のプログラムです。ストリーミング出力しなければ、41行、チャット履歴が不 … 続きを読む
武装。 武装というと仰々しい感じがしますが、私たち一般人に必要なのが「精神武装」「知識武装」「技術武装」です。モノづくり塾のやっていることが、この3つです。精神だけでも、知識だけでも、技術だけでもいけない。バランス良く武 … 続きを読む
早く目が醒めたので、YouTubeやらWebやらを調べて、Web検索する生成AIプログラムを書いてみました。 動画やWebページの解説を見てエージェントというのは「こうやればいいんだ」と少し理解を進められたように思います … 続きを読む
今日は塾に来て昨日の続きをやっています。 昨日は自宅でGPU非搭載のCore i7 8550(ノートPC)でやっていたので、お茶を沸かす時間があるほど遅かったので、今日はGPU搭載機で。 コンピューターはIntel Co … 続きを読む
やり方はここに書いてあります。 大まかな手順です。 ComfyUIでワークフローを作る ComfyUIでワークフローを作ります。これはデフォルトのワークフローのままでも動くので、ComfyUIに詳しくなくても大丈夫です。 … 続きを読む
左はRTX A4000搭載のCore i5 13500でGemma 2 9Bモデルを使用、右はCore i5 13400でGemma2 9Bの4bit量子化モデルを使用。 GPU有りの場合が16秒、GPU無しの場合が1分 … 続きを読む