GPUの有無による文書生成速度の違い
左はRTX A4000搭載のCore i5 13500でGemma 2 9Bモデルを使用、右はCore i5 13400でGemma2 9Bの4bit量子化モデルを使用。 GPU有りの場合が16秒、GPU無しの場合が1分 … 続きを読む
左はRTX A4000搭載のCore i5 13500でGemma 2 9Bモデルを使用、右はCore i5 13400でGemma2 9Bの4bit量子化モデルを使用。 GPU有りの場合が16秒、GPU無しの場合が1分 … 続きを読む
先日投稿した「Dify APIを使ってみる」で紹介したNodeJSを使ったアプリケーションの続きです。 まずは実行中の様子。VS Codium上でThunderClientという拡張機能からHTTPリクエストを送信してい … 続きを読む
今日は早めに自宅を出てモノづくり塾まで来ました。台風の影響なのか、道路が空いていて快適なドライブになりました。大船の自宅から上野原のモノづくり塾までは、藤沢、茅ヶ崎、厚木あたりの市街地を抜けてしまえば山道ばかりです。バイ … 続きを読む
今日は朝からモノづくり塾でロードバイクのエンド金具作りです。 これから組み立て治具を作ったりと、準備に少し時間がかかりますが、そろそろ木製ロードバイクの生産体制を作ろうと思います。 ぼちぼち天体望遠鏡の部品が届き始めてい … 続きを読む
モノづくり塾のGPU搭載PCで試しました。 PCのスペックはCPU Core i5 13500、RAM 64GB、GPU RTX A4000です。OSはUbuntu 22.04 LTS。 塾生がAIの勉強ができるようにと … 続きを読む
先日、Ollamaを動かした話を投稿しましたが、その続きとしてローカルで動いているOllamaをDifyから使ってみました。 DifyとOllamaはともにDockerで動かしています。 今回はGPU非搭載のノートPCで … 続きを読む
LLMを使い分野特化型AIを作るのに有効なRAGを使ってみました。 モノづくり塾ではオープンソースの利用を強く推奨しており、極力ブラックボックス的なシステムは使わないようにしています。「買ったほうが安い」のような短期的な … 続きを読む
Dify はLLMオーケストレーションを実現するオープンソースのソフトウェアです。自分のPCにインストールして動かすことができます。 RAGを使ってLLMを賢くすることができるので、組織内の知識(文書化されてい … 続きを読む
プログラミング無しで自分専用のAIプリケーションを作成するツール『Dify』の紹介です。 OpenAiがChatGPTsでユーザーが自分でアプリケーションを作れるサービスを提供していますが、Difyはそれの同様のソフトウ … 続きを読む