GPUの有無による文書生成速度の違い
左はRTX A4000搭載のCore i5 13500でGemma 2 9Bモデルを使用、右はCore i5 13400でGemma2 9Bの4bit量子化モデルを使用。 GPU有りの場合が16秒、GPU無しの場合が1分 … 続きを読む
Ollama
Dify APIを使ってみる〜その２
先日投稿した「Dify APIを使ってみる」で紹介したNodeJSを使ったアプリケーションの続きです。 まずは実行中の様子。VS Codium上でThunderClientという拡張機能からHTTPリクエストを送信してい … 続きを読む
Llama3 70bをローカルで動かしてみる
モノづくり塾のGPU搭載PCで試しました。 PCのスペックはCPU Core i5 13500、RAM 64GB、GPU RTX A4000です。OSはUbuntu 22.04 LTS。 塾生がAIの勉強ができるようにと … 続きを読む
OllamaとDifyをともにローカルPCで動かす
先日、Ollamaを動かした話を投稿しましたが、その続きとしてローカルで動いているOllamaをDifyから使ってみました。 DifyとOllamaはともにDockerで動かしています。 今回はGPU非搭載のノートPCで … 続きを読む