LLM
天体望遠鏡の部品とDify
今日は朝からモノづくり塾でロードバイクのエンド金具作りです。 これから組み立て治具を作ったりと、準備に少し時間がかかりますが、そろそろ木製ロードバイクの生産体制を作ろうと思います。 ぼちぼち天体望遠鏡の部品が届き始めてい … 続きを読む
Llama3 70bをローカルで動かしてみる
モノづくり塾のGPU搭載PCで試しました。 PCのスペックはCPU Core i5 13500、RAM 64GB、GPU RTX A4000です。OSはUbuntu 22.04 LTS。 塾生がAIの勉強ができるようにと … 続きを読む
OllamaとDifyをともにローカルPCで動かす
先日、Ollamaを動かした話を投稿しましたが、その続きとしてローカルで動いているOllamaをDifyから使ってみました。 DifyとOllamaはともにDockerで動かしています。 今回はGPU非搭載のノートPCで … 続きを読む
DifyのRAG機能を使ってみる
LLMを使い分野特化型AIを作るのに有効なRAGを使ってみました。 モノづくり塾ではオープンソースの利用を強く推奨しており、極力ブラックボックス的なシステムは使わないようにしています。「買ったほうが安い」のような短期的な … 続きを読む
OllamaとOpenWebUIでLlama3
先日のDifyと同じくらいあっけなくLLMをローカルで動かせるのがOllamaです。 ローカルマシンにOllamaをインストールするのは以下のコマンド1行です。 そして実行は次の1行。 これはモデルにLlama3を使って … 続きを読む
モノづくり塾のサーバーにDifyをインストールする
Dify はLLMオーケストレーションを実現するオープンソースのソフトウェアです。自分のPCにインストールして動かすことができます。 RAGを使ってLLMを賢くすることができるので、組織内の知識(文書化されてい … 続きを読む
誰でも簡単AIアプリケーション作成
プログラミング無しで自分専用のAIプリケーションを作成するツール『Dify』の紹介です。 OpenAiがChatGPTsでユーザーが自分でアプリケーションを作れるサービスを提供していますが、Difyはそれの同様のソフトウ … 続きを読む
ZIKUUのLLMへの取り組み
モノづくり塾『ZIKUU』ではAI活用に必要な知識や技術を身につけるために小規模ではあるもののAI学習用のPCを用意します。限られた計算資源ですが時間や費用を気にせずに好きなだけ勉強できます。 すぐに思い付くものでLLM … 続きを読む
AI学習用コンピューターの動作確認
NVIDIA RTX A4000の動作確認をしたくて、Stable DiffusionのWeb UIとtext-generation-webuiをインストールし、いくつかのモデルをダウンロードして動かしてみました。 ハイ … 続きを読む