Komodo 〜コンテナ管理アプリケーション
モノづくり塾ではDockerコンテナ管理を行うためにPortainerを使っていて、差し当たって不満はありませんが、Portainerの代替になるオープンソースアプリケーションのKomodoというものがあったので試してい … 続きを読む
モノづくり塾ではDockerコンテナ管理を行うためにPortainerを使っていて、差し当たって不満はありませんが、Portainerの代替になるオープンソースアプリケーションのKomodoというものがあったので試してい … 続きを読む
今日は塾に来て昨日の続きをやっています。 昨日は自宅でGPU非搭載のCore i7 8550(ノートPC)でやっていたので、お茶を沸かす時間があるほど遅かったので、今日はGPU搭載機で。 コンピューターはIntel Co … 続きを読む
モノづくり塾は何かを新たに学ぶ動機付けや始める際の敷居を下げることを重視して運営しています。現在用意している5つの体験教室もその流れで考えたものです。 今回は、手元のPCで動く大規模言語モデルを利用した文書生成Webアプ … 続きを読む
今回はローカルネットワーク上のコンピューターからGPU搭載のコンピューターのJupyter Notebookにアクセスして機械学習の勉強をする環境を構築します。 画像は作業の結果としてJupyter Notebookが動 … 続きを読む
先日、Ollamaを動かした話を投稿しましたが、その続きとしてローカルで動いているOllamaをDifyから使ってみました。 DifyとOllamaはともにDockerで動かしています。 今回はGPU非搭載のノートPCで … 続きを読む
先日のDifyと同じくらいあっけなくLLMをローカルで動かせるのがOllamaです。 ローカルマシンにOllamaをインストールするのは以下のコマンド1行です。 そして実行は次の1行。 これはモデルにLlama3を使って … 続きを読む
Dify はLLMオーケストレーションを実現するオープンソースのソフトウェアです。自分のPCにインストールして動かすことができます。 RAGを使ってLLMを賢くすることができるので、組織内の知識(文書化されてい … 続きを読む
モノづくり塾のサーバーは現時点ではGPUを搭載していません。文書生成AIについてはLlama-cppを使ってCPUのみで推論できるようにしていますが、画像生成AIもCPUのみで動かせると思い調べたら良いのが見つかりました … 続きを読む
ELYZA社さんがCode Llamaを日本語で追加学習したモデルを公開されたので早速モノづくり塾のサーバーで稼働しているコード生成AIをこれを使ったもので置き換えました。 この分野は動きが速くて、公開が発表されたと思っ … 続きを読む
CTransformersとGradioを使ったCode Llamaを動かすアプリケーションをDocker対応しました。モノづくり塾のサーバーで動かしています。 プログラムはこんなに短くて簡単。 Dockerfileはこ … 続きを読む