大規模言語モデル

モノづくり塾のサーバーにDifyをインストールする

by

Dify はLLMオーケストレーションを実現するオープンソースのソフトウェアです。自分のPCにインストールして動かすことができます。 RAGを使ってLLMを賢くすることができるので、組織内の知識（文書化されてい … 続きを読む

誰でも簡単AIアプリケーション作成

by

プログラミング無しで自分専用のAIプリケーションを作成するツール『Dify』の紹介です。 OpenAiがChatGPTsでユーザーが自分でアプリケーションを作れるサービスを提供していますが、Difyはそれの同様のソフトウ … 続きを読む

モノづくり塾のAI学習環境

by

機材がすべて揃ったので組み立て、ソフトウェアのインストール等を行いました。 モノづくり塾では3D CADやソフトウェア開発もモノづくりの一部として学習テーマにしています。過去から未来にかけて、伝統工芸からハイテクまでバラ … 続きを読む

コード生成AIのデモ

by

モノづくり塾のサーバーで稼働しているCode Llamaベースのコード生成AIアプリケーションを動かした様子を動画にしました。 動画の内容は、 塾のダッシュボードからコード生成AIアプリケーションを開く コード生成を依頼 … 続きを読む

日本語版コード生成AI用の言語モデル

by

ELYZA社さんがCode Llamaを日本語で追加学習したモデルを公開されたので早速モノづくり塾のサーバーで稼働しているコード生成AIをこれを使ったもので置き換えました。 この分野は動きが速くて、公開が発表されたと思っ … 続きを読む

AIでコード生成するアプリケーションをサーバーにインストール

by

CTransformersとGradioを使ったCode Llamaを動かすアプリケーションをDocker対応しました。モノづくり塾のサーバーで動かしています。 プログラムはこんなに短くて簡単。 Dockerfileはこ … 続きを読む

DockerでLlamaCppPythonがクラッシュしていた問題を解決

by

以前、StreamlitでWeb UIを作りLlamaCppPythonを使って日本語言語モデルで文章生成するプログラムについての投稿をしましたが、モノづくり塾のサーバーで動かすためにDockerizeした際に原因不明の … 続きを読む

GPUを使わずに文書生成AIをやる方法を文書化

by

LlamaCppを使いGPUを使わずにCPUだけで大規模言語モデルを扱う例を文書化しモノづくり塾の資料館に保存しました。 実行している様子です。 ELYZAの70億パラメーターのものを量子化して軽くしたモデルを使った例で … 続きを読む