AnythingLLMを使ってみる

LLMを簡単に使うツールのAnythingLLM Desktopを使ってみました。AnythingLLMにはRAG機能や簡単なエージェント機能、ワークフロー機能が備わっていて、Open WebUIやLM Studioなどと似た立ち位置のソフトウェアです。

GitHubリポジトリやObisidianの保管庫を読み込んだり、Webサイトをスクレーピングしてベクターデータベースに登録する機能があります。文書化した知識を利用してRAGを実現しやすいです。

設定も比較的簡単でプログラミング知識がなくても利用できます。

主要な設定項目は、LLMは何を使うか

ベクターデータベースは何を使うか

ベクターデータベースにデータを登録するときに埋め込みモデルは何を使うか

など。

あまり利用者がいないのか、エージェントやワークフローの例が少ないのが気になりましたが、プログラミングをしない人には使いやすいです。

今回の試用では、OllamaでLLMを動かし、手元のQdrantをベクターデータベースとして使い、埋め込みモデルもOllamaのものを使いRAGを試しました。結果は、そんなに良くなかったかな。RAGはベクターデータベースから検討外れなデータを引っ張ってくることも多くて、正確な文書生成ができないことがあります。本気で業務に使おうと思うと、こういうところが引っかかって、使えないと評価されてしまいます。

巷では「驚き屋」と称されるYouTuberなどが「◯◯が凄い！」などと煽って、再生数を稼いだり商売に誘導したりと盛り上がっていますが、なかなか効果的にAIを使うのって難しいですし、もっとAIが信頼できるものになった頃には、俄エンジニアや驚き屋さんの出番もなくなって、仕事がないと焦るのではないでしょうか。

行政にぶらさがっている士業がすべてAIに置き換わって完全廃業するくらいになれば本物でしょう。

いろいろなこういうタイプのツールを試していますが、結局のところLLMの性能が最も重要だというところに落ち着きますし、プログラムを書ける人なら、こういうツールを使わなくてもいいかなとも思います。

モノづくり塾では、なるべくオープンソースを使う、LLMに関してもローカルで動かせるものを使うという方針ですし、LLMやAIを理解することを重視しているので、LLMをチューニングする、LLMをゼロから作る、LLMを利用したプログラムを書くということを推奨していますが、日常作業の補佐をしてもらうために使うという意味では商用LLMを使うことに意義はありません。

個人的には、先日公開されたGPT-ossの120bモデルをローカル環境で快適に動かせるようにして、それを使って自前のアプリケーションを作ったりファインチューニングするのが良いかなと思います。