Reinsを使ってみる

ローカルでLLMを動かし、VS Codeやターミナルから文書生成を行えるようにしています。ターミナルを使う方法は、Neovimから離れずに文書生成できるのが快適です。それがVPNを経由してどこからでも実行できる。今日はiPhoneにReinsというOllamaを利用するアプリケーションをインストールして使ってみました。

最近ではAIエージェントなるものが騒がれ始めていて、適当に何かを指示するとAIが複数のタスクを実行してくれたりもします。特に目新しいことではありませんが、いくつかのWebサービスでGithubやGitlabのリポジトリを共有しながら、Web Hookなどを使って一連のタスクを実行させることもできるでしょう。

やってみたいのは、

• Obsidianなどのノートツールに、思いついたことを書き溜める。
• ノートをベクターデータベースに保存する。
• 定期的にWebサイト（論文サイトやブログなど）をクローリングしてベクターデータベースに保存する。
• ベクターデータベースのデータを埋め込みベクトルとしてLLMに入力して文章や画像を生成する。

といったこと。

今でも手動でやればできることばかりですが、プログラムを書いて自動化し塾のサーバーで常時走らせたい。

私は、致命的に記憶力が弱いので、これまでも思いついたことや調べたことはコンピュータ上のメモとして残すようにしてきましたが、メモを残したことを忘れてしまいます。これではメモが活きてきません。ですから、メモを活かすためにAIに検索、分類、まとめ、要約、深堀りなどの作業を任せてしまいたい。何かを作るという身体表現と思いつきだけで生きていけるようにしたい。

昨日、Gemma3の10億パラメーターのものと40億パラメーターのものも使ってみました。悪くはないと思いましたが、Gemma3を使うなら一番大きな270億パラメーターのものを使いたいところです。FP16精度で動かそうと思うと、60GB程度のVRAMが必要になりそうですし、チューニングをするとなるとさらに多くのVRAMが必要です。それなりの金額を投資しなければなりませんね。

わざわざ投資しなくても、あと数年で簡単にできるようになるかもしれませんが、そういうものが社会に普及するまで１０年くらいはかかると思っていて、その１０年くらいは先取りしたいのです。働き方改革やリスキリングなどの言葉がメディア上で踊っていますが、キャッチコピーを口にするのではなく、テクノロジーを消費するだけでもなく、自分で実際にやっているという状態にしたいわけです。