調査ボットをLLM Broker対応にする

Context Pipeline Serverは開発中なので、開発機のみで検証すれば良いのですが、ここから先はLLM Broker対応はすべて本番環境で動いているアプリケーションに対して行います。
神経がすり減らされる作業です。

ZIKUUコミュニティでは、Discordにいくつかのボットが常駐しています。

塾長の在塾確認やDiscord活動統計などのLLMを使わないボットと、Web検索を伴う調査、論文検索、AIチャットなどのLLMを使うボットがいます。

まずは楽そうなところから着手ということで、Web検索を伴う調査ボット。

このボットはTavilyを使ってWeb検索を行い、見つかったものをソースを添えて要約して報告します。

1つの質問に対して、1つのスレッドが生成され、そのスレッド内で追加質問や深堀りができるようになっています。

LLM Brokerへの移行は簡単でしたし、応答速度は体感的には2倍くらいにはなりました。

一見、お遊び的なボットですが、ここで繰り広げられる質疑応答がバックグラウンドで文脈抽出して保存され、コミュニティの記憶として積み上げられます。

「文明をバックアップするには文脈抽出が不可欠だということ」で書いているように、コミュニティー内の関心事や活動から、文脈を抽出して保存することは、活動を振り返る上で意味があります。