論文検索ボットを作る

今日は、論文を検索するDiscordボットを作りました。
だいぶ前から企画していたもので、塾のサーバーにGPUが載ったので運用体制に入れました。

ZIKUUコミュニティーのメンバーならば、誰でも利用できます。

使い方は簡単。

所定のチャネルで、関心のある言葉をいくつか入力するだけ。

目的

• 学術文書から情報を集めて学びたい人を支援する
• ZIKUUが開発しているAI塾長が参照する知識にする
• 塾生がプログラミングを学べるようにする

仕組み

• 特定のDiscordチャンネルを監視するボット
• ユーザーの入力から検索条件を作り、スレッドを新たに作成し、論文サイトを検索
• ローカルLLMを使って論文から要旨や成果を抽出して日本語に翻訳
• ローカルLLMを使って指定フォーマット（yaml）に整形
• 追質問を受けたらローカルLLMを使って深堀りする
• ローカルLLMには推測や捏造をさせない

ここから先

現時点では論文を検索して要約する便利ツールですが、ある程度熟成したら、バックエンドで動いているNerveに検索結果を投げて、いくつかの処理を行うパイプラインを通じて、最終的にLLMがRAGで使用するベクターデータとして保存します。
要するに、調べるだけで勝手にAIが賢くなる仕組みです。
これは共同体の外側の知識を内側に取り込み、それを内部のAIシステムが利用し、共同体メンバーの思考や判断を支援するために使われます。

検索例

内燃機関の効率に関する論文

官僚制度と民主主義

AI関連（In-Context Learningについて）

誤情報に関するもの

寺社建築の構造や技術

先日作った調査ボットは、広くWeb検索をするので、ノイズの多い情報が入ってきます
対して、これは論文サイトに限定しているので、情報としては綺麗です。

Nerveがあるので、入口→加工→出口の設計が柔軟です。
利用する技術も基本的なものだけにして、なるべく仕組みを内製しているので、外部環境（仕様変更）の影響を受けにくい。n8nのような便利ツールと繋ぐ口は用意しますが、あまり外部のものを使わずに動くシステムにしています。便利さよりも、持続性や変化への耐性を重視した構造です。