PRE (Pivot Reasoning Engine) の開発を始める – 最初はPoCから

PRE (Pivot Reasoning Engine) はAI塾長という対話アプリの背後で走るAIツールで、ZIKUUコアサービスの上で動く観察アプリです。

コアサービスが、原本→文脈抽出→意味空間への投影という処理をしているのに対し、PREは意味空間の探索→文脈の探索→必要なら原本やベクターデータベースを見るという処理をします。
これは、検索ツールではなくて探索ツールです。

Pivot Serviceが提供する意味空間は多次元構造で、いくつかの観測軸でスライスすることによって断面の風景を見せます。

これは国ごとのニュースのトピックを表示したときの風景です。

PREは、観測軸を勝手に操作して、さまざま意味空間の断面を切り出して風景を見ます。

これはnews_eventsを時間軸で見た風景から、データの連続性についての違和感信号を検出した状態。

人間も、現象を見た時に感じた違和感をもとに、調査したり推測したりして思考をします。

人には

「あれ？」

「あっ！」

みたいな気づきがあります。

人間は出来事すべてを詳細に記憶はしていませんが、意味や文脈として記憶を呼び起こします。それらをもとに、眼の前で起きていることが「なんか違う」と気づきます。

それと同じことを、アルゴリズムとAIでやろうとしています。

違和感には様々なものがあります。

• スパイク
• 欠損
• 集まり
• 孤立
• 発散
• 繰り返し

など。

そういったものをPREは感知し、その違和感信号をきっかけに、詳細を調べていくという動きをします。

違和感はほぼアルゴリズムで見つけることができるので、重たいLLMタスクは発生しませんが、気付きから何をどう調べるかを決める部分ではLLMを使います。

このPREによって、コアサービスが日々蓄積している、共同体内のDiscordメッセージや資料、教科書や小説などの出版物、国際ニュースや人工衛星データ、ブログの活動記録などの文脈と意味空間を観察できます。

これがやりたくて、文脈束を抽出して統一形式で蓄積するCPSと意味空間を統一形式で構築するPivot Serviceを作りました。

これなら小さなLLMでも、大きな文脈と意味空間を処理できるはずです。

これはZIKUUで最も研究色の強いプロジェクトかもしれません。