Pivot WorkbenchとPivotサービス

これはZIKUUシステムの大きなマイルストーンです。

これまで開発してきたシステムは、

感覚層→神経伝達層→記憶層→思考層

という構造でした。

• 感覚層は、ブログや論文のデータを取り込む、ラジオを聴いて文字起こしする、動画から文字起こしする、画像を説明する、といった目や耳に相当する機能の集合体です。
• 神経伝達層は、NerveとNerveパイプライン。この層を通って、データがQdrantに入ります。
• 記憶層は、QdrantやPostgreSQLなどのデータベースです。
• 思考層、AI塾長と人。

このうち、記憶層と思考層を拡張して、こうします。

感覚層→神経伝達層→意味空間・記憶層→探索型思考層

記憶層に当たるのが、このPivotサービス。
評価軸の組み合わせから、知識の断面を切り出す機能です。

思考層のAI塾長は、自らPivotを回して事象の断面をいくつか見て、過去の記憶（QdrantやPostgreSQLのデータ）を検索します。

通常のRAGが、意味的に似ているテキストを並べて、それを元に推論するというものなのに対して、意味空間を探索して推論するという手法を採用した、（たぶん）新しい推論手法です。

下のスクリーンショットは、国と出来事を評価軸にしたPivotで、ニュース記事群の断面を切り出した様子です。

Pivot Matrixのセルを覗くと、冒頭のスクリーンショットのようにニュース記事が表示されます。

RAGの類似検索は、けっこう当てずっぽうな検索ですが、この意味空間を通して知識を検索すると、意味的な確度が上がり、一回の検索で読み込むデータが減り、結果的にLLMに渡すコンテクストを小さく抑えることができます。つまりVRAMの小さなGPUでも、巨大なデータを探索しながら文章生成が行えることになります。

Pivotの断面は仮説みたいな感じ。
「こういう見方をしたらどう見えるか」

そこから、記憶を遡って意味を抽出するわけです。
こちらは連想みたいな感じ。

例えば、国際ニュース、ローカルラジオ、人工衛星のデータを、定期的に取り込んで、Pivotデータとして保存すれば、評価軸が同じならば、それらを並べて意味を抽出することができます。
国と国の紛争が起きた、その時の穀倉地帯の様子はどうだったか、国内のニュースではどう報じられたか、英米のニュースと中東のニュースとロシアのニュースではどう報じられたか、その時に株価や為替がどう動いたか、を串刺しにして意味を抽出することができる。

これの良いところは、AI塾長と人間が同じPivotを見ることができる点です。
Pivotを見ながら、AI塾長と対話することができる。

人間は、見方を変えながら思索します。
「この場合はこうだけど、この場合はこうだ」みたいに。
それと同じことをAIがやることができます。