CPS – CBESパイプラインとNerveをつなぐ

CPSは、Collector (原本データを収集してリポジトリに保存する）から始まって、Nerveを経由して、CBES (文脈抽出ワークフロー) を呼び出し、最終的には Pivot Service用のデータ生成までを行います。

今日は、基礎教科書について、Collector -> Nerve -> CBES までのパイプラインをつなぎました。

上の図のように、

1. CPS Collectorが原本確定し、source_collectedイベントをNerveに送信
2. Nerveパイプラインが、QdrantやMinIOへの保存などの処理をしてから、CBESレシピを選択し、子イベントをNerveに送信
3. NerveパイプラインがCPSを呼び出し
4. CPSがCBESパイプラインを実行

のような流れで処理されます。

これをフロー図にするとこんな感じ。

シーケンス図にするとこんな感じになります。

大きな図なので、細かい文字がよく読めません。

基礎教科書の1章について、これだけの処理をします。
いろいろ頑張ってるんだなと思ってもらえればいいです。

このパイプライン処理が、

• 教科書26巻の章
• ブログ記事（約1000本）
• 毎日のDiscordメッセージ
• 論文（約1000本）
• 国際ニュース（毎日300本）
• 塾内資料（現時点で50本）
• 小説（5冊）の章

のそれぞれに対して行われます。

面倒くさそうでしょ？

これによって、原本確定（根拠）、ベクターデータ（曖昧記憶）、文脈抽出、意味空間構築が行われます。
すべてバックグラウンドでの自動処理です。
ここまでがZIKUUのコアサービスです。

そこまでやって、やっとLLMが扱う知識が整い、AI塾長やPRE (Pivot Reasoning Engine) などのAIアプリケーションが作られます。

こんな面倒くさいシステムがZIKUUのシステムです。
理解するためには、Repository Explorerのようなエージェントがないと難しい。

文明をバックアップしようと思ったらこうなった。