CPS – Nerve Pipelineの統合

これまで、CPSのCBES (Context Bundle Extraction Strategy = 文脈抽出戦略) の開発を進めてきましたが、このCPSの中核機能と、データソースや他システムとの統合に着手しはじめました。

CBES は、

• Archiveを読み込み
• LLMで文脈束の抽出
• 正規化
• 検証
• 文脈束の保存

を担当しますが、ここにデータを食わせるCollectorを追加しました。

それがxxx_collectorというクラス群です。

このCollectorの責務はデータを収集して、Giteaにアーカイブし、Nerveにイベントを送信するだけ。

これはWordpressブログ記事のアーカイブ。

Giteaにアーカイブしたら、Nerveに「ここにあるよ」というイベントを送ります。
イベントはキューに登録されて、１件ずつ後続の処理が実行されます。

これはZRL (ZIKUU Research Library) のデータを保存したというイベントをNerveが受け取ったときのログです。

Nerveのイベントキューに入ったイベントは、Nerve Pipelineというサーバーのハンドラーによって処理されます。

ハンドラーには、Qdrantにベクターデータを保存するものやMinIOに画像を保存するものがあります。

Collectorを実行すると、こういうワークフローがNerveとNerve Pipelineによって作られて、バックグラウンドで淡々と動きます。

この後、CBESを実行するNerve Pipeline、Factを生成するNerve Pipelineを、Nerveに追加します。

そこまでできれば、ZIKUUのコアサービスが完成ということになります。

そこまで行ったら、いよいよRepository Explorer (すでに着手)、PRE (Pivot Reasoning Engine)、AI塾長といったZIKUUアプリケーション層の開発に入れます。

いずれ、このコアサービスは1台のミニPCで動くようになる予定です。
そこまでいくと、1台のミニPCと1台のノートPCがあれば、どこでも研究室を作れるようになるでしょう。