CPS – Collectorを開発する

CPSにはCBES (Context Bundle Extraction Strategy) があって、各データソースから文脈を抽出して保存する、という処理を行っていますが、CBESに原本を食わせるプログラム群がCollectorです。

今日は、ZIKUU Research Library (論文集)、ZIKUU Document Library (内部資料集)、Discordメッセージ、WordPressブログ、国際ニュース、小説、ZIKUU基礎教科書からデータを取り込むCollector群を開発しました。

Collectorの責務は、

• 原本のアーカイブをする
• 「原本はここに置いたよ」というイベントをNerveに投げる

の2つ。
余計なことはしません。

下のスクリーンショットは、Collectorが投げたイベントをNerve ダッシュボードで閲覧している様子です。

イベントはキューに入って、1つずつ処理されるので、LLM呼び出しのようなアクセスが干渉すると都合の悪い処理を整然と実行することができます。

もし、ZIKUUのシステムを企業などで使うなら、DiscordをSlackやTrelloに変えるなどしてデータソースを切り替えれば、そのまま、システム全体が破綻せずに動きます。

Collectorから受け取ったイベントを起点に、MinIOへの画像データの保存、Qdrantへのベクターデータの保存、CPSのCBESを呼び出して文脈の抽出というように分岐していき、最終的にPivot Service用のFact生成まで進みます。そこまでできると、ZIKUUのCoreサービスは完成ということになります。

すでにGPU使用の競合を防ぐために、Vision BrokerやLLM BrokerでAIモデルへのアクセスが整流されています。CPS関連処理もNerveを経由して、整流されることになります。

これらは、日常的なコミュニティの活動の裏で静かに黙々と稼働し、文明や文化、思考や判断をバックアップし続けます。