コアサービスの骨格が完成する – Fact Builderを作る

国際ニュースの文脈抽出パイプラインが完成して、

  • Discord
  • WordPress
  • 基礎教科書
  • 論文
  • 内部資料
  • 小説
  • 国際ニュース

のすべてについて、原本保存→文脈抽出の流れを実装できました。

さらに国際ニュースについては、Pivot Serviceにデータ投入をする機能を開発しました。

これまでは、専用のスクリプトで国際ニュースだけをPivot Serviceに投入していましたが、Nerve経由で届いたデータをPivot Serviceに投げるFact Builderを開発しました。

これで、Collectorが原本確定、Nerveがデータ配信、CPSが文脈抽出、Fact BuilderPivot Serviceに意味投影というワークフローが破綻なく動くようになりました。

これはニュースからCPSが文脈を抽出した様子。

その後、Nerveにcontext_builtイベントが届き、Fact生成パイプラインが走ります。

パイプラインの実行の結果として、Pivot Gatewayと介してPivot Serviceにデータが入ります。

現時点では国際ニュースのみですが、いずれ他のデータについてもPivot Serviceに投入できるように機能を追加します。

これがZIKUUコアサービスの全体像です。

Collectorが7種類ありますが、ここにSlack Collector、Trello Collector、Notion Collectorみたいなもの追加し、CPS内のCBESレシピ(文脈抽出方法)、Nerve Pipelineのデータハンドラーを追加してやれば、ZIKUU以外の場所でも、文脈と意味空間を処理するプラットフォームとして使えるのが、ZIKUUコアサービスです。

このシステムが、最小構成なら、ミニPC1台で運用できる。
それが「手の平に乗る文明のバックアップ ZIKUU Mini」です。

このシステムは、例えば町内会なら、

  • Discord
  • 議事録
  • 配布資料
  • 会報

工房なら、

  • 製作ノート
  • 写真
  • 図面
  • Discord

学校なら、

  • 教材
  • 授業記録
  • 生徒作品

研究室なら、

  • 論文
  • 実験結果
  • メモ

企業なら、

  • 議事録
  • プロジェクト
  • 手順書

を読ませるかもしれない。

何を読ませても、文脈抽出と意味空間構築ができて、AIと人が探索できる。
散らばっている知識を自分たちの文脈として扱える。
クラウドAIは不要で、ローカルLLMだけで運用できる。

意識的に、堅く動かすところと、柔らかく変更できるところを分けて設計しています。
キューと並列化し、GPUサーバーを複数配置して、用途ごとにGPUにリクエストを振り分ける、といった構成も作れるので、大規模なコンピュータークラスター用に発展させられます。

次回以降、このシステムを本番サーバーに配備し、運用しながら調整をしつつ、いよいよアプリケーション層のPivot Reasoning EngineAI塾長の開発に入っていきます。

Field Delivery Engineerのような役割の人が、共同体や企業に出向いて、用途ごとにCollectorCBESレシピを追加すると、Palantirと似たビジネスにもなります。

「コアサービスの骨格が完成する – Fact Builderを作る」への1件のフィードバック

コメントする