Context Pipeline〜DiscordメッセージをPivotサービスに投入

一つ前の投稿の続き。

Discordチャンネルのメッセージを、

Giteaのリポジトリにアーカイブ
添付画像をMinIOに保存
メッセージとメタデータをQdrantに保存
Pivot用のFact生成
Pivot Gatewayを通じてFactをPivotサービスに保存

という一連のパイプラインが完成しました。

この時点では、機械的にDimension(観測軸)を切り出してFact化しています。
そのために、Pivot Workbenchでデータを表示しても、あまり意味空間を切り出しているように見えません。(上のスクリーンショット)

最終的に、LLMを使って、個々のFactから意味を抽出して、Dimensionを切り直したFactを再生成するプログラムを追加することになるでしょう。

「Context Pipeline〜DiscordメッセージをPivotサービスに投入」への1件のフィードバック

コメントする