一つ前の投稿の続き。
Discordチャンネルのメッセージを、
Giteaのリポジトリにアーカイブ
添付画像をMinIOに保存
メッセージとメタデータをQdrantに保存
Pivot用のFact生成
Pivot Gatewayを通じてFactをPivotサービスに保存
という一連のパイプラインが完成しました。
この時点では、機械的にDimension(観測軸)を切り出してFact化しています。
そのために、Pivot Workbenchでデータを表示しても、あまり意味空間を切り出しているように見えません。(上のスクリーンショット)
最終的に、LLMを使って、個々のFactから意味を抽出して、Dimensionを切り直したFactを再生成するプログラムを追加することになるでしょう。
「Context Pipeline〜DiscordメッセージをPivotサービスに投入」への1件のフィードバック