CPS – Evidence Review画面で複数プロフィールを検証

昨日追加したEvidence Review画面といくつか検証用スクリプトを使って複数のプロフィールで抽出した文脈を検証しています。

これは、この一年間にやった中では、最も面倒くさい作業ですが、面倒くさいことほど重要だということはよくあります。

CPSはソースデータから文脈を抽出して、

どんなデータの文脈も同じ形式で保存する

ということをします。

そして、もう一つ大事なのは、

文脈に意図が含まれない方が良い

です。

意味は文脈と人（視点や観点）が交差するところに現れる

ので、文脈に意図が含まれてしまうと、人の視点が交差したときに意味が歪む可能性があります。

しかし、LLMを使って文脈を抽出では、プロンプトから意図を完全に取り除くことが困難なので、

なるべく意図を含まない文脈

として抽出します。

今、意図の薄い文脈と意図を含む文脈を比較しているところです。

しばらくは、文脈抽出→検証→プロンプト調整 & プログラム調整、という作業の繰り返しです。

すごく面倒くさいです。

以下、比較例。

各スクリーンショットの左側が原文で右側が抽出した文脈束です。
Context Unitsと書かれたカードのすぐ下に文脈が並んでいます。

意図の薄いDiscordメッセージからの抽出

Discord用に調整した意図を持つプロンプトによる抽出

同じメッセージでも、抽出されるものがだいぶ違います。

同様に、他のデータソースでも抽出して文脈を比較しています。

「CPS – Evidence Review画面で複数プロフィールを検証」への1件のフィードバック