Qdrant

Context Pipeline〜Discordメッセージをベクターデータベースへ

by

今日は朝早くからZIKUU Context PipelineのDiscord用パイプラインの開発をしています。 このプロジェクトは外界（外部のサービスやサイト）の情報を、すべて内部に引き込んで構造化するプロジェクトです。 … 続きを読む

各種データをPivotサービスに投げ込む準備

by

ZIKUUのシステムは文明バックアップ装置なので、外の世界と断絶しても、思考、判断、活動を続けられる必要があります。ZIKUUはクラウドサービスをあまり信用しておらず、なるべく依存せずに活動を続けられるように設計していま … 続きを読む

ZIKUU基礎教科書をQdrantに投入する

by

今日は、1組のIngesterとパイプラインを作って、ZIKUUの基礎教科書（全26巻）をベクターDBに入れました。 かなりのボリュームのある教科書なので、ベクターDBに投入するのに時間がかかると思っていましたが、そうで … 続きを読む

論文処理用のNerveパイプラインからQdrantへ

by

今日は、検索した論文の要約を生成してQdrantに投げ込む処理（上の図の緑色矢印の部分）を実装しました。「論文処理用のNerveパイプラインを開発する」という投稿の続きです。 実際の運用では、 ① Discordの専用チ … 続きを読む

RAG用のデータの効果を見る

by

昨日行ったQdrantに登録したデータの効果を見るべく、簡単な推論コードを書いて試験しました。 「ZIKUUとは？」と「ZIKUUの運営方針を教えてください」という２つの質問に対してどう答えるかを試した様子です。 言語モ … 続きを読む