論文処理用のNerveパイプラインからQdrantへ
今日は、検索した論文の要約を生成してQdrantに投げ込む処理(上の図の緑色矢印の部分)を実装しました。「論文処理用のNerveパイプラインを開発する」という投稿の続きです。 実際の運用では、 ① Discordの専用チ … 続きを読む
今日は、検索した論文の要約を生成してQdrantに投げ込む処理(上の図の緑色矢印の部分)を実装しました。「論文処理用のNerveパイプラインを開発する」という投稿の続きです。 実際の運用では、 ① Discordの専用チ … 続きを読む
Celeron J4125搭載PCのVPNブリッジのスタンバイ機の準備をしました。スタンバイ機の方はHP EliteDesk Mini G3というモデルで、Core i5 6500Tというだいぶ古いCPUを搭載したミニP … 続きを読む
LLMで推論をするときに参照するベクターデータの初段と、ゆくゆくはファインチューニングによってLLMも基本的な振る舞いとして学習させるために作っているZIKUU語彙集。 これは言葉の概念を1行か2行で定義するという作業で … 続きを読む
なかなかローカルLLMを使い切るのは難しいと思ってます。プロンプトチューニングをするか、RAGか、ファインチューニングかという選択・組み合わせの他にも、どうプログラムの中に組み込んで、システムに統合していくのか。考えるこ … 続きを読む
先日は、下の図の青矢印の部分を実装しましたが、今日は緑矢印の部分を実装しました。 Discordで論文検索をすると、LLMを使って論文エントリに変換してから、Giteaにプッシュします。 Giteaは、新たな論文エントリ … 続きを読む
偉人たちは、何を「成し遂げたか」で語られるのが普通ですが、この本は、歴史に名を残した偉人たちを「選ばなかった行動」「踏み込まなかった領域」から読み直す試みです。 彼らは常に、無数の選択肢の中から「やらないこと」を決め続け … 続きを読む
上の図はZIKUU v1.0(共同体コア)を構成するコンポーネント群です。 今日はこの中の青線の部分(パイプライン)を開発しました。 先日開発したDiscordの論文検索ボットで、検索を実施した様子です。ここから自動的に … 続きを読む
先週は、論文検索ボットを開発しました。主要な論文サイトから、キーワード検索して、所定の形式に整えてくれるボットです。 今日は、その検索結果を、塾のサーバーで動くGitea(GitHubのローカル版)にプッシュすると、Gi … 続きを読む