語彙のパイプラインの開発
昨日の時点で、Discord→ZIKUU Research Library→Nerve→Qdrant(ベクターDB)という流れを組めました。これでネット検索した論文やZIKUU内部で書かれた論文が、AIが参照できるデータ … 続きを読む
昨日の時点で、Discord→ZIKUU Research Library→Nerve→Qdrant(ベクターDB)という流れを組めました。これでネット検索した論文やZIKUU内部で書かれた論文が、AIが参照できるデータ … 続きを読む
HP製Z2 G5 というXeon W-1250P (6C/12T)搭載のエントリークラスのワークステーションを入れました。 手持ちのSSDとRTX 3060を載せて、CADなどのアプリケーションやソフトウェア開発で使用し … 続きを読む
YouTubeには教材が溢れています。人に説明するのが得意(好き)な米国人の大学教授がたくさんいて、優良な教材が無料で手に入る。 英語が達者な人は、その分野に精通している人なら、英語のまま動画を観て理解できると思いますが … 続きを読む
今日は、NerveのWeb UI(キューとイベントの監視画面)の日本語化、フィルターや並べ替えの機能の実装をしました。これで、今までテストツール然としていたものが、運用ツールらしくなってきました。 今日の時点で、 ① D … 続きを読む
今日は、検索した論文の要約を生成してQdrantに投げ込む処理(上の図の緑色矢印の部分)を実装しました。「論文処理用のNerveパイプラインを開発する」という投稿の続きです。 実際の運用では、 ① Discordの専用チ … 続きを読む
Celeron J4125搭載PCのVPNブリッジのスタンバイ機の準備をしました。スタンバイ機の方はHP EliteDesk Mini G3というモデルで、Core i5 6500Tというだいぶ古いCPUを搭載したミニP … 続きを読む
LLMで推論をするときに参照するベクターデータの初段と、ゆくゆくはファインチューニングによってLLMも基本的な振る舞いとして学習させるために作っているZIKUU語彙集。 これは言葉の概念を1行か2行で定義するという作業で … 続きを読む
なかなかローカルLLMを使い切るのは難しいと思ってます。プロンプトチューニングをするか、RAGか、ファインチューニングかという選択・組み合わせの他にも、どうプログラムの中に組み込んで、システムに統合していくのか。考えるこ … 続きを読む
先日は、下の図の青矢印の部分を実装しましたが、今日は緑矢印の部分を実装しました。 Discordで論文検索をすると、LLMを使って論文エントリに変換してから、Giteaにプッシュします。 Giteaは、新たな論文エントリ … 続きを読む