論文処理用のNerveパイプラインからQdrantへ

今日は、検索した論文の要約を生成してQdrantに投げ込む処理(上の図の緑色矢印の部分)を実装しました。「論文処理用のNerveパイプラインを開発する」という投稿の続きです。 実際の運用では、 ① Discordの専用チ … 続きを読む

ZIKUU語彙集を作っていて明確になったこと

LLMで推論をするときに参照するベクターデータの初段と、ゆくゆくはファインチューニングによってLLMも基本的な振る舞いとして学習させるために作っているZIKUU語彙集。 これは言葉の概念を1行か2行で定義するという作業で … 続きを読む

gpt-oss:20bを使ってプログラムを開発する一手

なかなかローカルLLMを使い切るのは難しいと思ってます。プロンプトチューニングをするか、RAGか、ファインチューニングかという選択・組み合わせの他にも、どうプログラムの中に組み込んで、システムに統合していくのか。考えるこ … 続きを読む

コーヒー焙煎鍋の蓋

片手鍋でコーヒーを加熱して揺するのを、『片手鍋焙煎』式のコーヒー焙煎というのだそう。 今日は塾生がその鍋の蓋を作りにきました。 木工旋盤で形を整えて・・・ 蓋の取っ手を加工。 ちょっと取っ手のアリが緩かったですが、まあま … 続きを読む

論文処理用のNerveパイプラインを開発する

先日は、下の図の青矢印の部分を実装しましたが、今日は緑矢印の部分を実装しました。 Discordで論文検索をすると、LLMを使って論文エントリに変換してから、Giteaにプッシュします。 Giteaは、新たな論文エントリ … 続きを読む

思考地図を作る

人間とAIが読む本を作ろうと思い、準備を始めました。 当ブログのエッセイには私の思考の跡が記録されています。その中から、考える起点と終点を抽出して、そのパターンを思考地図として編むという試みです。もともと、こういうことを … 続きを読む

偉人たちがやらなかったこと

偉人たちは、何を「成し遂げたか」で語られるのが普通ですが、この本は、歴史に名を残した偉人たちを「選ばなかった行動」「踏み込まなかった領域」から読み直す試みです。 彼らは常に、無数の選択肢の中から「やらないこと」を決め続け … 続きを読む

Discord論文検索とNerveをつなげる

上の図はZIKUU v1.0(共同体コア)を構成するコンポーネント群です。 今日はこの中の青線の部分(パイプライン)を開発しました。 先日開発したDiscordの論文検索ボットで、検索を実施した様子です。ここから自動的に … 続きを読む

論文検索後の処理を作り始める

先週は、論文検索ボットを開発しました。主要な論文サイトから、キーワード検索して、所定の形式に整えてくれるボットです。 今日は、その検索結果を、塾のサーバーで動くGitea(GitHubのローカル版)にプッシュすると、Gi … 続きを読む