昨夜から明朝にかけて、Intention Resolver = ユーザーの意図を抽出するライブラリ、をRepository Explorerに組み込んでみましたが、どうにもこうにも上手く機能しないことがわかりました。
そもそもRepository Explorerの設計が間違っていたのではないかという疑問を持ち、しばらく考えて、リエンジニアリングすることにしました。なので、当面、Repository Explorerの開発成果をお見せすることができそうにありません。
Intention Resolverは、それなりに良い感触を得られるようになってきました。
早速、検証用のCLIを作って、いくつか質問を投げかけてみました。
これがその会話セッションの様子です。
Intention Resolver CLI
Broker : http://192.168.0.193:19090
Backend : text-main
Commands: /state, /reset, /quit
> Swift Frameworkのイベント処理の流れを知りたい。
------------------------------------------------------------
Interpretation
------------------------------------------------------------
Focus : イベント処理の流れ
Candidates : 1
Candidate 1
ID : candidate-001
Scope : Swift Framework
Subject : イベント処理
Purpose : イベント処理の流れを知る
Transition : new
From : None
To : None
Confidence : None
Complete : True
Decision : accept
Current ID : intention-aa69dc393408
> イベントを最初に受け取るクラスは?
------------------------------------------------------------
Interpretation
------------------------------------------------------------
Focus : イベントを最初に受け取るクラス
Candidates : 1
Candidate 1
ID : candidate-001
Scope : Swift Framework
Subject : イベント処理
Purpose : イベント処理の流れを知る
Transition : continue
From : intention-aa69dc393408
To : None
Confidence : None
Complete : True
Decision : accept
Current ID : intention-aa69dc393408
> Responderの主要なAPIは?
------------------------------------------------------------
Interpretation
------------------------------------------------------------
Focus : Responderの主要なAPI
Candidates : 1
Candidate 1
ID : candidate-001
Scope : Swift Framework
Subject : イベント処理
Purpose : イベント処理の流れを知る
Transition : continue
From : intention-aa69dc393408
To : None
Confidence : None
Complete : True
Decision : accept
Current ID : intention-aa69dc393408
> マウスイベントはどこで振り分けられる?
------------------------------------------------------------
Interpretation
------------------------------------------------------------
Focus : マウスイベントの振り分け場所
Candidates : 1
Candidate 1
ID : candidate-001
Scope : Swift Framework
Subject : イベント処理
Purpose : イベント処理の流れを知る
Transition : continue
From : intention-aa69dc393408
To : None
Confidence : None
Complete : True
Decision : accept
Current ID : intention-aa69dc393408
> マウスイベントの処理にバグがあるので、修正したい。
------------------------------------------------------------
Interpretation
------------------------------------------------------------
Focus : マウスイベントの処理
Candidates : 1
Candidate 1
ID : candidate-001
Scope : Swift Framework
Subject : イベント処理
Purpose : マウスイベントの処理のバグを修正する
Transition : shift
From : intention-aa69dc393408
To : None
Confidence : None
Complete : True
Decision : accept
Current ID : intention-9979efd2ff0c
> さっきのイベント処理の仕組みの話に戻って、キーボードイベントの流れを知りたい。
------------------------------------------------------------
Interpretation
------------------------------------------------------------
Focus : キーボードイベントの流れ
Candidates : 1
Candidate 1
ID : candidate-001
Scope : Swift Framework
Subject : イベント処理
Purpose : イベント処理の流れを知る
Transition : resume
From : intention-aa69dc393408
To : None
Confidence : 0.9
Complete : True
Decision : accept
Current ID : intention-aa69dc393408
太字が重要な部分です。
ざっくり解説すると、ユーザーの質問に対して、
- Scope : 対象となるリポジトリ
- Subject: 関心の対象
- Purpose : 目的
- Transition: 前の問いからの変化
が次々に生成されていきます。
上の例では、4つ目の質問までは目的が「知る」だったのに対して、5つ目の質問で目的が「修正する」に変わっています。ここでTransitionがcontinueからshiftに変化しています。continueが継続調査、shiftは調査対象の移動を意味します。
6つ目の質問では、また目的が「知る」に戻って、イベント処理についての質問に変わっています。ここでTransitionがresumeに変化しています。resumeは、過去に立ち返るという意味です。
なるべく簡単に、ユーザーの意図を汲み取れる仕組みを考えていて、これが完成形だとは思っていません。必要なら改良していきますが、これで見切り発車します。
Inference Pipeline (PoC)で試作した仕組みは、会話のターンごとに文脈を抽出して、その文脈の履歴から画像描写を言語化するというものでした。これは、いずれIntention Resolverに取って替わられることになりそうです。
ZIKUUで主に使っているLLMはgpt-oss 20bで、コンテクストウインドウのサイズは128Kが最大です。
llama.cppでQ4量子化モデルを動かす場合、最大コンテクストで運用するとVRAMを13GBほど使用します。
速度は犠牲になりますが、一部をRAMに逃がす設定をすれば、12GB VRAMのGPUでも動きます。
当面、ZIKUUでは、入手しやすい16GB VRAM搭載のGPUを使うことを前提にすべてのシステムを設計する予定ですが、すべてのソースコードを探索して答えを出すシステムを作るとなると、まともにソースコードを読んでプロンプトを組み立てると、軽く300Kトークン超えなってしまいます。このレベルになると、フロンティアモデルを接続しても処理不能な状況に遭遇するはずです。
かといって、トークンを絞ってしまうと、物足りない結果になってしまう。
同じモデルを使って、ローカルでCodexを使うこともありますが、単一リポジトリのソースツリーだけを対象としているのに、満足な出力を得られませんから、ZIKUUの全ソフトウェアに対する問い合わせでは機能しません。
絶対的な命題として、Codexより優れていなければならないし、ローカルLLMで動かなければならない。
なかなか厳しいです。
そこで重要になるのが、Knowledge Navigation です。
これは、知識を探索するエージェントシステムとして設計しているのですが、Repository Explorerの開発でつまずいたのが、まさにこの部分でした。
Knowledge NavigationはNAVIGATION.mdに書かれた指示に従って、知識を探索するフレームワークです。
これはCodexに対するAGENTS.mdみたいなものです。
Intention Resolverが人の意図を組む装置なら、Knowledge Navigationはその意図に従って知識を探索する装置というわけです。
この場合、
LLMに何を読ませるか・読ませないか。
LLMが生成したものから何を採用するか。
この2点が重要です。
ここを突破できれば、ローカルLLMの実用性が爆上がりすることになります。
しばらくはKnowledge Navigationのリエンジニアリングに取り組みます。
「Intention Resolver – 簡単な検証用CLIを作った」への2件のフィードバック