CodexとRepository Explorer

Repository Explorer は開発者（私）がいなくなっても、ZIKUUで開発されたソフトウェア群を理解できるようにするために作られたソフトウェアです。

Repository ExplorerとPivot Reasoning Engine は Knowledge Navigation Layer というハーネスの上に構築されていて、前者は問いが収斂する方向に、後者は問いが発生する方向に調整されています。

私自身は、開発をするときには、VS Codium上でContinueを、端末上でCodexを使うことがありますし、ChatGPTやローカルLLMのお世話になることもあります、開発作業を丸投げするならいざ知らず、使い方のノウハウとAIを使う姿勢によって結果がだいぶ変わります。
さらに、それらは汎用ツールですから、特定の目的のために調整されたツールとは能力がまったく違います。

CodexとRepository Explorerに同じ質問したときの差はかなり大きく、Repository ExplorerはCodexを圧倒します。

CodexはローカルLLMを使っていることと、AGENTS.mdなどの設定が良くないのもあって、メチャメチャな回答が返ってきます。このようなツールを使うなら、ChatGPTのサービスを使うなど、もっと大きなLLMを使う必要がありそうです。LLMの性能に依存するということです。

対して、Repository Explorerは、Knowledge Navigationがかなり適切に機能していて、ほぼ完璧な回答が返ってきます。このレベルなら、16GB VRAMで動くローカルLLMで十分な性能が出ると言えます。

Repository Explorerは、ZIKUU製ソフトウェア全体を対象に、インデックス化したシンボルを手がかりに、ソースコードやドキュメントファイルを読んで回答できるのが利点で、漠然としたユーザーの問いにも答えられます。

LLMをどう機能させるか、LLMに何を読ませるか。
そういうことが、ローカルLLMを使う上で大事だということがよくわかり例かもしれません。

ZIKUUはDistilleryにより、オープンウェイトのLLMを蒸留して、専門家モデルを作ることもできるようにしました。そして Inference Brokerにより、適切なハードウェアに適切なモデルを配備することもできるようにしました。これでモデル自身もハーネスも推論資源も用途別に仕立てることができる段階にきました。