Repository Explorer – トークンの肥大化を抑制する

Repository ExplorerはZIKUUの全ソフトウェアを調査、理解するための内部ツールです。
現時点で、主要なソフトウェアのソースコードは120万行を超えていますから、開発した本人がいないと調査するのも理解するのも大変です。

Repository ExplorerはPivot Reasoning Engineと共有するKnowledge Navigation Layerという抽象的なハーネス層の上に、用途に合ったハーネスを作り、その中でローカルLLMを使って、ユーザーの調査を手伝います。

ソフトウェアのソースコードは、ZIKUUのサーバーで稼働するGiteaに保存されていて、Repository Explorerをそれを走査してから、読むべきファイルを決めて、回答を生成します。そういう性質なので、膨大な量のファイルを読んでプロンプトを組み立てるため、トークンの肥大化しがちです。

このスクリーンショットは、トークンが肥大化して、LLMに設定した100Kトークンという上限を超えてしまったときのエラー画面です。

同じファイルを2度読まない、不必要なソースを検索しない、重要な部分だけを抽出するといった調整をして、ひとまずトークンが大きくなり過ぎないようにはできました。

このスクリーンショットは調査が完了した様子です。
なんとか調査を完走できるようになりました。
修正前は、これと同じ調査でトークンが肥大化して処理を完了させられませんでした。

まだ、満足な結果が得られていないので、これからも修正を続けます。

大きなLLMに丸投げして調査すれば、良い結果を得られるかもしれませんが、ZIKUUは手頃な価格で入手できるハードウェアでローカルLLMを動かして問題を解決したいので、ハーネスの工夫でなんとかしたい。

ハーネスが必要なときだけLLMを使うので、GPUの利用率は上がったり下がったりします。
その様子を示すのが、このスクリーンショットです。


Microsoftのサービスに障害が起きて世界中が混乱しました。
さまざまな企業のシステムに不正アクセスが行われて個人情報が漏洩しました。
他に不穏な動きがいくつかあります。

今の所、ZIKUUも私生活も被害はゼロ。

私は、みなさんに自由と自立をすすめています。
そのためには、自由と自立のための技術が必要です。自由も自立も、宣言するだけ、気分だけ、気持ちだけでは手に入りません。

巨大システムへの依存を減らして、自らの技術で組織の内側にシステムを移行する。
その中で「もっともっと」という欲望に対して、欲望の方向を変える(買うから作るへ)、「これで十分足りる」を設計に取り込むといったことをします。さらに、自分がいなくなっても、なんとか再現、再起動ができるように備えます。

その文脈の上で、

  • Linuxを使う
  • 外部のストレージやサービスを極力使わない
  • LLMはローカルで動かす
  • なるべく買わずに作る
  • 生産する場と技術を維持する

ということをしています。
そして、それら全体を閉フィードバックループの中に置くという生存戦略です。

その部品の一つがRepository Explorerということになります。

「Repository Explorer – トークンの肥大化を抑制する」への1件のフィードバック

コメントする