Inference Broker – 画像生成パラメーターへの対応など
少し使いにくかったInference Broker WebのUIを調整してから、画像生成系のテストで生成パラメーターを設定できるようにしました。 そのためにAMDのライブラリやNPUを使う場合の設定を調べるのにだいぶ時間 … 続きを読む
LLM Broker
Inference Broker – 推論資源のプラットフォーム化
NPU搭載のPCが加わったことで、これまでのCPU/GPUを使う推論処理以外の選択肢が増えました。 この機会に、これまで開発してきたLLM BrokerとVision Brokerを統合して、推論資源の管理もできる推論プ … 続きを読む
Inference Brokerの開発
これまで文章生成系はLLM Broker、画像処理系はVision Brokerを開発して、ZIKUUのアプリケーションや第三者のアプリケーションを接続していましたが、もう少し柔軟で容易に推論資源を利用できるように、これ … 続きを読む
LLM Runtime Agentの開発
LLM Runtime Agent は、ZIKUU Mini 上で動作する LLM / AI 推論バックエンドの起動・停止・状態確認を統一的に扱うための小さなホスト常駐サービスを作りました。LLM Brokerの背後で動 … 続きを読む
ObsidianとLLM Brokerをつなぐ
LLM BrokerにObisidianのLocal LLM Helperというプラグインを使って接続してみました。 設定項目は だけです。 これはRAG Chatを実行した様子。 残念ながら、LLM BrokerのOp … 続きを読む
CPS – 文脈束の削除と再抽出機能を追加
一度抽出した文脈束を削除、再抽出する機能を追加しました。 これは、 という場合に、文脈束を抽出し直したり、新たに抽出したりしたいから。 ZIKUUのソフトウェアは、基本的に、 という機能を備えることにしています。 これは … 続きを読む
Codex Desktopを使う
「LLM BrokerをCodex対応にするためにResponses APIを追加実装」でやったLLM BrokerへのResponses API実装の結果、完全なローカル環境でCodex CLIが使えるようになったので … 続きを読む
LLM Brokerが地味に便利だという話
簡単なシェルスクリプトを書いて、LLM Broker (ZIKUUのGPUサーバーで動いている）を利用できるようにしました。 このように呼び出すと このように返ってきます。 クローズドループステッパー（閉ループステッパー … 続きを読む
Ubuntu 24.04のCodex CLIでハマった点
数日前に、LLM BrokerがOpenAI Responses APIに対応したことで、Codexと接続できるようになりました。 Ubuntu 22.04開発機でCodexを気持ちよく使っていました。 塾生向けのドキュ … 続きを読む
Whisper PlaygroundをLLM Broker対応にする
Whisper PlaygroundはZIKUU内で使われる YouTube動画の文字起こしアプリです。 Whisper自体はCPUを使った別ルートですが、外国語を日本語に翻訳する機能で、LLMに翻訳をさせています。その … 続きを読む