CPS – 文脈束の削除と再抽出機能を追加
一度抽出した文脈束を削除、再抽出する機能を追加しました。 これは、 という場合に、文脈束を抽出し直したり、新たに抽出したりしたいから。 ZIKUUのソフトウェアは、基本的に、 という機能を備えることにしています。 これは … 続きを読む
LLM Broker
Codex Desktopを使う
「LLM BrokerをCodex対応にするためにResponses APIを追加実装」でやったLLM BrokerへのResponses API実装の結果、完全なローカル環境でCodex CLIが使えるようになったので … 続きを読む
LLM Brokerが地味に便利だという話
簡単なシェルスクリプトを書いて、LLM Broker (ZIKUUのGPUサーバーで動いている）を利用できるようにしました。 このように呼び出すと このように返ってきます。 クローズドループステッパー（閉ループステッパー … 続きを読む
Ubuntu 24.04のCodex CLIでハマった点
数日前に、LLM BrokerがOpenAI Responses APIに対応したことで、Codexと接続できるようになりました。 Ubuntu 22.04開発機でCodexを気持ちよく使っていました。 塾生向けのドキュ … 続きを読む
Whisper PlaygroundをLLM Broker対応にする
Whisper PlaygroundはZIKUU内で使われる YouTube動画の文字起こしアプリです。 Whisper自体はCPUを使った別ルートですが、外国語を日本語に翻訳する機能で、LLMに翻訳をさせています。その … 続きを読む
LLM BrokerをCodex対応にするためにResponses APIを追加実装
前回までに、OpenAI準拠APIの に対応し、Open WebUIやVS CodeプラグインのContinueから接続できるようになりました。 今回は、Codexから接続できるように Responses APIを追加し … 続きを読む
LLM BrokerをTool Call対応にする
昨日はStream出力対応までやったので、今日はTool Call対応です。 それほど大きな変更ではありません。 上のスクリーンショットは、Open WebUIからLLM Brokerに接続し、Tool callのオフと … 続きを読む
LLM BrokerのOpenAI APIにストリーム出力機能を実装する
昨日は、Open WebUIからOpenAI APIでLLM Brokerに接続できる、というところまでやりました。今日は、LLM Brokerにストリーム出力機能を実装しました。 開発で使っているPCは CPUがCor … 続きを読む
LLM BrokerにOpenAI API準拠機能を追加する
コアサービスが本番稼働に漕ぎ着けたので、しばらくゆっくりしようと思っていましたが、やることがあるとじっとしていられません。 必要だと思って作った仕組みの上に、新しい必要が見えてくる。 必要は必要の母です。 LLM Bro … 続きを読む