LLM BrokerをCodex対応にするためにResponses APIを追加実装
前回までに、OpenAI準拠APIの に対応し、Open WebUIやVS CodeプラグインのContinueから接続できるようになりました。 今回は、Codexから接続できるように Responses APIを追加し … 続きを読む
LLM Broker
LLM BrokerをTool Call対応にする
昨日はStream出力対応までやったので、今日はTool Call対応です。 それほど大きな変更ではありません。 上のスクリーンショットは、Open WebUIからLLM Brokerに接続し、Tool callのオフと … 続きを読む
LLM BrokerのOpenAI APIにストリーム出力機能を実装する
昨日は、Open WebUIからOpenAI APIでLLM Brokerに接続できる、というところまでやりました。今日は、LLM Brokerにストリーム出力機能を実装しました。 開発で使っているPCは CPUがCor … 続きを読む
LLM BrokerにOpenAI API準拠機能を追加する
コアサービスが本番稼働に漕ぎ着けたので、しばらくゆっくりしようと思っていましたが、やることがあるとじっとしていられません。 必要だと思って作った仕組みの上に、新しい必要が見えてくる。 必要は必要の母です。 LLM Bro … 続きを読む
LLM Broker拡張案
LLM Brokerは のを目的に開発したミドルウェアですが、早速、拡張を検討しています。 現行の仕様は後方互換性を維持するために残し、新たにOpenAI API互換機能を追加する。 今は、Open WebUIから直接l … 続きを読む
Vibe PlaygroundをLLM Broker/Vision Broker対応にする
GPUを効率よく使うために作ったLLM BrokerとVision Brokerに対応するために、Vibe Playgroundを改修しました。 Vibe Playgroundについては、Vibeモデル および Vibe … 続きを読む
論文検索ボットをLLM Broker対応にする
AIチャットボットに引き続き、論文検索ボットをLLM Broker対応しました。 Discordの専用チャンネルで論文URLやキーワードを送信すると、5件の関連論文を検索して、ZRL (ZIKUU Research Li … 続きを読む
AIチャットボットをLLM Broker対応にする
昨日に続き、LLMを使用しているDiscordボットをLLM Broker対応にしていきます。 今日の一発目はAIチャットボット。 LLM Broker呼び出し部はこんなコードです。 LLM_PROFILEとLLM_BR … 続きを読む
調査ボットをLLM Broker対応にする
Context Pipeline Serverは開発中なので、開発機のみで検証すれば良いのですが、ここから先はLLM Broker対応はすべて本番環境で動いているアプリケーションに対して行います。神経がすり減らされる作業 … 続きを読む