LLM BrokerをTool Call対応にする

昨日はStream出力対応までやったので、今日はTool Call対応です。

それほど大きな変更ではありません。

上のスクリーンショットは、Open WebUIからLLM Brokerに接続し、Tool callのオフとオンで応答を表示したときの様子です。

現時点で、ほぼOllamaの代わりとして使える状態になっています。

この数日の作業で、LLM Brokerを含むコアサービスをソースコードの行数は少し増えて、94万行ほどになりました。

バグではないものの、改善した箇所が出てきたら、随時修正を入れていきますし、機能追加は継続的に行うので、100万行を超えるのはそんなに遠い未来のことではなさそうです。

「LLM BrokerをTool Call対応にする」への1件のフィードバック

コメントする