LLM Brokerを作る
複数のLLM Runner を用途ごとに切り替えて使えるようにしたいと思い、LLM Brokerというサーバーの開発を始めました。 本番環境のサーバーは、いずれ省電力なミニPCにしようと思っていますが、Strix Poi … 続きを読む
llama.cpp
複数のLLM Runner を用途ごとに切り替えて使えるようにしたいと思い、LLM Brokerというサーバーの開発を始めました。 本番環境のサーバーは、いずれ省電力なミニPCにしようと思っていますが、Strix Poi … 続きを読む