Inference Broker – 画像生成パラメーターへの対応など
少し使いにくかったInference Broker WebのUIを調整してから、画像生成系のテストで生成パラメーターを設定できるようにしました。 そのためにAMDのライブラリやNPUを使う場合の設定を調べるのにだいぶ時間 … 続きを読む
llama.cpp
LLM Runtime Agentの開発
LLM Runtime Agent は、ZIKUU Mini 上で動作する LLM / AI 推論バックエンドの起動・停止・状態確認を統一的に扱うための小さなホスト常駐サービスを作りました。LLM Brokerの背後で動 … 続きを読む
CPS – LLM Brokerに対応させてRegression Test
一昨日作ったLLM Brokerを使用するようにCPSを改造しました。 Ollama + gpt-oss:20bから、llama.cpp + gpt-oss-20b-Q4_K_M.ggufへの移行です。 開発用として、X … 続きを読む
LLM Brokerを作る
複数のLLM Runner を用途ごとに切り替えて使えるようにしたいと思い、LLM Brokerというサーバーの開発を始めました。 本番環境のサーバーは、いずれ省電力なミニPCにしようと思っていますが、Strix Poi … 続きを読む