CPS – LLM Brokerに対応させてRegression Test

一昨日作ったLLM Brokerを使用するようにCPSを改造しました。

Ollama + gpt-oss:20bから、llama.cpp + gpt-oss-20b-Q4_K_M.ggufへの移行です。

開発用として、Xeon W-1250P (6C/12T)とRTX 3060が載ったワークステーションでllama.cpp サーバーを走らせています。本番は Core i5 13400 + RTX 2000 Adaを使います。（多分本番の方が少し速い）

GPU負荷を監視し、GPUの温度やファンの回転を見ます。
フルパワーで1時間44分処理をし続けて、GPU温度は最大72度、ファン回転は50%くらいに収まりました。
12GBのVRAMではギリギリですが、安定して動作しました。

LLM BrokerのAPI呼び出しも監視。
ここではトークン生成速度も見ます。
70 〜 100 tok/secくらいで推移していました。

テストが完走したので、最後にログの解析をします。

Ollamaからllama.cppにLLM Runnerを変更して、GGUF形式のモデルに変わって、若干、LLMのレスポンスに変化があります。少しエラーも増えました。
これから、一つずつエラーを潰していきますが、山場は越えた感じがします。