モノづくり塾のサーバーは現時点ではGPUを搭載していません。文書生成AIについてはLlama-cppを使ってCPUのみで推論できるようにしていますが、画像生成AIもCPUのみで動かせると思い調べたら良いのが見つかりました。
stable-diffusion-webui-docker というプロジェクトです。
これをサーバーにデプロイしました。
現時点で18のコンテナが稼働していて、64GBのメモリの36%程度を常時使う状態です。
画像生成を試してみました。
512 x 512というサイズの画像を１枚生成するのに2分強かかります、CPUはCore i5 13400です。
動くには動くが常用するのは少し辛いという感じでしょうか。いずれこのサーバーにもGPUを追加して実用的に使えるようにするつもりです。