以前、StreamlitでWeb UIを作りLlamaCppPythonを使って日本語言語モデルで文章生成するプログラムについての投稿をしましたが、モノづくり塾のサーバーで動かすためにDockerizeした際に原因不明のクラッシュが発生していました。ネットで検索して調べても同じ現象を見つけられずに困っていたところ「もしかすると」と思いLlamaCppPythonのバージョンを少し落としたところ問題が消えました。
問題が解決したので、早速Dockerイメージを作りサーバーにデプロイして動作を確認しました。
Dashyのダッシュボードににも登録。
Experimentの文書生成AIがそれです。今まで借り物の文書生成AIアプリケーションを動かしていましたが、それは停止してダッシュボードから削除しています。
以下、いくつか文書生成を試した様子です。
Streamlitはレスポンシブ対応なのでスマートフォンからアクセスすると適切なUIが表示されます。
