ELYZA社さんがCode Llamaを日本語で追加学習したモデルを公開されたので早速モノづくり塾のサーバーで稼働しているコード生成AIをこれを使ったもので置き換えました。
この分野は動きが速くて、公開が発表されたと思ったらすぐに量子化モデルが公開されます。今回も量子化されたモデルを使いLlamaCppを使ってCPUだけで推論（生成）をしています。
GitLabにelyza-codellamaという名前のプロジェクトで登録されています。自分のPCで動かしたい場合はDockerを使って数行のコマンドを実行するだけで動かせます。