生成AIを動かす環境構築

試験的に色々と試しています。

現在までに、言語モデルを動かす環境をDockerで作る仕組みの文書化(ZIKUUのGitHubリポジトリに登録済み)、小さな言語モデルをファインチューニングする環境の構築、画像生成AIであるStable Diffusionの実行環境の構築などを手元のPCで行いました。

Dockerで作った環境には、簡単な文書生成プログラムとそれを呼び出すWebUIが入っています。生成AI初心者でも短時間で生成AIを動かして試すことができるでしょう。

現時点での計画は、Webスクレイピングを利用してモノづくり知識を集める、集めたモノづくり知識をデータベース化し文章を編集して洗練させる、その洗練された文章からファインチューニング用のデータセットを作る、塾のPCで運用する生成AIのモデルにファインチューニングを施す、みんなで利用するというものです。

Webスクレイピングを行う簡単なサンプルコードも書きました。これもZIKUUのGitHubリポジトリに登録済みです。

コメントする