２つの大規模言語モデル、ChatGPT（無料版）とELYZA（手持ちのPCで動かしている自作プログラム）に同じ質問を投げてみた結果です。ELYZAが結構健闘しているように思います。
質問: 文章生成AIを自作するには何を勉強すればいいですか？
ChatGPTの回答
文章生成AIを自作するには、以下のステップとスキルが必要です：
1. プログラミング言語の学習: Pythonが一般的に使用されます。Pythonを習得することが重要です。
2. 機械学習の基礎: 機械学習の基本的な理論とアルゴリズムについて学びましょう。
3. ディープラーニング: ニューラルネットワークの理解と深層学習フレームワーク（例: TensorFlowやPyTorch）の使用を学びます。
4. 自然言語処理（NLP）: NLPの基本的な原則と技術を習得し、テキストデータの処理について学びます。
5. テキスト生成モデル: リカレントニューラルネットワーク（RNN）やトランスフォーマモデルの理解と実装が必要です。
6. データ収集と前処理: 文章データの収集、クリーニング、トークン化などのスキルが必要です。
7. モデルのトレーニング: 自分のデータでモデルをトレーニングし、チューニングする方法を学びます。
8. エステティクスとコンテンツ: 生成される文章の品質やスタイルを向上させるための文学的スキルも重要です。
9. コンピュータリソース: 大規模なモデルをトレーニングするために適切なハードウェアリソースが必要です。
10. 倫理と法的規制: 文章生成に関連する倫理的な問題や法的規制についても学びましょう。
これらのスキルと知識を習得することで、文章生成AIを自作する準備が整います。実際のプロジェクトに取り組みながら経験を積むことも大切です。ELYZAの回答
文章生成AIを自身で作成するために必要なスキルや知識は、次の通りです。
1. 機械学習の基礎: 文章生成AIを構築する際には、機械学習の基礎的な技術やアルゴリズムを理解しておく必要があります。特に、深層学習の手法を用いる場合は、ディープラーニングの技術と、それを用いたモデルの実装方法について十分に勉強しておくことが重要です。
2. プログラミング: 文章生成AIはプログラムによって構築されるため、理論的に理解しただけでは自作することはできません。pythonやRubyなどを用いて機械学習のアルゴリズムをプログラムすることで、自身でも使えるレベルまでスキルを向上させましょう。
3. データセットの作成: 文章生成AIは大量のデータセットから学習を行うため、適切なデータセットを作成できるよう知識と経験が不可欠です。様々な文章や事象の出現確率を予測できるようにバランスよくデータセットを構築しましょう。
4. モデルの最適化: モデルは数あるパラメータの中から最適解を見つけることで、人間に近い文章生成ができるようになります。多くの場合、モデルのパラメータの調整が必要となり、その過程において経験を積むことが大切です。
5. 性能評価: 自作した文章生成AIのモデルが適切な性能を発揮しているか、他に類を見ないような特異的な挙動がないかを検証する必要があります。
6. セキュリティと安全性: 文章生成AIは重要な情報を扱うことが多いことから、不正アクセスやデータ漏洩などの脅威に晒されてもならないように設計・構築を行いましょう。
文章生成AIの自作を目指す際には上記のトピックを抑えてしっかり学ぶことで、理想的な結果を得ることができるでしょう。手元で言語モデルを動かそう！
ELYZAを使ったプログラムはGPU搭載でないPCでも動くように自作した簡単なものです。こういうものを作って動かすだけでAIが身近なものになると思います。是非、自分のPCで動かしてみましょう。プログラムはモノづくり塾のGitLabリポジトリに置いてあるので塾生さんは自由に使えます。