オープンソースが大好きなモノづくり塾には朗報です。
生成AI界隈で話題沸騰しているDeepseek R1。Deepseekは米国から高性能GPUの輸出を規制されたチャイナで開発されました。計算資源としてのGPUが少なくても高性能な大規模言語モデルを開発できることを示したわけですが、これによって一時的にNVIDIAなどのAI関連企業や電気関連企業（AIの開発・運用には膨大な電力が必要）の株価が下がり、大騒ぎになりました。
Deekseekは、
- 人の介在なしの強化学習
- 大手LLM企業のモデルを凌駕するという性能
- 少ない計算資源での開発やチューニングが可能
- オープンソース戦略の採用
と、魅力的な生成AIモデルです。
オープンソースとは言っても、すべてがオープンソースになっていないので、ファインチューニングや追加学習はできても、ゼロから同様のモデルを開発できません。そこでAI関連ソフトウェアやツールの共有を行っているHuggingFaceは、この話題のDeepseekの非公開部分を推測しながらオープンソース版の開発を進めると発表しました。すでにリポジトリが公開されています。
ちなみにHuggingFaceは生成AIで利用されるTransformerやDiffuserもオープンソースとして公開しているので、ソースコードを読めば勉強になります。
ChatGPTで有名なOpenAIですが、社名から連想するようなオープンな会社ではありません。ChatGPTもオープンソースではありません。それが共産党独裁国家と言われるチャイナの会社がオープンソースを謳い、性能的にも追いつきそうだという面白い現象です。
RISC-VなどCPUアーキテクチャーの半導体の開発もチャイナは熱心です。半導体やAI関連の技術者の数も多いようですし、開発のピッチも速いです。上昇志向エネルギーは日本人よりは大きいかもしれませんね。
少ない計算資源で開発できるとは言っても、ある程度の強いGPUやサーバーが必要です。今はそこに手が届きませんが、手が届く日が来ることを信じて勉強を続けます。
私のような老人（還暦過ぎれば老人ですよね？）よりも、若い技術者がたくさん参加するのが良いです。若い人にGPUを配るプロジェクトやっている有志もいますが、基礎教育や導入教育をやる機関がもっと増えると良いなと思います。モノづくり塾もGPUを配れるようななったらいいな。
ちなみにChatGPTにしてもDeepseekにしても、Webサービスとして提供されているものを使うと、あなたの入力はあちらに利用されるということは想像できますよね。学習に使ったデータも統制されたものです。SiriやLINEやTikTokなどについても、個人情報をあちら側が盗んでいると言われます。時々、そういうソフトウェアを使った行政サービスを見ますが、そんなことで良いのかと疑問になります。ITリテラシー不足なのかな。いつの時代も手っ取り早く利益が得られるモノには注意が必要です。
やるならオープンソースのものをローカルで動かしたいと思いますよね。個人情報を守り情報統制されないためには、オープンソースがいいですよね。