昨日から動かしている大規模言語モデルの追加学習。基本的な学習が済んだモデル（Pretrained Model）のファインチューニングと呼ばれる作業です。
たったの2000件のデータセット、サイズにして17.1MBのテキストから学習するのにすでに12時間PCをフル稼働させていますが、まだやっと半分進んだところです。
CPUとGPUの温度が上がらないように、冷房が効いた部屋で扇風機でPC内に送風しています。12時間待って熱暴走で止まったなんていうことになると洒落になりません。
ChatGPTは570GBのデータセットで学習したと言われていますから、この30,000倍程の規模です。ニューラルネットワーク規模も桁違いに大きいので、学習作業の規模は更に大きいです。
このPCの場合、フル稼働した時の消費電力は400W/hほどですが、エアコンや扇風機の電力も含めると1kw/hは行きそうです。それを何十時間もフル稼働させるのが機械学習というものです。これがAI用の省電力チップ開発を行う新興企業が出てくる理由です。
コンスタントに1kw/hを24時間使うというのは一般家庭の１日分の消費電力に近いのでしょうから、ChatGPT規模感を掴めますか？
破壊的なテクノロジーですよね。
原発を増設しようという話になってもおかしくありません。安定的に電力を供給しようと思うと所謂自然エネルギーなどには頼れませんから。
地域再生という掛け声で活動しているみなさんは、キャンプ（野宿）して野草を食べたり竹を切って流しそうめんをやったり炊飯したり、原始時代の暮らしの真似をするのが大好きです。きっと子どもたちが喜ぶ顔が見たいのでしょうし何かをやって気にもなれます。わざわざ不便な思いをしに行くキャンプはたまにやるなら楽しいです。自然との触れ合いも大事だと言いますが、それも常に自然に晒されて暮らしているわけではないから大事だって言えるんじゃないでしょう。
そういう人たちが大好きな言葉にSDGsというものがありますが、持続可能性と開発という矛盾した言葉を繋げた変な思想概念ですよね。ご都合主義的に気持ちの良い部分だけを取り出すのではなく全体を見て判断したいものです。
これ、AIとすごく関係があります。
AIは膨大なエネルギーを使いますし、それができる企業は限られます。なので開発はそういう人たちがやります。膨大なエネルギーを使うのは俺達だ、という話なのです。その他大勢は避難民のような暮らしをすれば良い。これがSDGsがもたらす社会です。
お前たちは野宿しながら虫や草を食えばいい。
これがSDGsを推める人たちの本音です。これを勝手に良い方に解釈して、良いSDGsと悪いSDGsがあって、自分は良いSDGsをやるから大丈夫だという人もいますが、それは罠みないたものでSDGsと言葉を浸透させる尖兵になっているだけです。ここに気づかないといずれは避難民です。
自分はAIを使わない、わからないから関わりたくないという人もいると思いますが、テクノロジーを使う人がいることと、それを止めるのは極めて困難だということは認識しておきたいものです。自分がいくら関係ないと思っていても世の中は流れていく。回転したり蛇行したり変化したりしながら流れます。
持続可能性という言葉の美しさに誘われて持続可能性のための犠牲になっていくような自滅の道を歩むのは避けたいところです。
モノづくり塾はSDGsを掲げる活動はしません。科学も技術もちゃんと理解して使えるようになって欲しいです。