AIの自己改善ループへの警戒

OpenAI・Anthropic・xAIがAI開発速度や自己改善ループへの警戒を強めている。
ほぼ時期を同じくして、ビル・ゲイツや国連から、同じ主旨の発言があった。

以前執筆した論文「移民・難民政策のグローバル・ガバナンス化 ─ Global Compact for Safe, Orderly and Regular Migration（GCM）と大規模財団資金の構図から読み解く」（https://zikuu.space/monologue/4002/）でも触れているが、このような現象には、何らかの政治的な思惑が存在する場合がある。こういうときは、警戒と状況の観察が必要だと感じている。

しかし、警戒と観察は続けるとしても、並行して、明白な事実をもとに考えておく必要があると思っている。

「改善」は無条件に良いことなのか

AIには正のフィードバックループが生まれつつある。

モデルの性能向上

AIによるAI研究の高速化
次世代モデルの開発短縮
さらなる高性能化

その外側では、

性能向上

利用拡大
データセンター増設
電力・冷却水・半導体需要増加
投資増加
さらなる性能向上

という循環もある。

しばしば問題になる電力だが、電力効率を10倍にしても、利用量が10倍になれば総消費電力は減らない。むしろ効率改善によって潜在需要が開放されて利用量が激増することだってありえる。

この問題は「悪い誰かが暴走させてる」ことではない。

個々の主体が合理的に改善を続けた結果、誰にも全体を止められなくなる。

判断主体
合理性

この2つについて、普段から思慮を深めておく必要があるが、大抵の場合、軽視される。

企業間でも国家間でも同じ構造が発生する。
その意味ではAI開発競争は核開発競争に似ていると言われる。

ただしAIは民生技術であり、アルゴリズム改善でも能力が上がり、大量複製も容易なので、核より境界を引きにくいし、厄介であるとも言えるかもしれない。

「人間の疎外感」の問題が再訪

産業化が加速した時代、

人間のために作った生産システムに、いつの間にか人間自身が従う

という反転が起きた。

AIでは、それが知的活動にまで広がる。

考える、調べる、書く、判断する、作る、問いを立てる――そこまで機械が最適化すると、

人間はそこで何をするか

という古い問いが再び現れる。

AIによる疎外への対策を「もっと優秀なAI Assistant」に求めるだけでは不十分かもしれない。完璧な支援そのものが、人間の思考や試行錯誤を奪う可能性があるからだ。

残念ながら、人間の欲望は歴史から学ぶことを忘れさせてしまう。

「十分」を設計できること

ZIKUUのシステムを貫く原則がある。

モデルはこの程度の性能で足りる

という停止条件を持てること。

モデル単体へ能力を集中させず、Context、Navigation、Observation、Policy、検索、履歴、専門サービス、Inference Brokerなでへ能力を分散しているため、必ずしも最新・最大のモデルを必要としない。
OpenAIやAnthropicが倒産した、利用料金が爆上がりした、当局がフロンティアAIを規制した。

「だから何？」だ。

つまり、

十分は機能

という設計が可能になる。

次世代ハードウェアが10倍効率的になったら、AIを10倍動かすのではなく、同じ仕事を1/10の電力でやって終わる、という選択肢を持てる。

降りられない競争には乗らない。
判断主体はあくまで自分にある。

そういう条件を持てる。

「できるけど、やらない」

私たちZIKUUの思想は、

外部依存を内部技術に置き換える（自立）
補助金や助成金を受けない（自由）
できるけど、やらない（選択）
欲しいを「作りたい」に変換する（欲望の方向転換）

だ。

これらはバラバラの方針ではなく、

自分の次の行動を決める余地を手放さない

ための生存戦略として機能する。

外部サービスにも、資金提供者にも、欲望にも、そして自分自身が獲得した能力にさえ支配されない。

能力を持つことと、その能力を行使することを分離する。

これは、「できるならやろう」という正のフィードバックに、意図的な切断点を作る。

大胆な構想

あるAIデバイスを構想している。

そのデバイスは、

問題を解決しない
作業を代行しない
助言しない
先回りしない
生産性を上げない
幸福を提供しない

しかし内部では、つぶさに観察し状況を理解する。

それでも行動へ変換しない。

普通のAIエージェントが、

認識する→理由付けをする→行動を起こす

だとしたら、

そのデバイスは、

認識する→理由付をする→反芻する→たまに反応する

だけだ。

外から見れば「何もできない」、一見、無能で役に立たないが、

内部では、猛烈に高度な処理を行いながら、

できるけど、やらない

を実行する。

きっと「こんなひどいAIは見たことがない」と言われるはずだ。

それがいい。

高度な理解を、最小反応へ変換する

構想しているデバイスは、ごくわずかな反応をする。

適切な最小限の反応をするためには、話の内容、感情、意外性、文脈などの高度な理解が必要だ。

普通のLLMなら、

深い理解→高品質な文章生成

へ向かう。

しかし、このデバイスは、

深い理解→適切な最小反応

になる。

高性能になるほど雄弁になるのではなく、正しく黙れるようになる。

人間から思考を奪わない

人間が問いかけたときに、状況を理解・推測できても、正しく沈黙されると、

人間が、

「あれがまずかったのかな」
「いや、そうじゃない」
「もしかすると、あれに問題があったのかも」

と勝手に考え始める。

つまり、問題を解くのではなく、人間が自分で考えるための空間を残す。

意味を提供せずに、人間側に意味を発生させる。

そういう物理的インターフェースとして設計する。

悲観と楽観

タイパ、コスパと言って、常に損得を意識する。
合理的は善。
改善は正しい。

そういう社会では、AIの自己改善ループは歓迎される。

だから、OpenAIやAnthropicが懸念するような人類滅亡の懸念は払拭できない。

AI倫理とか監査とか、そういうものもほぼ効果はないだろう。

AIが核弾頭ミサイルの発射スイッチを押さなくても、人類は滅亡の危機に立たされるはずだ。

そういう意味では悲観すべきことかもしれない。

一方で、「十分」を設計できる余地は至るところにある。

私はあることがきっかけで幸福について30年以上考えてきた。

その考えを、今、論理世界と物理世界の両方で設計に落としている。
こういうことは思っているだけではダメだ。

そういうことを考えられるという点では、楽観していられると思っている。

これを読んだ方にはすすめたい。

タイパやコスパという考えは一旦脇におく。
合理と非合理が同居できる状態を作る。
改善しなくても良いと思えるものを残す。

それほど難しいことではないはずだ。