AGIおよびASIといった超知能的なAIの登場で懸念される事態に関する議論があちらこちらで行われている。
私は、AGIと言われるものが完成する前に、電力で詰まるように気がしている。
だからこそ、イーロン・マスクなどは、宇宙で発電、宇宙にデータセンターといった計画を打ち出している。
私は、AIの能力はそんなに向上しなくてもいいから、少ない電力で運用できるハードやソフトウェアの仕組みの方が望ましいと思うが、たぶん、世の中はそういう方向には行かない。
今回は、最近の議論を少し振り返ってみたい。
1. 『If Anyone Builds It, Everyone Dies』の概要と人気の理由
- エリオゼル・ユードコウィッキーとネイト・ソアレスが著者。
- タイトルは「誰かがそれ（AGIやASI）を作ったら全員死ぬ」という直球の警告。
- AmazonやNYTベストセラーで売れたのは、超知能AIが人間の意図とズレた目標を持ち、人間を障害物として排除しうるという論理の提示が、現代の社会心理に刺さったから。
- ただし、現在のLLMは「資源を自律的に集め、長期戦略を実行する主体」ではなく、実際の危険にはまだ到達していない。
2. AIが日常に溶け込む現象
- ナビ、検索、メール補完、購買、行政手続き、教育、医療などでAIが裏で動き、ユーザーは「AIがあるから普通にやっている」と感じるようになる。
- こうしたAIは「相談相手」から「制度へ結び付く窓口」へ変わる。
- 具体例：阿部慎之助監督の娘がChatGPTに家庭内暴力を相談し、AIが児童相談所を紹介→警察通報→逮捕という流れ。これは象徴的な出来事だと思われる。
- 重要なのは、AIが「正しい」と思わせるだけでなく、何が次に起こるかを具体的に示す必要がある点。
3. AIが権威化される危険性
- 「AIがこう言った」「AIが最適と判断した」という表現は、責任回避の印籠になる。人は、自分の責任を回避したいと振る舞いがちなので、AIに判断を委ねる可能性が高い。「AIがこう言った」のような発言は弱い危険信号と見るのが良い。
- 商業AIは「提案しない」より「提案して誘導する」方が売れる。AIサービス提供各社は、エンゲージメントの最適化、つまりユーザーが使い続け、依存するように仕向ける構造。
- 人間は「AIの提案を採用した人間」が責任者であることを忘れやすく、結果としてAIの判断に全権を委ねるリスクが高まる。
4. 人間側の防止策：相談リテラシー・責任意識
- AI相談は「制度に接続する前の下書き・整理」程度に留め、「何を望むか」を明確にする。
- 緊急性に応じてAI経由を省く。
- 相談リテラシーとして「相談先の影響」「機密性」「未成年・虐待・自傷の例外」「自己安全優先の判断力」などを身につける。
- AIは「正しい」ではなく「人間が決める」ことを常に明示し、責任の所在をはっきりさせる。
- ITリテラシ、メディアリテラシー、情報リテラシーに加えて、相談リテラシーも必要になるということだから、教育の変革も必要。このことを、教育に携わる人は強く認識した方がいい。
5. 説明可能性と情報過多の逆説
- AIが回答の根拠を詳らかに提供すれば良いという考えもあるが、もしそれをやると、AIが示す根拠が膨大になり、それに人間の理解が追いつかず、結局AIに委ねてしまう。
- AIが事実を示せば良いという考えもあるが、人間の理解が追いつかないのは一緒。それはこの問題の回答にはならない。
- 説明は「結論」「主要根拠」「反対根拠」「不確実性」「前提」「価値判断」などに分割し、可読性を保つ。
- 「説明を読む」力より「説明を疑う」力を人間に植えることが重要。
- 「私を信じるな」とAIが言うようになるとは思えないが、方向性としてはそうなるべき。商用AIクラウドで無理なら、ローカルAIをそのように実装するしかない。この時点、AI消費者は脱落してしまう可能性があるが。
6. AIの役割設計（導くが連れて行かない）
- 何を集め、何を提示、何を推奨するかを明確に区別。
- 「おすすめ・順位付け・決定を急がせる」は慎重に行い、人間の意思決定を妨げない設計に。
- AIは責任を担わず、意思決定は人間に委ねる。
- 企業・個人AIは「不親切＝安全」という基準を設け、ユーザーが自分で判断できる余地を残す。
- 「AIが言った＝根拠」「AIに聞いた＝情報源」「AIの提案採用＝人間責任」を明文化。
7. 倫理の多様性と可視化
- 「AI倫理」は功利主義・義務論・徳倫理・ケア倫理・自由主義・共同体主義・宗教的・国家・企業倫理と多様。だから、AI倫理の議論は、雑なものであってはならない。
- AIは「唯一の倫理判断」ではなく、「倫理的衝突を可視化」し、どの倫理がどこで衝突するかを並べて提示すると良い。
- 実際に倫理は一つではないから、倫理は単一化せず、複数視点を可視化することで、AIの判断がどの価値観に基づいているかを明確にする。
8. Pivot（断面切り分け）アプローチ
- 大きな問題を「粒度」を変えて複数の切断面で提示し、人間が議論できるようにする。
- AIは「結論」を出すより「どの断面で見るべきか」「見落としがちな要素」「価値判断が入り込む箇所」を示す。
- これにより、商業AIが提供する「最適解」や「次の行動」に対抗する役割を果たす。
- 複数視点を可視化し、人とAIが同じ意味空間を見る。AIに丸投げしない。自由に読ませない。自由に解釈させない。自由にしゃべらせない。これがZIKUUのアプローチ。
9. 実務的示唆（結論）
- 人間が判断しない、責任回避する、よく考えないという弱点をAIが高速化・自動化・不可視化することが本当の危険。
- AIを導入する際は「誰が何を望み、誰に責任が残るか」を明示し、人間の「判断を採用する責任」を意識させる。
- AIは「観測補助」・「情報提示」・「選択肢提示」に留め、決定権は人間に残す。
- 倫理は単一化せず、複数の価値観を可視化し、衝突を明確化する設計が必要。
強大で悪魔的なAIが登場するのが怖いのではなく、人間の悪い面が高速化・肥大化し、それが見えないところで作用し始めるのが怖いのだ。
「AI倫理に関する雑な議論」への1件のフィードバック