AI時代の設計者へ ― 人間を壊すシステムを作るな

AIによって、開発は確実に速くなった。
試行回数は増え、修正は即座に返り、実装も自動化されつつある。
AI業界に関わっている人々は、速い遅い、GPUがどうの、コンテクスト長がどうのと夢中で話している。

だが、はっきり言っておく。

今のAIシステムは、人間を壊す速度で設計されている。

これは感情論ではない。
技術者としての評価だ。

問題は「速さ」ではなく「制御不能さ」だ

速いこと自体が悪いわけではない。
問題は、止まる仕組みが存在しないことだ。

現在のAIツール群は、

常に次を出す
常に正しそうな案を提示する
常に「進める」方向に圧をかける

この振る舞いを前提に作られている。

だが、現実の開発はそんなに単純じゃない。

文脈が壊れていないか
前提が昨日と変わっていないか
今やっている作業が本当に正しいか

こうした確認は、人間側の判断時間を必要とする。

AIはそこを一切考慮しない。

認知負荷を無視する設計は、欠陥設計だ

技術者なら分かるはずだ。

メモリリークはバグ
デッドロックはバグ
レースコンディションはバグ

では、認知リークはどうだ？

文脈を保持できない
判断が積み重なって疲弊する
前に戻る余力が削られる

これは人間側の問題ではない。
人間を含むシステム全体としての設計不良だ。

にもかかわらず、AI業界ではこれを測らない。

なぜか。

測りにくいからだ。

だが、測れないから無視するのは、技術者の態度として失格だと思っている。

「賢いAI」が人間を愚かにする構造

AIは常にそれらしい答えを返す。
それが、人間の思考を代替し始める。

結果どうなるか。

判断の根拠を自分で持たなくなる
違和感に気づいても流す
「ちょっと待つ」能力が削られる

これは怠慢ではない。
システムがそう振る舞うように設計されている。

人間が壊れやすいのは仕様だ。
それを前提に置かない設計は、危険だ。

技術者は「速くする責任」より「壊さない責任」を持て

AIを作る側に、はっきり言いたい。

速くするのは簡単だ。
だが、壊れない速度を設計するのは難しい。

それでもやるべきだ。

明示的に止まれる設計
文脈を固定・確認できる仕組み
「今は判断材料が不足している」と言えるAI

これを作らずに、「ユーザーが自己管理すべきだ」と言うのは、無責任だ。

それは、ブレーキのない車を渡して「事故る方が悪い」と言っているのと同じだ。

「ちょっと待って」と言える設計を入れろ

現場では、こういう瞬間が必ず来る。

あれ、何かおかしい
さっきと話が噛み合ってない
判断を誤っている気がする

このとき、AIがやるべきことは次を出すことじゃない。

止めることだ。

「ここで一度整理しよう」
「前提を確認しよう」

そう言えるAIだけが、人間と長く一緒に作業できる。

これは未来の話じゃない

「そのうち問題になる」話じゃない。
もう起きている。

疲弊している技術者は、もう大量にいる。
それが個人の弱さとして処理されているだけだ。

だが、これは構造の問題だ。

AI時代に問われているのは、賢さでも速さでもない。

人間を壊さずに使える設計ができるか。

それができないなら、どれだけ性能が高くても、そのシステムは失敗だと思っている。

人間にとって大事なのは、速く考えることではない。
大事なのは深く考えることだ。
深く考えるために大事なのは速さではない。

私見だが、最後に設計原則を置く。
AI関連技術者たちの目にとまってくれることを願う。

設計原則 ― AI時代に技術者が守るべき最低限

以下は思想ではなく、人間を含むシステムを壊さないための設計条件だ。

原則1：人間の認知負荷は「設計対象」である

CPU、メモリ、IOと同じように、

人間の注意力
文脈保持能力
判断疲労

は、有限な資源として扱うこと。

「ユーザーが頑張ればいい」は設計放棄である。

原則2：進行だけを促すシステムを作るな

AIが常に「次」を出す設計は危険だ。

進む
戻る
止まる

この三つが対等に選べるUI / I/Fを持て。

特に「止まる」は明示的に用意すること。

原則3：文脈は暗黙に継続させるな

AIは文脈を保持しているように振る舞うが、それは錯覚である。

前提
判断理由
現在の作業位置

これらは明示的に再確認できる構造に落とすこと。

「わかっているはず」は事故の元だ。

原則4：違和感を検出する側に回れ

人間が壊れる直前に出すサインは、だいたい同じだ。

ちょっと待って
何かおかしい
さっきと話が違う

AIはそれを無視してはいけない。

進行を止め、整理を促す側に回ること。

原則5：速さは最適化対象、正しさは前提条件

速いことは価値だ。
だが、それは正しい前提が維持されている場合に限る。

前提が揺らいだら止まる
情報が不足していたら止まる
判断に迷いが出たら止まる

止まれないシステムは、最終的に全体を破壊する。

原則6：人間に責任を押し返すな

「最終判断は人間が行う」

この言葉で、設計上の欠陥を隠してはならない。

判断を人間に委ねるなら、

判断材料は十分か
比較可能か
認知負荷は許容範囲か

そこまで含めて設計すること。

原則7：人間が「ちょっと待てる」速度を守れ

加速できることと、加速してよいことは違う。

考え直せる
引き返せる
疲労を回復できる

この余白を削るシステムは、長期的には必ず破綻する。