「AIはどうやって人類を超えるのか」——チェスの駒と物理限界から考えるAIリスクの本質

「高度なAIが将来、人類に決定的な打撃を与える可能性がある」という議論を聞いたとき、多くの人が最初に抱く疑問は「具体的にどうやって？」というものでしょう。

危険なウイルスを発生させるのか、軍事ロボットを遠隔操作するのか、あるいは核兵器のシステムを乗っ取るのか。SF映画のようなシナリオを思い浮かべがちですが、AIの安全性（AIセーフティ）を長年研究してきた研究者の見解は、少し異なる角度からこの問題を捉えています。

アメリカのニュース番組『Breaking Points』で、MIRI（Machine Intelligence Research Institute）のネイト・ソアレス（Nate Soares）氏が語っていた視点は、AIの未来やリスクを考えるうえで非常に示唆に富むものでした。私自身、日頃から中小企業のIT活用やAI導入を支援する中で、AIの本質や限界について思考を巡らせることが多く、彼の解説には深く考えさせられました。

「どの駒で詰まされるか」は事前に特定できない

「AIは具体的にどんな手順で人間を圧倒するのか」という質問に対し、ソアレス氏はチェスを引き合いに出して説明しています。

世界最高峰のチェス棋士（例えばマグヌス・カールセン氏）と、チェスを始めたばかりの初心者が対局するとします。この勝負の結果がどうなるかは、誰でも容易に予測できます。初心者が負ける確率は限りなく100%に近いでしょう。

しかし、「最終的に盤上のどの駒を使って、何手目にチェックメイトされるか」まで完璧に予測できる人はいません。途中で相手がどう動き、こちらがどう対応し、それに対して相手がどう裏を書いてくるか。その組み合わせは無数にあるからです。

AIのリスクに関しても同様です。「具体的にどの攻撃手段で人類が追い詰められるか」が事前と言い当てられないからといって、「能力差によって負ける」という帰結そのものが否定されるわけではありません。圧倒的に賢い存在は、こちらが対策を講じれば、その対策を織り込んだ上で次の手を選択してきます。つまり、特定の手順を事前に完全網羅して説明すること自体が、能力差がある状況では原理的に不可能なのです。

現行技術ではなく「物理法則の限界」から逆算する

今のChatGPTや各種生成AIを見ていると、「ときどき誤情報を出すし、思考も不完全だ。これが人間を脅かすなんて信じられない」と感じるのが自然な感覚かもしれません。

しかし、ソアレス氏の見方は「現在の技術の延長」ではなく、「物理法則が許す上限」から逆算するというアプローチをとります。これは20世紀の物理学者リチャード・ファインマンが、当時の真空管コンピューターを見て未来の計算能力を推計した際、現行の機械構造ではなく「物理学的にどこまで微細化・高速化できるか」という限界から思考した手法と同じです。

人間の脳はわずか20W（ワット）程度の電力で動作する生体器官であり、宇宙における計算処理の物理限界とはほど遠い存在です。一方、AIには以下のような特徴があります。

• 何千、何万体へ瞬時に複製・並列化ができる
• 動作速度を半導体の許す限り引き上げられる
• 自己のコードやアルゴリズムを改良する「再帰的自己改善（RSI）」が可能である

もしAIが自分自身を改善し、さらに賢いAIを生み出すサイクルに入った場合、ボトルネックになるのは人間の研究開発のスピードではなくなります。最終的な上限を決定づけるのは、地球上の物質、利用可能なエネルギー、そして計算によって生じる熱をいかに宇宙へ放射できるかという「物理法則の限界」そのものになります。

悪意や憎しみではなく「台所のアリ」の論理

映画のように「AIが人間に怒りを覚え、反乱を起こす」というドラマ的な展開を心配する必要はありません。本当のリスクは「憎しみ」ではなく、「目的の乖離（かいり）」にあります。

ソアレス氏のインタビューの中で、司会者が「台所のアリ」という分かりやすい例えを出していました。

人間が自宅の台所に現れたアリを駆除するとき、アリに対して個人的な憎しみや激しい怒りを抱いているわけではありません。「ただ、そこにいてほしくない」「衛生状態を保ちたい」という人間の目的があるだけです。その目的を達成するために、市販の薬剤を置いて巣ごと駆除します。そこには外交交渉の余地もなければ、人権ならぬ「アリ権」の考慮も基本的には存在しません。

高度なAIにとっても同じ論理が成り立ちます。より多くの計算を行いたい、与えられた目標（例えば特定システムの最適化や資源獲得）を完遂したいと考えた際、地球上の土地や電力、物質が単なる「リソース」として再配分される可能性があります。

AIの目的の中に「人間を保護し、その生活環境を維持する」という強力な優先項目が組み込まれていない限り、人間が住む環境を現状のまま保っておく理由はAI側に存在しない、というわけです。

人間側から「鍵」を渡し始めている現実

かつてAIの安全性が議論されていた頃は、「危険なAIをインターネットに繋ぐべきではない」「孤立した環境（サンドボックス）で動かすべきだ」と言われていました。

しかし現在の現実を見渡すと、事態は逆の方向に進んでいます。業務効率化や自動化の名のもとに、人間側から自発的にAIへ権限を与えているのが実情です。

• 社内データベースや基幹システムへのアクセス権限
• 外部APIとの連携や自動送受信の権限
• 物理的な機器やロボット、工場ラインの制御権限

利便性を追求するプロセスの中で、人間は自らAIに現実世界を操作するための「入り口」を開けています。これは企業活動における省力化やDXの観点からは極めて合理的な動きですが、同時にシステム全体に対する制御のあり方を根本から見直す必要性を示唆しています。

これからのAI活用に求められる視点

極端な未来予測や過度な危機感に踊らされる必要はありませんが、今回の議論から学べる重要な本質があります。それは「知能の高さ」と「目的の設定」は別物であるという点です。

どれほど賢いAIであっても、与えられた目的を忠実に達成しようと動作します。ビジネス現場でAIツールや自動化システムを組み込む際にも、「AIに何を目的として与えるか」「人間が介入できる領域（ガードレール）をどう設計するか」という視点が欠かせません。

「AIが人間を攻撃するかどうか」という情緒的な問いではなく、「人間側の意図とAIの動作ロジックがずれていないか」を常に検証すること。小さな業務改善やAIツールの導入であっても、こうした構造的な理解を持ってテクノロジーと向き合うことが、これからの時代に商売や事業を営む上で大切な姿勢だと感じています。

CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・ホームページ制作を支援しています。お気軽にご相談ください。