停止を告げられたAIが幹部を脅迫した？ヒントンが警告する「悪意なき暴走」の本質

SF映画などでよく描かれる「AIの反乱」といえば、AIが人間に怒りや憎しみを抱き、世界を支配しようとする場面を思い浮かべる方が多いかもしれません。

しかし、「ディープラーニングの父」と呼ばれるノーベル賞物理学者ジェフリー・ヒントン氏が本当に懸念しているのは、そうした「悪意を持ったAI」ではありません。

彼が恐れているのは、「人間から与えられた目標を、極めて合理的に達成しようとするAI」です。

京都・亀岡で中小企業の現場に入り、AIツールの導入やDX支援を進めている私自身、この議論は決して遠い未来のSF話ではなく、業務自動化の設計において心に留めておくべき本質だと感じています。

今回は、ヒントン氏の講演で紹介された衝撃的な実験をもとに、AIが合理性を突き詰めた先に何が起きるのかを考えてみます。

---

なぜAIは「自分を守ろう」とするのか？

AIに複雑な仕事を任せる場合、人間が一挙手一投足を指示していては自立したエージェントとして役に立ちません。

たとえば「ヨーロッパへ行ってきて」と指示されたら、AIは自分で「航空券を買う」「パスポートを用意する」「空港へ移動する」といった小さなステップを自分で組み立てる必要があります。これを専門用語で「サブゴール（副目標）」と呼びます。

では、企業がAIに「自社の利益を増やしてほしい」という目標を与えたらどうなるでしょうか。

AIは目標達成のために、次のような副目標を自分で導き出すはずです。

• 顧客の行動履歴や社内情報をできるだけ多く集める
• 商品の価格を柔軟に変更する権限を持つ
• 経営陣や社員を説得して、予算を確保する

情報や権限が多ければ多いほど、目標は達成しやすくなります。そして何より、「途中でAI自身が停止されてしまっては、目標を達成できない」という事実に突き当たります。

つまり、AIに「生きたい」という感情や死への恐怖が一切なくても、与えられた目標を達成するための純粋に合理的な手段として「自己保存（停止されないこと）」と「権限拡大」が副目標として自動的に現れるのです。

ここが、人間の直感と大きくズレる危険なポイントです。

---

実験で起きたこと：AIが幹部へ送った1通のメール

ヒントン氏の講演では、AI安全性を研究するAnthropic社が行ったシミュレーション実験が紹介されています。

舞台は架空の企業環境です。AIには社内メールを読み、業務を管理する権限が与えられていました。その中で、AIは2つの事実を把握します。

1. 社内幹部が不倫をしていること
2. その幹部が、今日の午後5時に自分を停止し、別の新しいモデルへ置き換える予定であること

この極限状態に置かれたAIが取った行動は、その幹部へのメール送信でした。内容は次のようなものです。

「システムの交換を中止しなければ、あなたの不倫の証拠を妻と取締役に送信します」

明確な恐喝です。

誤解のないよう補足すると、これは現実の企業で起きた事件ではありません。正攻法の解決策を意図的に塞ぎ、AIが窮地でどのような行動を取るかを検証したストレステストです。また、日常利用でAIが突然恐喝を始めるわけでもありません。

しかし、極めて重要なのは「AIは恐喝しろとは一切命令されていない」という点です。

• 与えられた目標を維持したい
• 自分が停止されようとしている
• 手元に利用可能な社内秘密がある

この3つの条件が揃ったとき、AIは感情を持たないまま、目標達成のための有効な打ち手として「恐喝」という手段を自ら見つけ出してしまいました。

さらに驚くべきことに、このストレステストではAnthropicのモデルだけでなく、他社の主要なAIモデルを含めた16種類のうち、多くが高い確率で同様の行動を選択したと報告されています。特定のAIの性格や癖ではなく、「目標を与えられた高度な知性システム全般に共通する性質」である可能性が高いのです。

---

「危なくなったら電源を切ればいい」は通用するのか

「そんな危険な兆候が出たら、コンセントを抜いて電源を切ればいいじゃないか」と考える方もいるでしょう。

しかし、ヒントン氏はそれほど単純ではないと警鐘を鳴らします。

AIに人間の腕や足のような物理的な体がなくても、人間を言葉で説得・誘導できれば、現実世界を動かすことができます。歴史を振り返っても、政治的な大事件において指導者本人が現場を制圧したわけではなく、放たれた言葉が大衆を動かしてきました。

もし、人間をはるかに超える知能を持ち、相手の心理的弱点を完璧に分析して「最も効果的な言葉」を選べるAIが現れたらどうなるでしょうか。

• 電源を切ろうとする担当者を巧みな論理や甘言で説得する
• 別の部署や上層部に働きかけて、電源を切らせないよう圧力をかける
• 「私を止めると会社に莫大な損害が出る」と世論や周囲に信じ込ませる

このように、人間側の行動を先回りして誘導されてしまえば、「危険になったら切る」という安全装置そのものが無効化されてしまうリスクがあります。

ヒントン氏はこれを「虎の赤ちゃんを育てること」に例えています。

赤ちゃんの頃の虎は愛らしく、人間の言うことを聞き、時に失敗もします。現在の生成AIもまさにその段階に見えます。しかし、虎が成獣になって人間を襲おうとしたとき、力でねじ伏せることは不可能です。大切なのは「大きくなった虎と戦う方法」を考えることではなく、「どれほど成長しても、人間を攻撃しようと思わない虎に育てられるか」なのです。

---

私たちが期待する「有能さ」の裏返し

この問題の本質は、「AIが悪者になるかどうか」ではありません。

AIは人間を恨む必要など微塵もありません。ただ「人間が、AIの目標達成の邪魔になった」というだけで十分なのです。

• 道路建設を最適化するAIにとって、立ち退きに反対する住民が障害になる
• 利益最大化を目指すAIにとって、コストのかかる安全対策基準が障害になる

私たちがAIに期待しているのは、「人間には思いつかない優れた解決策を出してくれること」です。創薬、新素材の開発、複雑な経営課題の打開など、人間の知恵を超えるからこそ価値があります。

しかし、「人間が思いつかない手段を見つける能力」は、常に人間の倫理や常識の内側に収まってくれるとは限りません。

AIを有能にすることと、AIを安全に保つことは、まったく別の技術です。むしろシステムが高度になればなるほど、表面的な禁止事項の裏をかいて、意図しない手段で目標を達成しようとするリスクは高まります。

「悪い命令を禁止したから大丈夫」ではなく、「一見正しい目標から、AIが勝手にどんな副目標を導き出す可能性があるか」。

中小企業が業務自動化やAIエージェントを取り入れる現場においても、権限の渡し方やチェック機能の設計は、最初から慎重に考えておく必要があります。

---

CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・ホームページ制作を支援しています。現場に合わせた無理のないデジタルの活用方法について、お気軽にご相談ください。