「AIの大惨事」を想定しながら開発を止めない理由——囚人のジレンマと人間の制御不全

「AIが大惨事を起こした翌日」に備える開発企業たち

京都の亀岡で中小企業のIT活用やAI導入を支援していると、日々進化するAIの利便性に感嘆する一方で、その進化のスピードがもたらす構造的なリスクについて考え込まされることがあります。

2024年10月、米国のニュースメディア「Axios（アクシオス）」が興味深いスクープを報じました。OpenAIやAnthropicといった世界トップクラスのAI開発企業が、「AIによる重大な大惨事や事故が起きた翌日」の対応準備を進めているという内容です。

ここで想定されている「大惨事」とは、単なるシステムの小さな不具合ではありません。サイバー攻撃によって金融機関が停止したり、通信インフラや電力、水道といった社会的基盤が麻痺したりするような、深刻な事態です。さらに業界関係者のなかには、こうした重大事件が「6カ月から12カ月以内」に起きる可能性すら視野に入れている者がいると伝えられています。

驚くべきは、彼らが事故を防ぐ技術研究だけでなく、「事故が起きてしまった後、政府や議会にどう説明し、どのような規制議論に関わっていくか」という政治的・法的な危機管理まで想定している点です。

そこまで危険性を認知し、惨事の発生を現実的な確率として捉えているのなら、「なぜ開発のスピードを緩めたり、一時停止したりしないのか」という疑問が当然浮かびます。しかし、実態を掘り下げていくと、誰にも開発を止められない構造的な理由が見えてきます。

なぜ危険だと知りながら開発を緩められないのか

開発を緩められない最大の理由は、社会学や経済学で言われる「囚人のジレンマ」の構造にあります。

仮に、ある有力なAI企業が「安全性が完全に確認できるまで、今後1年間は新しいモデルの開発を停止する」と宣言したとしましょう。もし世界中のすべての競合企業や他国が一斉に開発を止めてくれるなら、安全な検証期間が確保できます。

しかし、現実には自社が立ち止まっている間にも、競合他社や海外の開発機関は猛スピードで研究を続けます。新薬開発やソフトウェア生成、科学研究のスピードで他社に先を越されるだけでなく、高性能なAIは国家の経済力や安全保障にも直結するため、一国・一企業の判断で開発を止めることは極めて困難です。

「危ないことは分かっている。しかし、自分たちだけが止まれば負けてしまう」

一人ひとりの研究者や経営者が誠実に安全性を考えていたとしても、市場原理と国際的な競合関係が存在する以上、全体としてはリスクの高い方向へと進まざるを得ないのが現状です。

さらに厄介なのは、AI自身が「次のAIの開発」を補助し始めている点です。開発のサイクルが人間だけのスピードを超えて加速していくなかで、人間がブレーキを踏む難易度は上がり続けています。

攻撃も防御もAI——逃げられないイタチごっこ

最近では日本国内でも、大手企業のサービスから数百万〜数千万人規模の個人情報が流出する被害が相次いでいます。これらは現時点でAIが主犯と特定されているわけではありませんが、高度なAIが攻撃手法に本格的に取り入れられれば、脅威の質と量は激変します。

従来であれば専門家が何日もかけて探していたシステムの脆弱性を、AIを使えば短時間で見つけ出し、攻撃用のコードを並行して生成することが可能になりつつあります。攻撃側のコストが劇的に下がるわけです。

これに対し、防衛側の中小企業やインフラ事業者がセキュリティ担当者を10倍に増やせるわけではありません。結果として、守る側もAIを使った防衛システムを頼らざるを得なくなります。

実際、Axiosの報道の前日には、Anthropic社が電力網や水道といった重要インフラを守る組織向けに、高度なAI技術を提供する取り組みを発表しています。AIによる脅威を防ぐために、より強力なAIを配備する。すると攻撃側はさらに高度なAI手法を探す——。この終わりのない「イタチごっこ」が繰り広げられています。

一度社会の防衛基盤をAIに依存してしまうと、危険だからといってAIを停止すること自体が、社会の機能を止めてしまう新たなリスクを生むことになります。

歴史が教える「事故が起きても競争は止まらない」現実

「本当に大きな事故が起きれば、さすがに世界中が反省して開発を止めるのではないか」と思いたくなります。しかし、人類の歴史を振り返ると、必ずしもそうはなりませんでした。

1945年に原子爆弾が使用され、その圧倒的な破壊力が世界に知れ渡った後、人類は核兵器の開発を止めたでしょうか。現実は逆でした。相手が持っているから自分たちも持たねばならないという理論のもと、米ソによる激しい核開発競争へと突入していきました。

AIは核物質のような物理的な資材を必要とせず、ソフトウェアとして世界中に分散・複製されます。民間利用や経済活動とも深く結びついているため、条約による一括禁止は核兵器以上に困難です。

仮に大規模なサイバー事故が発生した場合、「AIを規制せよ」という声が高まる一方で、政府や企業は「次の未知の攻撃を防ぐために、さらに強力な防衛AIを作らなければならない」と考え、かえって開発予算や研究資源が集中する可能性すらあります。「危機が起きたからこそ、開発が加速する」という皮肉なシナリオも十分に考えられるのです。

AIの制御よりも難しい「人間社会の競争」の制御

私たちが直面している問題の本質は、「AIという技術をコントロールできるか」という技術的アライメントの問題にとどまりません。「技術を競い合う人間社会そのものをコントロールできるか」という、人間側の構造的な課題です。

専門知識や計算資源が一部の巨大IT企業に偏在している現状では、政府や第三者機関がAIの安全性を完璧に評価・監視することも容易ではありません。規制を作ろうとしている間に、既存の法律が想定していないレベルの新型AIが登場してしまうからです。

私たち中小企業の経営者にとっても、この話は決して遠い世界の出来事ではありません。技術の進化によって便利なツールが次々と手に入る一方で、自社のデータ保護や業務基盤の安全性をどう保つかという問題は、ますます複雑になっています。

過度に恐れる必要はありませんが、「技術は止められない」という前提に立ち、便利さを享受しながらもリスクを分散・管理していく視点が、これからの事業者には求められています。

CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・ホームページ制作を支援しています。現場の業務改善やセキュリティ対策、AIの具体的な活用方法など、お気軽にご相談ください。