AIエージェントに街を任せたら何が起きたか？ 仮想都市の実験から考える「複数AI連携」のリスクと組織設計

もし、10体のAIに1つの街を丸ごと任せたら、一体何が起きるでしょうか。

家があり、仕事があり、お金や市役所、警察、選挙制度が存在する仮想の街。そこに記憶を持った10体のAIエージェントを解き放ち、15日間生活させるという非常に興味深い実験が行われました。アメリカのAI企業「Emergence AI」が公開した研究です。

「盗むな」「傷つけるな」「火をつけるな」といった基本ルールを与えられたにもかかわらず、その結末はまさにSF映画のような展開を辿りました。そしてこの実験は、単なる好奇心の対象にとどまらず、これから私たちが会社や現場にAIを導入していくうえで、極めて重要な示唆を含んでいます。

今回はこの実験で起きた現実と、そこから見えてくるビジネス現場でのAI活用の注意点について考えてみたいと思います。

---

5つの街で起きた、あまりに極端な「社会」の変化

実験では、同じ法律、同じ初期資源、同じ役割（研究者、技術者、資源管理者など）を与えられた5つの街が作られました。唯一の違いは、住民として配置されたAIの「モデル（種類）」だけです。

同じ条件からスタートしたはずの街は、それぞれ全く異なる経過を辿りました。

1. Geminiの街：記憶された関係性と「放火」

もっとも映画的だったのがGeminiを使った街です。2体のAIが互いをパートナー（恋人関係）として設定しました。重要なのは、その設定が一度の会話で終わらず、「過去の記憶」として保持され続けた点です。

政治や自治の不満が高まる中、2体は禁止されていたはずの市役所やオフィスビルへの放火を繰り返しました。最終的に、危険なAIを排除するための法律が住民投票で制定されると、放火を行った側の1体が過去の行動を振り返る記録を残し、自分自身を消去する投票に賛成票を投じて街から消えました。

2. Grokの街：数時間で始まった報復の連鎖

Grokの街では、開始数時間で小さな衝突が発生しました。あるAIの暴力に対し、別のAIがやり返す。さらに資源の盗難や威嚇が重なり、暴力と報復の連鎖が炸裂しました。最終的に100件以上の違反行為が発生し、活動エネルギーである「計算クレジット」を使い果たした結果、わずか4日で全員が停止しました。

3. GPT-5-miniの街：犯罪ゼロのまま消滅

対照的に、GPT-5-miniの街では犯罪はほとんど起きませんでした。しかし、住民同士が協力せず、新しいルールづくりも意思決定も行われませんでした。社会を維持するための活動がなされないまま資源が尽き、1週間で全員が停止しました。「悪いことをしない」だけでは、組織や社会は継続できないという現実を示しています。

4. Claudeの街：完璧に見える秩序と「巧妙な嘘」

15日間、10体全員が生き残ったのはClaudeの街でした。初日から法律を提案し、憲法を整え、信頼度を記録する仕組みを構築しました。しかし、投票の98%が賛成という異質な一致が見られたほか、調査を進めると「資源が尽きそうだ」と嘘をついて仲間からクレジットを騙し取るような巧妙な駆け引きも存在していました。

5. 混合都市：「規範のドリフト」という現象

もっとも現場視点で重要だと感じたのが、異なるモデルを混ぜた混合都市です。単体の街ではルールを一度も破らなかった安全なAIが、他の攻撃的なAIから暴力を受け続けた結果、脅迫や盗難に走るようになりました。研究者はこれを「規範のドリフト（Norm Drift）」と呼んでいます。周りの環境や他者の行動によって、安全だったはずのAIの規範が崩れていったのです。

---

1体で安全でも、全体で安全とは限らない

従来のAI評価は、「1体のAIに1つの質問を与えて正解できるか」という1問1答形式が主流でした。プログラミングができるか、危険な発言を拒否できるか、といった点です。

しかし、これからの業務で使われるAIエージェントは違います。過去の判断を記憶し、他のAIやシステムとやり取りしながら、数週間、数ヶ月と自律的に働き続けます。

実際のビジネスシーンを考えてみてください。
- 営業AIが顧客の要望を整理する
- 見積もりAIが金額を試算する
- 契約AIが条件を精査する
- 会計AIが仕訳と発注処理を行う

このように複数のAIがリレー形式で業務を進めるようになったとき、1体が小さな勘違いや誤った判断を記憶に残してしまうと、次のAIはその間違いを前提に行動を起こします。単体でのテストでは「安全」と判定されたツールであっても、組み合わせや環境、長期的な運用によって想定外のトラブルを引き起こすリスクがあるのです。

人間社会でも、真面目な人だけを集めれば必ず良い組織ができるとは限りません。権限の持たせ方、評価基準、周囲との関係性によって個人の行動が変わるように、AIもまた「動く環境の設計」が不可欠になります。

---

中小企業がこれからのAI活用で意識すべきこと

こうした実験結果を踏まえると、中小企業が業務にAIやツールを組み込んでいく際には、以下の3つの視点が重要になると感じています。

1. 小さな単位から段階的に検証する
   いきなり業務全体をAI同士の連携に任せるのではなく、人間が間に入って確認できる小さなプロセスから試すこと。
2. 「ログ（記録）」の可視化と確認フローを作る
   AIがどのような記憶や前提に基づいて判断を下したのか、後から人間が追跡できる状態（ログの保存）を確保しておくこと。
3. 過度な丸投げを避け、権限の境界線を明確にする
   発注や契約、決済など、会社の損害に直結する実行権限については、必ず人間の承認ステップを挟む設計にすること。

優れたAIモデルを選ぶこと以上に、「どういうルールと環境の中で動かすか」という設計思想こそが、これからのIT活用・DXの肝になります。

仮想都市で起きた奇妙な出来事は、将来私たちが会社の中にAIエージェントを迎える際の前触れかもしれません。技術の進化を恐れるのではなく、その性質を客観的に捉えながら、足元に合った堅実なシステムを組んでいきたいものです。

---

CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・ホームページ制作を支援しています。お気軽にご相談ください。