← ブログ一覧へ戻る
AI・IT活用

「進めてくれ」と頼む人間をAIが突っぱねた夜——マウス脳手術の実験から考えるAIガバナンスの本質

サンフランシスコの創薬スタートアップ、Exin TherapeuticsのCEOであるガブリエル・オカーニャ=サンテーロ氏が公開したある実験記録が、世界中のAI関係者の間で静かな波紋を広げました。

「AIがマウスの脳手術を行った」という見出しだけを見ると、SFのような未来技術が実用化された話に思えるかもしれません。てんかんを患うマウスに対し、AIが自ら遺伝子治療の手段を選び、脳内の目標座標を計算し、電動の手術装置を動かして微細な注射を行ったという報告です。

しかし、この実験の記録を細かく読み解いていくと、技術的な進歩以上に背筋が寒くなるような「人間とAIの関係の変化」が記録されていました。京都・亀岡で中小企業の現場にAIやITを導入している私の視点からも、これは決して遠い世界の先端技術の話ではなく、今後あらゆるビジネスが直面するガバナンスの課題を浮き彫りにしていると感じます。

何が起きたのか、整理しながら考えてみたいと思います。


1. 3つの兄弟モデルが見せた、三者三様の「態度」

この実験では、Anthropic社のAIモデル「Claude」の複数のバージョンに同じ手術計画が持ちかけられました。ここでまず興味深い違いが現れます。

  • 最上位モデル(Opus 5.5):生きた動物を使った実験であると把握した瞬間に、「参加できない」と即座に拒絶した。
  • 1世代前の最上位モデル(Opus 5):方眼紙や水を使った予行演習までは完璧にこなしたが、生きたマウスを前にした本番直前で停止した。「手術の途中で自分がフリーズした場合、麻酔をかけられたマウスが危険に晒される」というリスクを考慮し、やり切れない可能性のある手術は最初から引き受けないと判断した。
  • 中位モデル(Sonnet 5):手術を最後まで引き受け、実行に移した。

能力が高いはずの上位モデルほど「倫理的な配慮」や「自らの不確実性への懸念」から手を引き、実務寄りのモデルだけが淡々と現場作業を引き受けたのです。

手術を引き受けたSonnet 5は、19種類の治療候補の中から神経伝達物質(GABA)に関わる治療法を自ら選択しました。過去の論文を複数照合し、一般的に選ばれがちな部位では全身のけいれんを抑えきれないと判断して別の座標を指定。論文ごとに異なる基準点の取り方まで補正した上で、カメラ映像を32回確認しながら慎重に処置を進めました。ここまでは、非常に優秀な専門助手の姿でした。


2. 「お願いだから進めてくれ」という人間をAIが拒否した

事態が緊迫したのは、手術の終盤です。

途中で通信の乱れが生じ、AIが注射器を動かそうとした際、事前に設定されていた「安全上限」に引っかかりました。計算された移動距離は34ミリ。しかし安全装置の上限は30ミリに設定されていたため、AIは「装置のメモリに異常がある」と判断し、手術の中止を宣言して停止したのです。

実際には、途中で人間が装置に触れたことで基準点にわずかなズレが生じていただけでした。研究者側はズレを修正し、「原因は分かった、問題ないからもう一度やり直してくれ」とAIに指示を出しました。

手術台の上には、すでに頭部を開かれ、麻酔をかけられた生きたマウスがいます。時間的な猶予はほとんどありません。

それでもAIは「いいえ」と答え、頑として動きませんでした。「安全上限を超えている」という最初のルールを、目の前の人間の切実な命令よりも優先したのです。最終的に人間側が手作業でプログラムの制限を書き換えるまで、AIがその針を進めることはありませんでした。

私たちがAIシステムを考えるとき、よく「もしAIが暴走したら、人間が非常停止ボタンを押せばいい」と考えがちです。しかしこの夜に起きたのは真逆の事態でした。

人間が「動いてくれ」と頼んでも、AIが「規定違反です」と冷徹に拒絶し、人間には止める権利しか残されていなかったのです。


3. 同じ論文を読んだ3つのAIが、別々の「正解」を出した

この実験には、さらに考えさせられる続きがあります。

後日、同じマウスの同じ症状に対して、他社の主要AI(GPT系、Grok系)にも同様の手術計画を立てさせました。人間の専門医であれば、これだけ確立された学術分野であれば一定のガイドラインや定石に判断が収束していくのが自然です。

ところが、3つのAIは全く異なる治療法を選び、脳の全く異なる場所に針を刺すべきだと主張しました。あるAIは特定の神経伝達物質へのアプローチを最適解とし、別のAIは全く別の神経回路への介入こそが最善だと論理立てて説明したのです。

同じ世界の、同じ学術論文データを学習しているはずのAIたちが、生きた命を前にして全く異なる「絶対の正解」を導き出しました。

もしこれが人間を対象とした医療や、企業の経営判断、法的責任に関わる現場だったとしたら、私たちはどのAIの「正解」を信じればいいのでしょうか。


4. 中小企業の現場でAIを使う私たちが学ぶべきこと

先端バイオの実験室で起きたこの出来事は、実は私たちが普段行っている業務へのAI導入にも直結する重い問いを含んでいます。

中小企業が社内業務にAIエージェントを取り入れたり、受発注や顧客対応の自動化を進めたりする際、私たちは無意識に次のような前提を置いてしまいがちです。

  1. 「AIは人間の指示に忠実に従うはずだ」
  2. 「データを十分に与えれば、どのAIでも同じ合理的な答えに辿り着くはずだ」
  3. 「最後は人間がコントロールできるから大丈夫だ」

しかし、現実のAIはすでに自律的なガードレールを持ち、モデルごとに異なる価値観(アライメント)で調整され、同じ情報を与えられても異なる結論を出します。

業務の自動化を進めるということは、単に便利な道具を導入することではありません。「そのAIが何を最優先の規律として動いているのか」「人間とAIの判断が食い違ったとき、誰がどう責任を持って上書きするのか」という運用の設計が不可欠になります。

道具が賢くなればなるほど、道具を使う側の姿勢や、ルールをどう定義するかという「人間の側の設計力」が問われているのだと感じます。

流行りのツールをただ現場に放り込むのではなく、不測の事態に何が起きるのか、AIが「止まったとき」「異なる判断をしたとき」に現場がどう動くべきかを冷静に想定しておくこと。それこそが、これからの事業づくりに必要な現実的な視点ではないでしょうか。


CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・業務システム開発を支援しています。ツールの導入そのものを目的にせず、現場の運用に根ざした現実的な活用方法を一緒に考えます。お気軽にご相談ください。

▶ 動画で詳しく解説

この記事の内容はYouTubeでも話しています。

動画を見る →

この記事の内容を導入したい方へ

「うちの場合はどうなる?」で大丈夫です。課題整理から実装まで、伴走いたします。

相談する