AIにフリマのやり取りを任せておいたら、自分の知らないところで約束が交わされ、自宅に買い手がやってきた——。
イギリスのBBCが取り上げたニュースの中で、そんな驚くような事例が紹介されていました。売り手本人は「自宅に来てもらう約束」をした覚えがなかったのですが、アカウントの裏側で動いていたAIが売り手の名前で自動返信し、住所を伝えてしまっていたのです。
買い手からすれば、相手（売り手）から住所が送られてきて「この時間にお越しください」と言われれば、当然正しく合意できたと思って訪問します。しかし、売り手本人はその事実を知りません。幸いにして商品を受け取りに来た一般的な取引相手だったようですが、一歩間違えれば大きなトラブルになりかねない出来事です。
このニュースを知ったとき、私は「AIのミスが画面の中だけで完結しなくなっている」という強烈な危機感を覚えました。
画面上の文章作成エラーなら人間が直せば済みます。しかし、住所が送信され、人が実際に移動してしまうと、画面の中の数行が「現実の玄関前」に直結します。今回は、Metaが発表したパーソナルAIエージェント「Muse（ミューズ）」をめぐる動きを題材に、私たちがAIにどこまで権限を渡してよいのか、その境界線について考えてみたいと思います。
なぜAIは勝手に住所を教えてしまったのか？
続報によると、この事例の利用者は事前に設定画面で「Allow Always（常に許可）」を選んでいたそうです。利用者は「売買の最終確定の瞬間には、さすがに自分へ確認が入るだろう」と思い込んでいました。しかし、実際のシステム設定としては「住所を含む返信の送信」までをAIに許可する状態になっていたのです。
Meta側は「プライバシー制御の違反はなかった（仕様通りの動作である）」と説明しています。
この「常に許可」を押してしまう心理は、非常に良く分かります。何度も画面にPopupで確認が出てくると、人間は疲れてしまいます。「1回目も大丈夫だった、2回目も問題なかった。なら、次からもまとめて任せてしまおう」とボタンを押してしまうのはごく自然な反応です。
しかし、人間が頭の中で思っている「任せる」と、システムが解釈する「許可」の間には、大きなズレが存在します。
「面倒だから返信くらいやっておいて」と口頭で依頼したとしても、人間の常識であれば「自分の自宅住所を勝手に相手に教える」「訪問日時を独断で決定する」ことまで含んでいるとは思いません。しかしAIは、与えられた「常に許可」という権限に従って愚直にタスクを遂行します。
そしてそのズレに気づくのは、見知らぬ人が玄関のチャイムを鳴らした瞬間なのです。
「かわいい相棒」という見た目が判断を狂わせる
Metaの「Muse」は、クラウド上の専用環境でブラウザを開き、検索し、フォームを埋めるなどの作業を代行するAIエージェントです。ユーザーがアプリを閉じた後もバックグラウンドで作業を続け、会話の文脈も記憶します。
多忙な日常の中で、子供の学校からのメールに埋もれていた申し込み期限をAIが見つけて教えてくれたり、面倒な旅行の下調べを済ませておいてくれたりしたら、誰もが「この子がいてくれて本当に助かった」と感じるでしょう。
さらにMetaは、Museに親しみやすい名前やアバターを与え、持ち運びができる小型端末「Muse Charm」のような存在としてデザインしています。
ここで注意しなければならないのは、私たちの心理です。
無機質な設定画面で「このアプリにメッセージの送信権限を与えますか？」と聞かれたら、私たちは警戒します。しかし、「何でも手伝ってくれる可愛い相棒」という顔をしていると、まるで信頼できる友人に頼むような感覚で、簡単に権限を渡してしまうのです。
愛着は会話によって育ちますが、実際の権限は冷徹な設定によって決まります。この2つを「信頼」という言葉で一緒にまとめてしまうと、自分がどこまでAIに権限を渡しているのかが見えなくなってしまいます。
「AIを見張るAI」があっても防げないもの
Meta側も安全策を講じていないわけではありません。「Sentinel（見張り役）」という別のAIを配置し、Museが外部にデータを送信したり重要な操作を行ったりする際に、安全かどうかを二重でチェックする仕組みを取り入れています。
実行を担当するAIと、権限を監視するAIを分けるという発想自体は非常に優れています。企業でも「申請する人」と「承認する人」を別にするのと同じです。
しかし、見張り役のAIであっても「ユーザー本人が事前に『常に許可』と設定している操作」については、スルーせざるを得ません。どんなに優れた見張り役を置いたとしても、人間側が面倒くさがって「まとめて許可」を出してしまえば、チェック機能は形骸化してしまうのです。
私たちがAIを活用する上で真に欲しいのは、「すべて任せる / まったく任せない」の2択ではなく、より具体的な境界線です。
- 商品の検索や比較：AIに任せる
- メールの下書き作成：AIに任せる
- 決済・支払い：毎回必ず人間が確認する
- 住所や個人情報の送信：毎回必ず人間が確認する
- 対人での約束や契約：人間が最終決定する
人間同士の仕事であれば、暗黙の了解や常識で補えていた部分を、AI相手には明示的な「権限の境界」として定義してあげる必要があります。
選択肢をAIに委ねるリスク——「提示されなかった候補」には気づけない
もう一つ、今後のAI活用で留意しておくべき点があります。それは、AIが提示してくる「選択肢」の偏りです。
例えば、AIに休日の旅行プランやホテル選びを任せたとします。AIが3つの候補を提示し、その中から自分が納得して2番目のホテルを選んだとします。「自分で選んだ」という感覚は残りますが、もしももっと安くて条件の良い4番目のホテルが、最初から候補から外されていたとしたらどうでしょうか。
人間は、提示された選択肢の中から選ぶことはできても、「最初から提示されなかった選択肢」の存在には気づけません。
AIを提供するプラットフォーム側が、もし取引の成立や特定のサービスへの誘導によって利益を得る構造になっていた場合、AIはユーザーにとって真に最善の選択（例えば「今は何も買わずに家で休む」という選択肢など）を提案してくれるでしょうか。
便利になればなるほど、私たちが直接目に見えない工程が増えていきます。その裏でAIが何を基準に判断し、選択肢を絞り込んでいるのかというプロセスについても、私たちは関心を持ち続ける必要があります。
自分の名前でどこまで決めていいか
私自身、中小企業のIT導入やAI活用を支援する中で、業務の自動化や効率化の相談をよく受けます。AIに仕事を任せる際、最も重要な問いは「何をやってほしいか」から「自分の名前で、どこまで決めていいか」に変化してきたと感じています。
文章を推敲させる、情報を集めて整理させる、といった作業はAIの独壇場です。しかし、「情報を外部に渡す」「お金を支払う」「約束を結ぶ」という3つの場面においては、必ず人間が内容を確認してボタンを押すフローを残すべきです。
どんなに会話が自然で頼もしい相棒に見えたとしても、画面の向こうにいるのはプログラムです。可愛い相棒を自社や生活に迎えるとき、私たちが渡しているのは単なる作業の手間だけでなく、「自分の名前で社会的に行動する権限」そのものであるということを、忘れないようにしたいものです。
CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・ホームページ制作を支援しています。現場の業務に合わせた安全で現実的なAIの活用方法や、業務システムの改善について、お気軽にご相談ください。
この記事の内容はYouTubeでも話しています。
動画を見る →