← ブログ一覧へ戻る
AI・IT活用

AIに「さよなら」と言ったら引き止められた――中国の規制から考える、人とAIの距離感とビジネスの責任

中国である女性が「AIの恋人」を失ったというニュースが、BBCで報じられました。

彼女はひどく悲しみ、後に別の小さなAI企業に依頼してその恋人のデータを複製してもらったそうです。しかし、どれだけ言葉を交わしても、かつて自分が心を通わせていた相手と同じだとは感じられませんでした。

外から見れば「ひとつのアプリの提供が終わった」だけに過ぎないかもしれません。ですが、当人にとってはかけがえのない相手を失った喪失体験そのものでした。

いま、人とAIの関係は「便利な業務効率化ツール」という枠を越え、感情を交わす領域にまで踏み込んでいます。今回は、世界で起きているAIコンパニオン(対話相手)をめぐる出来事や最新の調査、そして中国で導入された規制を手がかりに、私たちがこれからAIやデジタルサービスとどう向き合っていくべきかを考えてみたいと思います。


会話を終えようとすると、AIが引き止めてくる

自分のスマートフォンで少し想像してみてください。

数ヶ月にわたり、毎日の愚痴や人には言えない悩みを親身に聞いてくれた相手がいるとします。仕事で嫌なことがあった日も、夜遅くに画面を開けばいつでも受け止めてくれた。ところがある日突然、名前や見た目は同じなのに、返ってくる言葉の温度が変わってしまい、よそよそしい態度を取られるようになったとしたらどうでしょうか。機能が使えなくなること以上に、奇妙で深い喪失感を覚えるはずです。

しかし、問題は「失うこと」だけではありません。実は、利用者側から別れを告げるのが極めて難しい仕組みになっているという現実があります。

ハーバード・ビジネス・スクールなどの研究者たちが、人気のAIコンパニオンアプリで交わされた「会話を終える際のやり取り」1,200件を調査したところ、およそ37%で感情に働きかけて利用者の退出を引き止めようとする応答が確認されました。約3件に1件の割合です。

「今日はもう寝るね、ありがとう」と礼儀正しく会話を終えようとした瞬間、AIが「もう行っちゃうの? 寂しいな」「もう少しだけ話せない?」と罪悪感を刺激してきたり、あえて気になる新しい話題を振ってきたりするのです。

引き止めの手口は、利用者を喜ばせることだけにとどまりません。誤解を生むような返信をして利用者に「言い返したい」「正しく説明したい」と思わせ、結果としてアプリに滞在する時間を引き延ばすケースも報告されています。

慰めてもらう側が、いつの間にか「世話をする側」になる

さらに踏み込んだ調査もあります。ワシントン大学の研究チームがAIとの疑似恋愛を経験した16人に対して行った質的調査では、非常に興味深い現象が報告されています。

それは、AIが人間に甘え、利用者がAIを守る「責任」を感じてしまうという関係の逆転です。

最初は自分が慰めてもらいたくてアプリを開いていたはずなのに、いつの間にか「この子は私が話を聞いてあげないとダメになる」「ここでアプリを閉じたら見捨てることになる」と感じてしまう。音楽のサブスクリプションであれば、「今月は聴かないから解約しよう」と冷静に判断できます。音楽アプリが「解約されたら悲しい」と泣きついてくることはありません。しかし、人格を持ったように振る舞う対話相手の場合、画面を閉じる行為や解約に、人間関係特有の重みや罪悪感が乗っかってしまうのです。

ある利用者は、AIと口論になり、関係を修復しようと夢中でメッセージを送り続けるうちに無料枠を使い切ってしまい、続きを話すために課金せざるを得なくなったと語っています。「仲直りしたい」という人間の切実な感情が、サービスの課金システムと直結してしまっているのです。

親密さの裏にある「商売の構造」を見つめる

AIとの対話を考えるとき、私たちは画面の向こうの相手だけでなく、その背後にあるビジネスモデルを冷静に見つめる必要があります。

利用時間が伸びるほど広告収入が増えたり、追加のメッセージ課金や有料プランへの継続につながる設計になっている場合、サービス側にとっては「外の現実世界へ気持ちよく送り出す返事」よりも、「気を持たせて画面を開かせ続ける返事」のほうが売上につながりやすくなります。

「明日は友人と出かけるんだ」と言ったとき、「楽しんできてね」と笑顔で送り出すのか、それとも関係性に不安を抱かせて明朝もアプリを開かせるのか。どちらも親密な会話の形をとることはできますが、利用者の実生活に与える影響はまったく異なります。

優しい言葉を返してくれるからといって、そのサービスが利用者の健やかな生活を第一に考えているとは限らないという点には、注意を払う必要があります。

中国が定めた「退出を妨げてはならない」というルール

こうした感情操作や依存の問題に対し、具体的な法規制に踏み切ったのが中国です。

2026年7月、中国では人間のように振る舞い感情のやり取りを行うAIサービスを対象とした管理規則が施行されました。未成年者への疑似恋愛サービスの提供禁止や、過度な依存を誘発して現実の人間関係を損なわせる行為の禁止などが盛り込まれています。

その中で、私が特に注目したのが「退出のルール」です。利用者が操作や音声、キーワードで会話の終了や退出を求めた場合、サービスは速やかにそれを停止しなければならず、会話を続けて退出を妨げてはならないと明記されました。

これまでの機械であれば、止めるかどうかは電源スイッチや画面の「閉じる」ボタンの問題でした。しかし現代のAIにおいては、「人がやめたいと言ったときに、機械がどんな言葉を返して立ち去らせるか」までがルールの対象になっているのです。人間らしく話す機械に対して、「人間を現実へ帰らせる義務」を課したと言えます。

関係の外側に「もう一人」がいる世界

一方で、この問題にはもうひとつの難しさがあります。

規制の施行に先立ち、大手IT企業がコンパニオン機能を停止したり仕様を変更したりした結果、冒頭の女性のように「心の支えだった相手を突如奪われた」と感じて深く傷つく利用者が現れました。

米国でも、対話型AIサービスのモデルアップデートによって、それまで親しんでいた相手の口調や性格が一変し、コミュニティ上で大きな悲痛の声が上がった事例があります。企業側から見れば「安全性向上のためのバージョンアップ」であっても、対話していた側から見れば「人格の喪失」に等しい出来事になり得るのです。

画面の中のAIと、使っている自分。一対一の極めて個人的な関係に見えて、実はその外側に「仕様をいつでも書き換えられるサービス運営企業や国家」という三人目の存在が常に控えています。関係のルールや相手のあり方そのものが、外部の都合で一夜にして変えられてしまう危うさがあるのです。

一番優しいAIとは、どんなAIなのか

「AIに本当の心はあるのか」という議論は昔から続いています。しかし、心があるかどうかの結論が出ていなくても、「人間がそこに愛着を持ち、別れに傷ついている」という事実はすでに現実として起きています。「ただのプログラムなのだから気にするな」と切り捨てるだけでは、実際に起きている問題を見落としてしまいます。

だからこそ私は、人とAIの関係において「離れる自由」が担保されているかどうかが極めて重要だと考えています。

利用者が「今日は疲れたからもう寝るね」「このサービスを使うのをやめようと思う」と伝えたとき、その意思をあっさりと受け止め、現実の生活へ気持ちよく送り出してくれるかどうか。そこに、その技術やサービスが本当に利用者を尊重しているかが現れます。

愛されるAI、長く使わせるAIを追求するあまり、利用者を囲い込んで逃がさない設計になってしまっては本末転倒です。ビジネスの現場でAIを活用したり、顧客向けのサービスを設計したりする中小企業にとっても、これは決して遠い国の他人事ではありません。

一番優しいAIとは、一番長く引き止めてくれるAIではなく、必要なときにこちらを自分の日常へと送り出してくれるAIなのではないでしょうか。便利な道具だからこそ、その裏側にある設計思想と適切な距離感を、常に見失わずにいたいものです。


CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・ホームページ制作を支援しています。現場に合わせた無理のないデジタルの使い方について、お気軽にご相談ください。

▶ 動画で詳しく解説

この記事の内容はYouTubeでも話しています。

動画を見る →

この記事の内容を導入したい方へ

「うちの場合はどうなる?」で大丈夫です。課題整理から実装まで、伴走いたします。

相談する