本当に怖いのはAIの暴走か、それを握る人間か｜AI時代の監視と権力を考える

AI（人工知能）の危険性というニュースを見るとき、SF映画のように「AIが意思を持って人間に反乱を起こすのではないか」というシナリオが注目されがちです。

しかし、Anthropic（アンソロピック）のCEOであるダリオ・アモディ氏らの議論に触れるにつれ、私がよりリアルで恐ろしいと感じるのは、「AIそのものの暴走」よりも「人間の権力者がAIを非常にうまく使いこなして支配を完成させてしまうこと」です。

京都・亀岡で中小企業のAI導入やIT活用を支援する立場として、日頃は業務効率化や生産性向上という前向きな側面に目を向けていますが、技術が社会や権力構造に与える影響についても、目を背けずに考えておく必要があります。

従来の独裁国家が抱えていた「人間の限界」

歴史を振り返ると、国民を力で抑え込もうとする独裁政権にも必ず弱点がありました。それは「国民一人ひとりの頭の中までは分からない」ということです。

政府に本当は誰が不満を持っているのか、どこで反発の芽が育っているのか、誰と誰が裏で繋がっているのか。それらを調べるために、従来の政権は秘密警察や密告制度、検閲、盗聴、監視カメラなどを使ってきました。

しかし、これらには決定的な限界がありました。人間が集めた膨大な情報を、人間がすべて読み込んで分析することには物理的な上限があるからです。そのため、監視網をかいくぐって人々が繋がり、社会が変わっていく余地が残されていました。

「起きた後」から「起きる前」へ変わるAI監視

ところが、高度なAIはこの「人間の限界」を根底から変えてしまいます。

現代の私たちが残している電子的なデータ——SNSの投稿、検索履歴、位置情報、購買履歴、動画の視聴傾向、誰と通信したかといった断片的な情報——を、AIなら何年分でも横断して自動分析できます。

1つひとつの行動は単なる日常の一コマに見えても、AIが過去の膨大なデータを解析することで、「この人物は将来、政府や体制に反対する行動を起こす確率が高い」と事前に推測できるようになります。

従来の監視は「事件や問題が起きた後に犯人を探す」ためのものでした。しかしAIによる監視は、「行動を起こす前に危険人物として分類し、繋がる前に分断する」という予測型の監視へと進化します。

さらに厄介なのは、AIの予測は間違える可能性がある点です。理由も分からないまま「危険度が高い」と判定され、本人が知らないところで制限を受けたり孤立させられたりしても、不服を申し立てる手段すら存在しないという状況が生まれかねません。

全員に「違う物語」を見せる個別化プロパガンダ

監視以上に強力なのが、AIによる「個別化された情報操作（プロパガンダ）」です。

これまでの国家宣伝や世論誘導は、テレビや新聞、ポスターなどを通じて、国民全体に同じメッセージを流すのが一般的でした。しかし、人によって刺さる言葉は違います。経済的な不安に反応する人もいれば、家族の安全や伝統、国家の誇りに反応する人もいます。

AIは、特定の個人が何を恐れ、何を望み、どんな言葉に影響を受けやすいかを学習できます。そして、1人ひとりに合わせて仕立てられた「最も説得力のあるメッセージ」を個別に届けることが可能です。

ある人には「生活を守るため」と説明し、別の人には「伝統を守るため」と説明する。社会全体で何が宣伝されているのかを誰も全体把握できないまま、全員が自分用に設計された情報空間（物語）の中で暮らすことになります。

これはすでに、SNSの「おすすめアルゴリズム」として私たちの日常に入り込んでいる技術の延長線上にあるものです。

民主主義社会でも他人事ではない理由

このような技術の乱用は、独裁国家だけの話ではありません。

民主主義国家であっても、「テロ対策」「治安維持」「防犯」「感染症対策」といった正当で誰も反対しにくい目的から、最新の監視技術が導入されていきます。始まりは限定的な利用であったとしても、何らかの危機が起きるたびに対象範囲が拡大していく傾向があります。

一度集められたデータや構築された仕組みは簡単には消えません。政権交代や社会情勢の変化によって、当初とはまったく異なる目的で使われるリスクを常に孕んでいます。

問われているのは「AIの禁止」ではなく「権力の制限」

犯罪抑止や安全な社会づくりのために、AI技術が役立つ場面があるのは事実です。だからこそ問題は「AIを使うか使わないか」という二元論ではありません。

真に問われるべきなのは、次のような制度的枠組みです。

• 誰が、どの条件で、どこまでデータを利用できるのか
• 判定に対して、人間が異議を申し立てられる仕組みがあるか
• 権力側を外部から監視する独立した機関が存在するか
• 収集されたデータは適切な期限で消去されるか

つまり、技術そのものを禁止するのではなく、技術を握る「権力」をいかに制限するかという視点が不可欠になります。

「超知能が自らの意思で独裁者になる」というSF的なシナリオを恐れる前に、「既存の権力者が超知能を手に入れて支配を不可逆なものにしてしまう」という現実的なリスクを、私たちは真剣に考えていく必要があります。

私たちが提供する日常のDXやAI活用も、一歩間違えれば「人を管理・統制するための仕組み」になりかねません。だからこそ、便利さだけを追求するのではなく、「人間の選択肢や自由を広げるために技術を使う」という姿勢を大事にしたいと考えています。

CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・ホームページ制作を支援しています。お気軽にご相談ください。