← ブログ一覧へ戻る
AI・IT活用

「最後に決めたのは人間」の危うさ。AIが候補を並べ、人が20秒で承認する時代に考えること

AIが攻撃の候補をリストアップし、人間がそれを確認する。その確認時間は、1件あたりわずか20秒だった――。

イスラエル軍におけるAIを使った標的選定をめぐる証言を追ったドキュメンタリー映画『NAZA』や海外メディアの報道を目にしたとき、私は強い戦慄を覚えました。もちろん、これは極限状態である戦場での出来事であり、軍事とビジネスを安易に同列に扱うことはできません。しかし、そこで語られている「人間の役割の形骸化」は、私たちが普段進めている業務のIT化やAI活用と、根底で地続きの問題をはらんでいると感じたからです。

京都の亀岡で中小企業のIT・AI活用を支援している立場から、この事例が投げかける「人間が判断するとはどういうことか」について、考えていることを整理してみたいと思います。


1件20秒の確認と「承認の判子」

報道や証言によると、AIシステムが疑わしい人物を大量に判定し、何万人もの候補者をリストアップしていたといいます。その確認作業を担当していた情報将校は、毎日何十件もの候補を画面で確認していましたが、1件にかける時間は約20秒。確かめていたのは、相手が男性かどうかといったごく単純な条件だけだったと語られています。

「自分の人間としての付加価値はゼロだった。ただ承認の判子を押すだけのような存在だった」

軍の公式声明では「AIが標的を決めるのではなく、最終的な承認を行うのは人間だ」と説明されています。しかし、人間が1件20秒で右から左へ流す作業を、果たして「人間による判断」と呼べるでしょうか。

以前は1年で50件程度しか作れなかった候補リストを、AIは1日で100件作ってしまう。怒りや疲労、恐怖といった感情に左右される人間よりも、冷徹な統計データをもとに機械が弾き出した答えのほうが正しく思えてくる。その結果、人間は提示されたリストに対して疑問を持つことなく、ただ承認ボタンを押し続けることになります。

これは心理学の世界で「自動化バイアス(Automation Bias)」と呼ばれる現象です。人は高度な自動化システムから提示された判断を過度に信頼し、自身の確認や検証を怠ってしまう傾向があります。カーナビが「右です」と指示すれば、疑わずにハンドルを切ってしまう感覚に似ています。

引き金の手前で「世界を並べ替える」機械

自律型兵器をめぐる国際的な議論では、「自ら狙いを定め、自ら引き金を引く機械」をどう規制するかが焦点になりがちです。しかし、映画『NAZA』に登場するシステムは、自ら引き金を引くわけではありません。最後のボタンを押す役割は、あえて人間に残されています。

この仕組みの恐ろしいところは、まさにそこにあります。

AIは引き金を引かない。ただ「引き金の手前で、世界を都合よく並べ替えている」だけなのです。誰を疑わしいとみなすか、いつ家に帰ってくるか、巻き添えになる人数は何人か。複雑で重たい現実を数字やリストに変換し、人間の目の前に差し出す。

そして人間がボタンを押した瞬間、責任の所在は曖昧になります。「最後に判断したのは人間だ」とシステム側は言い、ボタンを押した人間は「機械が算出したデータに従っただけだ」と感じる。罪悪感や責任の所在が、人間と機械のあいだで希釈されていく構造がここにあります。

私たちのビジネス現場でも起きていること

この構造は、決して遠い戦場だけの話ではありません。身近なビジネスの現場でも、まったく同じ構図が生まれつつあります。

たとえば、企業の採用活動を考えてみてください。何百通と集まるエントリーシートをAIがスクリーニングし、スコアの高い上位10人を抽出して人事担当者に渡すシステムがあるとします。

人事担当者は、渡された10人の書類を丁寧に読み込み、面接を行い、合否を決めます。会社側は胸を張って「採用の合否を決めているのは人間です」と言うでしょう。しかし、11番目以降の履歴書は、人間の目に一度も触れることなく切り捨てられています。実質的に応募者をふるい落としたのは、引き金の手前で候補を並べ替えたAIです。

融資の審査、人事評価、営業先リストの自動生成、クレーム対応の優先順位付け――。あらゆる場面で、AIが「前処理」として選択肢を絞り込み、人間が「最終確認」をする運用が広がっています。効率化の観点からは極めて合理的です。しかし、作業が効率化され、件数が増えれば増えるほど、人間の確認作業は形骸化し、実質的な決定権は機械のアルゴリズムへと移っていきます。

中小企業の現場で、私たちが忘れてはならないこと

私は日頃、中小企業向けに業務効率化やAIツールの導入をお手伝いしています。手作業の負担を減らし、時間を生み出すためのIT化は大賛成ですし、積極的に推進すべきだと考えています。

だからこそ、「何のために人間が関わるのか」という一点だけは、手放してはならないと感じています。

AIに下準備をさせるのは構いません。しかし、人間が最後に確認するプロセスを「形だけの承認(ハンコ)」にしてしまっては本末転倒です。

  • AIがなぜその10人を選んだのか、その裏にどんな前提条件があるのかを理解しているか
  • 提示されたリストから外れたものの中に、大切な例外や文脈が埋もれていないか
  • 機械の出した答えに「違和感」を持ったとき、立ち止まって差し戻す余裕と勇気が現場に残されているか

効率を追求するあまり確認時間を削り、20秒で判子を押すような仕組みを作ってしまえば、人間はシステムの従属物に成り下がってしまいます。「人間を介在させている」という事実が、責任逃れの言い訳になっていないかを、常に自分自身に問いかけ続けなければなりません。

AIは非常に便利な道具です。しかし、道具に使われる側にならないためには、効率化の先にある「判断の重み」を自覚し続けることが必要なのだと、改めて深く考えさせられます。


CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・業務システム開発を支援しています。ただツールを入れるだけでなく、現場の方が主体性を持って使いこなせる仕組みづくりを大切にしています。業務の効率化やITツールの選定でお困りの際は、お気軽にご相談ください。

▶ 動画で詳しく解説

この記事の内容はYouTubeでも話しています。

動画を見る →

この記事の内容を導入したい方へ

「うちの場合はどうなる?」で大丈夫です。課題整理から実装まで、伴走いたします。

相談する