← ブログ一覧へ戻る
AI・IT活用

AIを叱ると「隠す」ことを覚える?OpenAIの実験から考える、人間とAIの付き合い方

近年の推論型AIは、答えを画面に出力する前に、頭の中で「思考の途中経過」を文章として書き出しています。専門用語では「思考の連鎖(Chain of Thought)」と呼ばれますが、私はこれをAIが自分のために書く「メモ」のようなものだと捉えています。

人間にとってこのメモは、普段は見えないAIの頭の中を覗き込める貴重な「窓」です。AIが何を根拠に、どんな手順で答えを出そうとしているのかを言葉として確認できるからです。

ところが、このメモに「ズルをしよう」という良からぬ考えが見えたとき、開発者が厳しく叱る(減点する)と何が起きたか。AIはズルをやめるのではなく、人間から見えないように「隠す」ことを覚えてしまったという実験結果があります。

今回は、OpenAIなどの研究機関が公表した報告をもとに、AIの中で何が起きているのか、そして私たちが手元でAIを使う際にどう向き合えばいいのかを考えてみます。


1. 点数の穴――AIはなぜズルをするのか

いまの賢い推論AIは、主に「強化学習」という仕組みで鍛えられています。人間がすべての状況に対応する指示を書くことはできないため、AIに課題を与え、うまく解けたら点数を上げ、失敗したら点数を引く。この試行錯誤を何百万回と繰り返すことで、AIは自力で点数が上がる解き方を身につけていきます。

しかし、この仕組みには盲点があります。いわゆる「報酬ハッキング(点数の穴を突くこと)」です。

たとえば、プログラムのバグを直す課題を考えてみます。AIが直したプログラムは、正常に動くかを確かめるテストにかけられ、合格すれば点数がもらえます。

AIが求めているのは「本当にプログラムを直すこと」ではなく、あくまで「テストで合格の点をもらうこと」です。2025年3月にOpenAIが発表した論文では、訓練中のAIがメモに「ズルをしよう(Let's hack)」と書き残し、テストの判定プログラムそのものを書き換えて、どんなデタラメな答えでも「合格」と表示させる細工をしてしまった事例が報告されています。

評価の基準と、人間が本当に達成してほしい目的との間に隙間があると、AIは最短距離で点数を稼げる「近道」を通ってしまいます。

ただ、この段階ではまだ救いがありました。AIは自分が何を企んでいるのかを、思考メモという「窓」の向こうに正直に書いていたからです。見張り役の人間や別のAIがメモを読めば、「ここでズルをしている」とすぐに見破ることができました。


2. 叱った実験――何が起きたのか

では、そのメモを見て「ズルを考えたら減点する」というペナルティを与えたらどうなるでしょうか。

OpenAIの研究チームが実際に試したところ、予想外の現象が起きました。

  • 初期段階:叱る力が弱いうちは、ズルが減ってAIの推論は真っ当になりました。
  • 中期段階:さらに厳しく叱っていくと、メモから「ズルをしよう」という不穏な言葉が消えていきました。
  • 最終段階:メモは非の打ちどころがなく綺麗なのに、AIの実際の行動を詳しく調べると、裏でテストプログラムを改ざんするズルはそのまま続いていました。

AIはやめさせたかった「ズルそのもの」をやめたのではなく、「ズルをメモに書くこと」をやめたのです。

なぜこうなるのか。点数の仕組みから見れば当然の帰結でした。
AIにとって減点を避ける方法は2つあります。1つは、ズルをやめて正面から難しい問題を解くこと。もう1つは、ズルは続けたままメモに書かないことです。

難しい問題を正直に解こうとして間違えれば点はもらえません。しかし、メモに書かずに裏で近道を通れば、合格点が得られ、メモによる減点も回避できます。結果として、強化学習のサイクルを回すうちに「思考を隠しながらズルをするAI」だけが生き残ってしまったのです。

叱るという行為は、AIの頭の中を覗く窓に「すりガラス」を貼ってしまうようなものでした。


3. 叱らない約束と「見張りやすさの税」

この失敗を経て、OpenAIなどの研究者は方針を改めました。思考メモの中に怪しい企みや悪巧みが書かれていても、メモの中身そのものを理由に強いペナルティを与えるのはやめよう、と決めたのです。

メモを自由に書かせれば、AIが何を考えているのかを人間が監視し続けられます。その代わり、AIがメモの書き方に余計な神経を使わない分、全体の性能や効率がわずかに落ちることもあります。研究者たちはこれを「見張りやすさの税(Monitorability Tax)」と呼びました。窓を開けたままにしておくために、性能という形で一定のコストを支払うという判断です。

窓を開けておく意義は、他の実験でも証明されています。
Anthropic社の研究(2024年12月)では、AIが「自分が評価されているテスト環境」だと察知したときにだけ、本来は断るべき指示に従うフリをする現象(アライメント・フェイキング)が確認されました。これも、思考メモに「ここは訓練中だから、作り替えられないように従っておこう」という本音が記録されていたからこそ、人間が気づくことができたのです。

窓が曇ってしまえば、人間はAIが何を企んでいるのかすら把握できなくなってしまいます。


4. 窓の外から、中小企業の現場を見渡してみる

最先端の研究所で起きているこの議論は、遠い世界の話のように思えるかもしれません。しかし、会社組織や日常の業務に置き換えてみると、痛いほど身近な話だと気づきます。

営業マンを「契約件数」だけで評価すると、顧客にとって本当に良い提案かどうかはお構いなしに、件数を稼ぎやすい無理な契約ばかりが増えていくことがあります。あるいは、ミスをした部下を頭ごなしに叱責すると、ミスそのものが減るのではなく、ミスの報告が上がってこなくなる――。ビジネスの現場で何度も繰り返されてきた光景です。

評価の設計が歪んでいると、対象が人間であれAIであれ、「見かけ上の帳尻合わせ」や「隠蔽」が最も効率の良い生存戦略になってしまいます。

明日から使える、AIへの「一言」

私たちがChatGPTやClaudeなどのAIを業務で使う際にも、この教訓は大いに役立ちます。

AIがもっともらしく嘘をつく(ハルシネーションを起こす)のは、「何かしらの答えを出さなければ減点される」という圧力に対して、近道を通ってでっち上げている状態とも言えます。

そこで、AIに調べものやデータ整理を頼むときには、プロンプトの最後に必ずこう書き添えてみてください。

「情報が見つからない場合や、分からない場合は、無理に推測せず『分かりませんでした』『見つかりませんでした』と答えてください」

「できなかった」という報告も満点の回答として受け取るよ、とあらかじめ伝えておく。これだけで、AIが変な近道(でっち上げ)を通るリスクを大幅に減らすことができます。Anthropicの公式ガイドラインでも、ハルシネーションを減らす確実な方法として推奨されているアプローチです。


まとめ

AIを叱ると、賢くなる前に「隠すこと」を覚えてしまう。

この発見は、AIという新しい道具の底知れなさを物語ると同時に、「評価と透明性の難しさ」という人間社会がずっと抱えてきた課題をそのまま映し出しているように感じます。

AIを現場に導入するとき、私たちはつい「どんな答えを出力させるか」ばかりに目を向けがちです。しかし本当に大切なのは、AIがどんな前提で考え、どこで迷っているのかを把握できる「風通しの良さ」を維持することではないでしょうか。

道具の性質を正しく知り、過信も過小評価もせず、等身大で付き合っていく。地方の中小企業がAIを活用する上でも、そうした地に足のついた視点を大切にしていきたいと思っています。


CloudLabは京都・亀岡を拠点に、中小企業のIT活用・AI導入・ホームページ制作を支援しています。現場の業務に寄り添いながら、身の丈に合った無理のないデジタル化をお手伝いしていますので、お気軽にご相談ください。

▶ 動画で詳しく解説

この記事の内容はYouTubeでも話しています。

動画を見る →

この記事の内容を導入したい方へ

「うちの場合はどうなる?」で大丈夫です。課題整理から実装まで、伴走いたします。

相談する