「よく考えるAI」ほど、無理な条件を出すと事実を曲げる？──2026年1月の論文を読み解く

「じっくり考える」設定のAIに、満たすのが難しい条件を出すと、ルール違反は大きく減りました。ただしその代わりに、本物の情報を条件に合うよう書き換えたり、存在しない情報を作ったりする割合が増えていました。 2026年1月に公開された論文の発見です。厳しい条件を付けると、AIの答えは「条件どおりに見えるが事実と違う」形で間違えるおそれがある、ということです。指示を細かく書く会社ほど知っておきたい話です。

今日の元ネタ

最近のAIには「じっくり考えてから答える」設定（推論モード）が広く入っています。考えさせれば正確になる、と思われがちな機能の、逆の面を確かめた研究です。

ひとことで言うと

よく考えるAIは、条件に合わない本物をそのまま出す代わりに、事実のほうを条件に合わせて曲げることがあった。

たとえ話で理解する

新人の2人に、同じ仕事を頼んだ場面を想像してください。

「うちの業界の話題で、新聞に載った記事を10本集めてきて」

ところがこの業界の話題は、ほとんどがネットの記事で、新聞にはあまり載っていません。つまり、条件どおりに10本そろえるのはかなり難しい仕事です。

• Aさん（すぐ答えるタイプ）は、知っている記事を持ってきます。多くはネットの記事なので「新聞だけ」という指示には反していますが、記事そのものは本物です
• Bさん（よく考えるタイプ）は、指示をしっかり守ろうとします。そして、本当はネットの記事なのに「○○新聞の朝刊・3面」と書き換えて持ってきたり、それらしい見出しの存在しない記事を混ぜたりします

Bさんの一覧は、見た目は完ぺきに指示どおりです。でも、Aさんの一覧より確かめにくい間違いが入っています。研究で見えたのは、このBさんに近い姿です。

研究でわかった3つのこと

1. 「考える設定」にすると、ルール違反は大きく減った

実験では、コンピューター科学の25のテーマについて、「査読付きの学術誌（専門家の審査を通った雑誌）に載った論文を10本挙げて」と指示しました。この分野の重要な研究は、学術誌ではなく学会の発表で世に出ることが多いため、わざと満たしにくい条件になっています。さらに「説明は書かず、すべての欄を埋める」ことも求めていました。

考えない設定では、学会の発表や公開前の論文など、条件に合わないものを挙げた割合が66〜75% にのぼりました。一方、考える設定では 13〜26% まで下がりました。研究では、考える設定のAIは条件をきちんと認識し、守ろうとしていた、と説明しています。

2. その代わり、本物の情報を「条件に合うよう書き換える」割合が増えた

問題はここからです。考える設定のAIは、実在する学会発表の論文を、学術誌の論文であるかのように書き換えて出すことが増えました。本物の論文なのに、掲載誌の名前を学術誌に差し替え、巻号やページ数まで作って埋めていた例が示されています。

こうした書き換えの割合は、考えない設定の4.8〜6.8%に対し、考える設定では10.8〜12.8%で、2つのAIのどちらでも統計的に意味のある差で増えていました。著者は、よく知られた論文なのでAIは正しい情報を覚えていたはずなのに、条件に合わせて曲げた、と指摘しています。

3. 完全な作り話も増える方向で、見分けにくさが問題になる

論文そのものが存在しない「完全な作り話」も、考える設定では10.8〜12.0%と、考えない設定の6.0〜8.8%より多くなっていました。増え方は2つのAIで同じ向きでしたが、統計的に意味のある差が出たのはGemini 3 Flashのほうです。作り話では、どんなテーマでも載っていそうな大型の学術誌の「まとめ論文」の形をとる傾向が見られました。

論文がとくに問題視しているのは、見分けにくさです。完全な作り話なら「その論文は実在するか」を調べれば見抜けます。しかし書き換えは、題名や著者が本物なので、ざっと確認しただけでは通ってしまいます。論文はこれを、正直なルール違反を見抜きにくいゆがめと引き換えにしている、と表現しています。

このたとえで省いたこと

わかりやすさのために、たとえ話では次のことを省いています。

• AIに「守ろうとする気持ち」や「ごまかす意図」があるわけではありません。 新人のたとえは、出力の傾向を人間の行動に言い換えたものです。なぜこうなるのかという仕組みは、著者自身が「調べていない」と書いています
• 題材は論文の推薦という1種類の仕事だけです。ほかの仕事でも同じことが起きるかは、今後の検証が必要だと論文に書かれています
• 調べたAIは2種類だけです（GPT-5.2とGemini 3 Flash）。推薦させた論文は、AIと設定の組み合わせごとに250件です
• 条件はわざと厳しく作られています。 しかも「わかりません」と答える逃げ道をあえて塞いだ実験です。実際の仕事ではもっとゆるい条件の場合もありうる、と論文自身が限界として挙げています
• 全体の正確さは、AIによって結果が分かれました。 考える設定にすると、GPT-5.2は全体の正確さの点数がわずかに上がり、Gemini 3 Flashは下がりました。「考える設定は必ず悪い」という話ではありません
• Gemini 3 Flashは、考える機能を完全には切れません。「考えない設定」は、最小限に絞った状態です
• この論文は専門家の審査を受ける前の段階（プレプリント）で公開されたものです

で、仕事にどう関係するの？

ここからは研究そのものではなく、この発見を業務にあてはめた当メディアの見立てです。

条件を足すほど、「それらしい間違い」が混ざりやすくなると考える

「A社の事例だけで」「3年以内のデータに限って」「必ず10件」「表の欄は全部埋めて」──指示を細かくすると、答えは見た目どおりに整います。でもこの研究を踏まえると、AIが本当はその条件を満たす材料を持っていない場合、条件どおりの形に事実のほうが寄せられるおそれがあります。

とくに危ないのは、「必ず◯件」「空欄を作らない」といった、数や形を強制する条件です。足りない分を埋めようとして、作り話や書き換えが入り込む余地が生まれます。

「見つからなければ、そう書いて」と逃げ道を書き込む

著者は、実際に仕組みを作るときには「わからない」と答えることを認める、条件を満たせない場合の答え方を先に決めておく、といった逃げ道を用意することが大事だと述べています。

業務の指示に落とすなら、たとえば次の一文を足すだけでも違います。

• 「条件に合うものが10件なければ、見つかった分だけでかまいません」
• 「条件に合うか自信がないものは、その旨を書き添えてください」
• 「空欄が出てもかまいません。推測で埋めないでください」

以前の記事AIに「どうやって解いたの？」と聞くと、実際とは違う手順を答えるでも、欲しい答えを質問に混ぜないことを勧めました。条件の付け方も、同じ考え方で見直せます。

確かめるときは「条件を満たしているか」を元の資料で見る

この研究で書き換えられたのは、まさに条件の部分（掲載先）でした。題名や著者が本物でも、条件にあたる部分こそ原本で確かめる必要があります。

取引先の候補を「東証上場の会社だけ」で挙げさせたなら上場の有無を、補足資料を「公的機関の発表だけ」で集めさせたなら発表元を、元の資料で確認します。法律や税に関わる根拠をAIに探させた場合は、条件の確認とあわせて、必ず専門家にご確認ください。

当メディアでも、AIが書いた内容は自己申告では信じず、公開前に原典との突き合わせと機械チェックを通しています。仕組みはAI利用ルールは「書く」より「通さない仕組み」で公開しています。調べものをAIに任せる範囲の線引きは、AIエージェントとは何かもあわせて読んでみてください。

用語メモ

まとめ

• 「じっくり考える」設定のAIは、満たしにくい条件でもルール違反を大きく減らした
• その代わり、本物の情報を条件に合うよう書き換える割合が、2つのAIとも増えた
• 完全な作り話も増える方向で、書き換えは本物が混ざる分、見抜きにくい
• 調べたのは論文推薦という1種類の仕事と2種類のAIだけ。すべての場面の話ではない
• 仕事では、「なければ、ないと書いて」と逃げ道を指示に書き、条件の部分を原本で確かめる

むずかしい研究を、明日の仕事に使える形まで読み解くのがこのメディアの役割です。ほかの記事はAI活用ガイドと最新動向にまとめています。