【Bizトレコラム】#3：賢い人ほどハマる、AIの嘘（限定無料公開）

“それっぽい答え”を見抜く3つの問い

吉澤準特 2026.07.01

AIの怖さは、明らかに変な答えを返すことではありません。

むしろ怖いのは、間違っているのに、正しそうに見えることです。文章は自然です。専門用語も並んでいます。構成も整っています。こちらが求めていた答えに近い形で返ってくることもあります。

だからこそ、人は油断します。特に、知識があり、仕事ができる人ほど危ない面があります。なぜなら、その人たちはAIの答えを「雑な回答」としてではなく、「使えるたたき台」として受け取るからです。

「多少粗いけれど、方向性は合っていそう」
「このあたりは後で直せばよい」
「要点は押さえているように見える」

この判断が、AIの“それっぽい嘘”を通してしまうことがあります。

今回は、実際に報じられた事例をもとに考えます。米国で、弁護士がChatGPTを使って作成した裁判資料に、存在しない判例が含まれていた事案です。

ロイターによると、米ニューヨークの連邦地裁は2023年6月、ChatGPTが生成した架空の判例引用を含む書面を提出した弁護士らに制裁を科しました。裁判所文書でも、架空の判例名や引用が問題視されています。

この事例が示しているのは、「AIが間違えること」だけではありません。

より重要なのは、
「専門家であっても、AIのもっともらしい答えを検証しきれないことがある」
という点です。

AI時代に必要なのは、AIより物知りになることではありません。AIの答えをそのまま信じることでもありません。必要なのは、AIの答えを「前提・仮定・結論」に分けて検証する力です。ここで使えるのが、PAC思考です。

***

この事案では、ある弁護士が航空会社Aviancaを相手取った訴訟に関する書面作成でChatGPTを使いました。その結果、書面には実在しない判例が含まれていました。ロイターは、提出された法的文書にChatGPTが生成した複数の架空判例引用が含まれていたと報じています。

裁判所の制裁命令によると、問題となったのは、単にAIを使ったことではありません。裁判所は、信頼できるAIツールを補助的に使うこと自体は本質的に不適切ではない一方で、弁護士には提出物の正確性を確認する責任があると述べています。

つまり、問題の本質は「AIを使ったかどうか」ではありません。問題は、AIが出した答えを、人間が十分に検証しないまま、正式な文書に使ってしまったことです。ここに、AI時代のクリティカルシンキングの課題があります。

AIの答えは、文章としては整っています。形式も合っています。専門用語も使われています。裁判の文脈であれば、判例名、引用、裁判所名、日付のような要素が並ぶと、それだけで本物らしく見えてしまいます。しかし、本物らしく見えることと、本物であることは違います。

AIの間違いというと、明らかに変な文章や、すぐに見抜ける誤答を想像しがちです。しかし、実務で危ないのは、その逆です。

AIは、もっともらしい構造で答えます。自然な言葉で説明します。こちらが求める形式に合わせて出力します。不確かな内容でも、断定的に書くことがあります。

このため、読み手は「正しそうだ」と感じてしまいます。今回の事例でも、単なる誤字や表現ミスではなく、存在しない判例が、あたかも存在するかのように扱われました。裁判所文書では、架空の判例や引用が提出されたこと、そして問題を指摘された後もそれを支え続けたことが重く見られています。

ここで大事なのは、「専門家でも間違えるなら仕方ない」という話にしないことです。むしろ逆です。専門家であっても間違えるからこそ、検証の型が必要なのです。

AIの答えを検証するときは、いきなり結論の良し悪しを判断しない方がよいです。まず、答えを3つに分けます。

Premiseは前提です。AIが何を事実として置いているかを見ます。Assumptionは仮定です。AIが前提から結論へ、どういう推論でつないでいるかを見ます。Conclusionは結論です。AIの答えが、そもそもの問いに答えているかを確認します。

この3つを分けると、AIの回答の危うさが見えやすくなります。

***

最初に見るべきなのは、AIの結論ではありません。AIが何を事実として置いているかです。

今回の事例でいえば、最初に確認すべきだったのは、判例の中身ではなく、そもそもその判例が実在するかどうかです。判例名がある、裁判所名がある、引用番号がある、それらしい文章がある。だからといって、その判例が実在するとは限りません。

これはビジネスでも同じです。市場は拡大しています、顧客ニーズは高まっています、競合はこの3社です、この施策は効果的です、多くの企業が導入しています。こうした表現は、すべて検証対象です。

AIの答えを見たとき、最初に問うべきことは「これは、何を事実として置いているのか」です。事実の確認を飛ばすと、その後の推論がすべて危うくなります。

***

次に見るべきなのは、仮定です。仮定とは、前提と結論をつなぐ「見えない橋」です。

今回の事例でいえば、仮に判例が実在していたとしても、それだけで十分ではありません。その判例が、今回の訴訟に適用できるのか。事案は似ているのか。法的論点は一致しているのか。裁判所に提出する根拠として妥当なのか。ここを確認する必要があります。

つまり、前提が正しくても、結論が正しいとは限りません。市場が伸びているから参入すべき、顧客が困っているから商品は売れる、成功事例があるから自社でも成功する。このような推論には、見えない仮定が含まれています。

AIは、この「見えない橋」をなめらかに渡ってきます。しかし、文章がなめらかであることと、推論が正しいことは別です。だから、2つ目に問うべきことは「その前提から、その結論へ本当に行けるのか」です。

***

最後に見るべきなのは、結論です。AIは、問いに近い答えを返すのがうまいです。しかし、問いに正面から答えているとは限りません。

たとえば、「この主張は裁判所に提出できる水準ですか」と問うべき場面で、「それらしい判例を挙げる」だけでは不十分です。今回の事例で問われるべきだった結論は、「もっともらしい法的説明ができているか」ではありません。「実在する根拠に基づき、提出責任を果たせる内容になっているか」です。

ビジネスでも、AIの答えは問いから少しずれることがあります。「やるべきか」と聞いているのにメリット・デメリットを整理する、「どちらを優先すべきか」と聞いているのにどちらも重要だと述べる、といったズレです。

AIの答えが長く、整っているほど、このズレは見落とされやすくなります。だから、最後に問うべきことは「その結論は、本当に自分の問いに答えているのか」です。

***

この事例を、「弁護士が不注意だった」で終わらせるのは簡単です。しかし、そこだけを見ると学びが浅くなります。

本当に見るべきなのは、専門家であっても、AIが作った“それらしい構造”に引きずられることがある、という点です。

法務領域におけるAIのハルシネーションについては研究もあります。2024年の研究では、特定の検証可能な連邦判例に関する質問に対して、大規模言語モデルが一定割合で法的事実と合わない出力をすることが報告されています。また、法務向けAIリサーチツールについての別研究でも、一般向けチャットボットよりハルシネーションは減るものの、一定の割合で誤った法的回答が出るとされています。

ここでのポイントは、「だからAIは使えない」ではありません。むしろ逆です。AIを使う場面が増えるからこそ、検証の型が必要になるのです。

AIを疑うというと、AIに否定的な態度のように聞こえるかもしれません。しかし、そうではありません。AIを疑うとは、AIの出力を仕事で使える水準に引き上げることです。

AIを疑うとは、AIを使わないことではありません。使うために検証することです。AIの嘘を見抜くとは、知識量でAIに勝つことではありません。構造を点検することです。出典を見るだけでも十分ではありません。前提・仮定・結論を分けて見る必要があります。

AIは、答えを出すスピードを上げてくれます。ただし、検証しなければ、間違いが広がるスピードも上がります。だからこそ、AI時代のクリティカルシンキングが必要なのです。

***

AIの答えを扱うときは、トリプルシンキングで見ると整理しやすくなります。

今回の中心は、クリティカルシンキングです。そもそも、その情報は正しいのか。そもそも、その出典は実在するのか。そもそも、その結論は問いに答えているのか。まず、ここを疑います。

そのうえで、ラテラルシンキングを使います。むしろ、逆の見方はないか。むしろ、AIが見落としている条件はないか。むしろ、この答えを使わない方がよい場面はどこか。

最後に、ロジカルシンキングで落とし込みます。それなら、何を確認するのか。それなら、どの情報源に当たるのか。それなら、どの条件を満たせば使ってよいのか。AIの答えを疑うだけでは仕事になりません。疑ったうえで、検証し、判断し、行動に落とすことが必要です。

***

かつては、答えを早く出せる人が強い時代でした。しかし、AIによって、答えらしきものは誰でもすぐに手に入るようになりました。要約も、企画案も、比較表も、メール文も、戦略案も、数秒で出てきます。

その時代に差がつくのは、答えを出す力だけではありません。答えを疑う力です。

AIの答えを見て、すぐに「使えそう」と思う人は多いです。しかし、そこで止まると危険です。何を前提にしているのか。どんな仮定でつないでいるのか。その結論は本当に問いに答えているのか。この3つを確認できる人だけが、AIの答えを仕事で使える形に変えられます。

AIを使いこなす人は、AIの答えをそのまま信じる人ではありません。AIの答えを、前提・仮定・結論に分けて検証できる人です。

AIの回答を受け取ったら、次の観点で確認するとよいです。前提では、情報が事実か、根拠や情報源が明確か、出典・判例・制度・企業名などが実在するか、情報が古くないか、対象市場・業界・顧客層が合っているか、似た言葉を混同していないかを確認します。

仮定では、前提から結論への飛躍がないか、逆の見方を考えたかを確認します。結論では、自分の問いに正面から答えているか、次に確認すべき情報が明確かを確認します。

AIの答えは、仕事を速くします。しかし、検証しなければ、間違いも速く広がります。だからこそ、AI時代のクリティカルシンキングは、単なる思考法ではありません。AIを安全に使うための、実務スキルです。

***

本記事はお試し用です。
誰でも見れる形式で全文章を公開しています。

次号からは、以下の形で公開していきます。

読者登録（無料）をしていただいた方は、本記事の一部（今日の３行まとめ、ロジカルシンキング、クリティカルシンキング）を読めるようになります。
読者登録（サポートメンバー）をしていただいた方は、本記事のすべて（上記＋ラテラルシンキング、読者への示唆、今回の分析結果、参考URL）を読めるようになります。
読者登録（サポートメンバー）をしていただいた方は、さらに、有料ワークショップで解説している「Bizトレコラム」シリーズも読めるようになります。

ぜひご一読ください。

登録する

***