ChatGPTのスクショは令和の印籠か
「この紋所が目に入らぬか」——ChatGPTの回答スクショを証拠として突きつける人が増えています。AIの「もっともらしさ」はなぜ人を説得不可能にするのか。自分もやりかけた体験を添えて。
コラム
kkm
Backend Engineer / AWS / Django
「この紋所が目に入らぬか」——ChatGPTの回答スクショを証拠として突きつける人が増えています。AIの「もっともらしさ」はなぜ人を説得不可能にするのか。自分もやりかけた体験を添えて。
水戸黄門を見たことがなくても、あのシーンは知っているはずです。「この紋所が目に入らぬか」。印籠を見せた瞬間、周りが平伏する。印籠の中身を確認する人はいません。紋所が見えた時点で、正しさが確定します。
2026年、新しい印籠が生まれました。ChatGPTのスクリーンショットです。
知り合いから聞いた話をします。職場でちょっとした揉め事が起きたとき、その人はChatGPTに自分の言い分だけを入力して「どちらが正しいか」を聞いたそうです。当然、ChatGPTはそれっぽい回答を返します。背景も、相手の事情も知らないまま、入力された情報だけで「もっともらしい結論」を組み立てる。それがAIの仕事ですから。
問題はここからです。その回答が、あまりにもそれっぽかった。法律用語っぽい言い回し、論理的に見える構成、公平そうなトーン。本人は完全に納得してしまいました。そしてスクショを撮って、関係者に印籠として見せて回ったそうです。
周りが「それ、相手の話も聞いたほうがいいんじゃない?」と言っても無駄です。「だってAIが言ってるんだもん」。印籠を見せられた側は平伏するしかない。こうして説得不可能な人が一人できあがりました。
正直に言うと、気持ちはわかります。AIの回答って本当にそれっぽいんですよね。私もAIの出力を見て「完璧じゃん」と思った3秒後に、よく考えたら前提がおかしいことに気づいた経験が何度もあります。あのもっともらしさは、使い慣れている人間でも油断するとやられます。
なぜ印籠が効くのか -- もっともらしさの科学
「AIが言ってるんだから正しいでしょ」。この感覚には、実はちゃんと名前がついています。
一つ目は自動化バイアスです。人間は自動化されたシステムの出力を過信する傾向があります。Parasuraman & Rileyが1997年の研究 "Humans and Automation: Use, Misuse, Disuse, Abuse" で指摘したもので、特にシステムが「それっぽい」出力を返すとき、批判的思考がすっと停止する。カーナビが「右です」と言ったら、明らかに道が狭くても右に曲がってしまうあの感覚です。
二つ目は確証バイアス。自分に都合の良い情報だけを採用する傾向です。ChatGPTに自分の言い分だけを入力するのは、確証バイアスをAIで増幅しているようなものです。自分の主張を裏付ける「権威ある回答」を、オンデマンドで生成できてしまう。
三つ目は権威への服従。ミルグラム実験で有名なやつです。「権威がそう言っている」と認識した瞬間、人は自分の判断を手放しやすくなる。AIがいつの間にか「権威」のポジションに収まってしまった。白衣を着た博士の代わりに、OpenAIのロゴが権威を担っているわけです。
つまりChatGPTのスクショは、自動化バイアス・確証バイアス・権威への服従という三重のバフがかかった状態で相手に提示される。そりゃ印籠として効きます。
| バイアス | 効果 | 日常の例 |
|---|---|---|
| 自動化バイアス | システムの出力を過信する | カーナビに従って狭い道に突入 |
| 確証バイアス | 自分に都合の良い情報だけ採用 | 自分の言い分だけAIに入力 |
| 権威への服従 | 権威の判断に従ってしまう | 「AIが言ってる」で議論終了 |
私も印籠を振りかけたことがある
偉そうに書いていますが、私自身もやりかけたことがあります。
あるとき、コードレビューでAIに設計の妥当性を聞いたら「このアプローチは適切です。パフォーマンスの観点からも問題ありません」と返ってきました。一瞬、「じゃあこのまま通すか」と思いました。レビュー完了。3分で終わり。
でもたまたま、そのコードが自分の専門分野ど真ん中だったんです。よく見たら、AIが見落としているエッジケースがありました。特定条件下でメモリリークを起こす書き方だった。AIの回答だけ見たら気づけないレベルの、もっともらしい「問題なし」でした。
気づけたのは運が良かっただけです。これが専門外の領域だったら、私はあのAIの回答を印籠にして「AIも問題ないって言ってるよ」とSlackに貼っていたかもしれない。
印籠を使う側の気持ちがわかるからこそ、怖いんです。
あなたの「印籠度」チェック
ここまで読んで、「自分は大丈夫」と思った方へ。軽くセルフチェックしてみてください。
Q1. 最近、AIの回答を誰かに見せたことはありますか?
印籠の正しい使い方
別に、AIを使うなという話ではありません。私自身、毎日AIに頼りまくっています。
印籠(AIの回答)を見せること自体も悪くない。問題は「印籠で議論を終わらせる」ことです。
「AIがこう言ってる。だから私が正しい。以上」
-- これは印籠です。
「AIはこう言ってるんだけど、どう思う?」
-- これは対話のきっかけです。
同じスクショでも、一言添えるだけで性質がまるで変わります。
もう一つ、習慣にしてほしいことがあります。AIの回答を信じる前に「その情報、元はどこから来てるの?」と確認すること。AIが法律の話をしていたら、実際の条文や判例を見に行く。データを引用していたら、元の調査レポートを確認する。そしてその情報源の人物や組織が信頼できるのか、自分の目で判断する。
AIは情報を「もっともらしく組み立てる」のが仕事であって、「正しさを保証する」のは仕事ではありません。保証するのは、あなた自身です。
実際にやってみるとわかりますが、情報源を確認して「ここ違うんじゃない?」とAIに聞き返すと、割と頻繁に「最初の回答は私の誤解でした。すみません」と返ってきます。印籠だと思っていたものが、突っ込んだら簡単に折れる。そのくらいの精度だということです。
そして、もう一つ。水戸黄門だって、印籠を見せる前にちゃんと調査をしています。町に潜入して、両方の言い分を聞いて、証拠を集めて、それでようやく印籠を出す。入力が一方的なら、出力も一方的。これはAIでも黄門様でも同じです。
水戸黄門の印籠が効くのは、黄門様が実際に事件を調べ上げた後に見せるからです。両方の言い分を聞いて、証拠を集めて、その上で印籠を出す。
ChatGPTのスクショは、片方の言い分だけで作られた印籠です。紋所は立派に見えるけど、中身が足りない。
印籠を使うなとは言いません。ただ、見せる前に一つだけ。あなたはその印籠に、相手の言い分も入れましたか?
……と書きつつ、今日も私はAIに「このコード合ってる?」と聞いて、「合ってます」と返ってきた瞬間にレビューをサボりかけました。印籠の誘惑は、使い手が強いほど強い。