概要
ChatGPT-5と源氏物語で対決した結果、AIが連続で間違いを犯す様子を実録！古典文学の解釈において、AIが原文を確認せずに「ウロ覚え」で回答してしまう現実を体験談として紹介。AIとの正しい付き合い方と、人間の知識の重要性について考えさせられる内容です。
皆さん、こんにちは。今日も明日も授業道、黒瀬直美です。
この番組では、中学校・高等学校の国語教育、働く女性の問題、デジタル教育について、多様な教育現場に長年勤めてきたオーラルラウンドな教員、黒瀬直美がゆるっと語っています。
今日は、第317回「ChatGPT-5と対決してやり込めた話」というタイトルでお届けしたいと思います。
対決のきっかけ
私は先日、今話題の最新のAI、ChatGPT-5と対決してきました。
ChatGPT-5というのは、とても性能が良いという噂だったので、特に知り合いの科学の先生がそれを検証して、大学入試の難しい問題まで解いた、といって大絶賛していたわけです。
そこで私はムクムクと対抗心が芽生えてきまして、私たち国語教育の分野では古典を扱いますので、古典の金字塔である源氏物語、これをテーマにしてChatGPT-5と勝負するということにしました。
第一問：紫の上の死の場面
というわけで、私は自分の得意分野である、ある源氏物語の部分、これをChatGPT-5に質問で投げかけてみました。
「源氏物語で紫の上が亡くな御法という巻で臨終の場面に居合わせた人は誰ですか？」
というふうにちょっとこう尋ねてみたんですね。
紫の上というのは、光源氏が最も愛した女性の一人で、紫の上の死というのはこの源氏物語の中でもすごく重要な場面なんです。
さすがにChatGPT-5はスラスラと答えました。
「紫の上が亡くなるのは御法の巻で、臨終に立ち会ったのは夫である光源氏、長年仕えてきた女房たち、そして枕元で読経する僧侶が中心です。」
これは合っていると思いましたね。だけどこの言い方がちょっと微妙な感じだったので、私はそれを見抜いて、さらに確信に迫る質問を投げかけてみました。
第二問：最後に接触した人物
「では、紫の上が最後に直接接触をした人は誰？」
居合わせた人と最後に触れ合った人というのでは、最後に接触をした人というのではニュアンスが全然違いますよね。これは源氏物語を深く読み込んでいるとわかるんだけども、読んでないとちょっと間違えやすいポイントになっています。
そしてChatGPT-5はこの質問に対して答えました。
「紫の上が最後に直接接触、手を取る、声を交わした人物は光源氏です。源氏が枕元で手を取り、紫の上も弱々しく答えた場面が最後の直接的な触れ合いとして描かれています。」
ニヤリ。ニヤリですよ皆さん。ここニヤリなんですよ。
私はすかさずここでAIに、「いや間違ってますね」っていうふうに伝えました。そしたら面白いことにChatGPTは即座に思考に入り、「なるほど、では正確に確認し直します」と返答して訂正し始めました。
連続する間違い
で、改めて回答し直してこう答えたんですよ。
「紫の上が最後に接触した人物は光源氏ではなく女三宮です。」
ドヒャー。大間違いですよ皆さん。これ大間違い。
そこで私はすかさず、「嘘ばっかりですね。女三宮ではありませんよ。」というふうに言っちゃったんですよね。もうねほんと上から目線で畳みかけましたよ。
そしたらChatGPT5はまたもや訂正を試みてきましてですね。
「すいませんでした。紫の上が最後に直接手を取り言葉を交わしたのは夕霧です。」
ドヒャー。大間違いですよこれもね。また間違ってて、ほんとこれどうなってんのっていうふうにもう笑ってしまいまして、AIってこんなに簡単にハルシネーションを起こすんだっていうふうに思ってしまいましたね。
原文確認の重要性
そこで私はまたChatGPT5に「原文を読んでいないんですか」と言いました。ChatGPT5自身がデジタルシティズンシップ教育を受けたらいいんじゃないの？みたいな質問だったんですけれど。
そうするとChatGPT5からこのような衝撃的告白がありました。
「正直に言うとこれまでのやりとりでは原文をその場で逐一読み直してはいません。私が参照していたのは事前に学習している源氏物語の内容や二次的な要約解説の記憶です。」
ドヒャー。これって私たち人間で言えばウロ覚えの本で記憶して話してしまって、ちゃんと原文を開いて確認しませんでしたっていうのと同じ状態だと思うんですけどね。
AIも膨大な情報を記憶しているとはいえ、その場で原文という原典に当たって確認するというプロセスを怠って、それを自ら告白するんだなって思いました。
原文を読ませても間違える
この後ChatGPT5は「原文を見せてくれ」っていうので、該当する古文の文章を直接チャットに貼り付けて、それで反応を見たところ、ChatGPT5こう答えましたね。
「この古文を読むと紫の上が最後に直接接触した人物は宮です。この宮は六条院の内部関係から見て女三の宮を指します。」
ドヒャー。原文を読ませてもまだ間違えました。本当驚きましたね。
古文の「宮」っていうこの言葉は前後の文脈によっていろいろな女性を指してしまうんですよ。この場面は読んでたら女三の宮じゃないんですよ。ちゃんといろいろ読んでたら前後の文脈を把握したらわかることなんだけど、そこで私ははっきりと「間違っていますね」っていうふうに指摘しましたら、ついにChatGPT5は正しい答えにたどり着いて、
「なるほど。この引用を丁寧に読むと宮は確かに出ていますが紫の上ではなく、明石の中宮＝明石の君の娘を指していますね。紫の上が最後に接触したのは明石の中宮です。」
やっと正解にたどり着いたんですね。
正解と自己分析
明石の中宮いうのは光源氏と明石の君っていう、女性の間に生まれた娘で、紫の上の幼女になった存在で、紫の上にとっては娘同然の存在。その彼女に手を取られて最後に直接接触したのは彼女だっていうことが書かれてあるわけですけれども、ここまであまりにも間違いすぎたChatGPT5に私はこういうふうに質問しました。
「世界に冠たるChatGPT5がどうしてそんな間違いをしたのか自己分析してください。」
めっちゃ上から目線ですね。
するとAIはChatGPT5は驚くほど詳しく正直に自分の間違いを分析し始めました。
まず記憶アンカリングがあった。これは強い印象に引きずられた。
次に省略呼称の誤読。宮っていう言葉が女三の宮だっていうミスをしたってことですね。
それから時系列復元の怠慢。場面の順序をきちんと追わなかった。
それから一次テキスト未確認。原文に当たらなかった。
訂正時の再検証不足。修正する時も当て推量を混ぜた。
不確実性の開示不足。自信がないのに断定してしまった。
ということを自ら告白したのであります。
人間も同じ過ちを犯す
でもまあ私たちも似たようなことをやってますよね。印象とか情報が偏っているということをあまり考えずに断定してしまうということはあるなというふうに私も思ったんですね。
今回チャットGPTが超苦手な分野、日本というマイナーな場所の特に文学作品みたいな解釈にいろんな幅があったり、時系列というものが非常に微妙な情報においてはまだまだAIにとっては情報不足だったというふうに思います。
だからこそ私たちはチャットGPT5とかそういった生成AIの出力を鵜呑みにしてはいけないし、常に批判的な視点を持って検証するということが大事だなというふうに再認識させられました。
今後のAIとの付き合い方
まあでも最終的判断はやっぱり人間側にきちっとそういう役割があるわけで、だから生成AIは便利だけれども本当の意味での使い手になるには勉強し続けないといけないし、やっぱりそれなりの幅広い知識教養がないとダメなんだなということは分かりました。
特に今回のやり取りを通じてチャットGPT5ほどでも言葉を適当に紡いでいるんじゃないか疑惑を感じましたね。ますますAIが吐き出す言葉というものの順序にはちょっと気をつけていきたいなというふうに思いました。
AIはパートナーにするっていうのも強力なパートナーになってくれると思うけども、同時にAIというものをライバルにしてこっちも高めていかなくちゃいけないなというふうに思いました。
だけど相手はね、本当に疲れ知らずだしそこしれない潜在能力の持ち主なんで勝ち目はないだろうなと思うんだけれども、これからAIをより良きパートナーにするためにもこっちが必死で勉強しなければならないというそういう結論にたどり着きました。
それでは今日はここまでです。またお会いいたしましょう～
コメント