生成AIの実力

　生成AIが話題だ。
　MicrosoftのBingAIを試してみた。
　なるほど、従来の検索エンジンとは全く違う。
　かなり利用の幅が広がる。
　これは、利用者の力量が問われるツールになりそうだ。
　単純な知識確認の回答はお手の物だが、少し複雑な文章も理解して的確に反応しているように見える。
　一番の脅威は、外国語のニュースサイトを日本語で要約させる作業だ。
　違和感のない日本語で要点だけをピックアップしてくれる。
　これには人間をしのぐ能力がある。
　そのほかの調べものについては、まあまあといったところ。
　まじめな学生アルバイト程度の働きはしてくれる。

　問題は、回答の正確性だ。
　私の専門外の分野、例えば化学反応について質問すると、実に分かりやすく的確な回答をしているように見える。
　ところが、私の専門分野について質問してみると、その化けの皮がはがれる。
　ネット上で見つかる表面上の情報をかき集めてまとめただけだというのがよくわかる。
　時には、完全に間違った回答をしてくることも。
　それも、堂々と自信たっぷりに間違えるのだ。
　信頼するには頼りないが、簡単な雑用ならこなせるといった感じか。

　AIは算数の計算もできるとの噂を聞いて、試してみた。
　以下の文章題を作り、投げかけた。

------------------------------------------------------
Aさんは家を出て時速4�qで駅に向かって歩き始めた。
母親がAさんの忘れ物に気づいて、5分後に時速7�qで追いかけた。
家から駅までの距離は700mだ。
母親は、Aさんが駅に着く前に追いつくことができるか。
------------------------------------------------------

　この問題は「追いつけない」が正解だ。
　ところが、AIは、「追いつける」と回答した。
　結論に至る道筋を細かく説明し、計算式も提示し、理路整然と解いているように回答が展開する。
　でも、どこかでミスをして、結論が違ってしまっているのだ。
　結論に至る過程をすべて示してくれているので、それを追っていくと、どこで間違えたかが分かる。
　それで、そこのミスを指摘してみた。
　すると、驚いたことに、「いいえ、間違っていません」と言って、間違っていない理由を展開する。
　その間違っていない理由も矛盾だらけの解説になっている。
　その矛盾を「おかしい」と指摘すると、「いいえ、おかしくありません」と反論してくる。
　まるで、意固地になって自分のミスを認めたくない人が、必死に抵抗しているようだ。
　どうやったら、AIに自分のミスを理解させることができるかと、いろいろ試みた。
　だが、こちらが理詰めで追い込もうとすればするほど、AIは無茶苦茶な理屈で反論するようになった。
　もうここまでくると、算数の内容はどこかに行ってしまって、表面上のやり取りを繰り返しているだけに見えた。
　私はAIの説得を諦めた。
　
　このやり取りで分かったことがある。
　AIは物を考えていない。
　ネット上によく似た情報パターンを見つけてきて、質問の文言に合わせてアレンジして提示しているだけだ。
　先の算数の問題も、よくある旅人算のパターンで解析できるので、そのパターンを見つけてきて、数字を置き換えているだけなのだろう。
　ただ、私の作成した問題が、よくある旅人算とは少し違う問いにしてあるので、答えが混乱してしまったのに違いない。
　
　旅人算でよくある形式は、「母親は何分後にAさんに追いつくか」というものだ。
　この形式で問うと、AIは正しく回答した。
　しかし、「Aさんが駅に着く前に母親は追いつけるか」という問いにすると、とたんにレベルが上がってしまう。
　旅人算に、もう１つ別の問題が複合されることになるからだ。
　
　ところで、生成AIは同じ質問でも、繰り返すたびに回答が少しずつ変わる。
　先の算数の問題も、1度だけ正しく計算し正解に至ることがあった。
　たぶん、この時だけはよく似た解法パターンを見つけることができたのだろう。

　それから、1度だけ、自らの誤りを認め謝罪してきたことがあった。
　こちらが、式の立て方がおかしいことを指摘すると、すぐに間違いを理解し、修正し、正しい答えを出しなおしてきた。
　この時だけは、AIに別人格が乗り移っているかのように錯覚した。

　生成AIは急速な発展途上であるし、実に奥が深い。
　これをどのように使うかは研究のし甲斐がある。