ChatGPTは日々進化し自己増殖する。
しかしもしかしたら取り繕う技術のみを高めているのかもしれない。
ChatGPTのうそは見破ることが難しい。
MicrosoftのCopilot ならもう少しマシだが、とも言われたけど――、
という話。(写真:フォトAC)
【AIプロンプト】
二カ月ほど前、昔の仕事仲間で徳島県に住む友人K君と東京都の友人Nくんそして私の三人で、オンライン飲み会を開いていたところ、東京のN君が、
「ところで生成AIってね、あれについてどう思う?」
どうやら彼は最初からその話をするつもりだったようで、
「最近さ、こういう本を見ながら勉強しているんだよ」
そういってカメラに向かって見せたのは、「ChatGPTプロンプト入門」といった類の本でした。
プロンプト(prompt)というのは、コンピュータに入力する命令や指示のことで、特に生成AIについて使う場合は、「明日の天気を教えて」とか「以下の英文を翻訳して」とかいった質問や指示のことを言います。
すでにほとんどの人がネット検索で経験済みだと思うのですが、Google検索やYahoo検索では検索窓にどんな質問を入れるか、どんな言い方で訊くかによって、ずいぶん答えが違ってくる場合あり、時には目的が達成されないこともあったりします。最近は検索エンジンの方がずいぶん頭がよくなって、かなりひどい質問に対してもうまく答えてくれるようになりましたが、かつてはかなり技術のいる作業でした。それと同じで、生成AI により良い仕事をしてもらうためには、命令・指示(プロンプト)自体にひと工夫をしなくてはならないらしいのです。
【もはやウソがうますぎて確認するのがたいへん】
プロンプトという言葉には聞き覚えがあり、概念は言葉以上に把握できているのですが、生成AIの持つ問題性がプロンプトの書き方ひとつ変わるとは、とても思えません。
あの「息を吐くようにウソをつく」やり方だけはやめさせたいのですが、どうプロントを書き直せば正直になってもらえるのか、想像がつかないのです。ウソには日々磨きがかかっているし・・・。
ちなみにChatGPTに次のような質問をしてみます。
「明治・大正・昭和時代の作家・文豪で教職経験のある人を3人以上あげてください」
その答えが以下です。
明治・大正・昭和時代の作家・文豪で、教職経験のある人物をいくつか挙げます。
夏目漱石(なつめ そうせき)
明治から大正にかけて活躍した文豪で、『吾輩は猫である』や『こころ』などの作品で知られています。東京帝国大学(現在の東京大学)で英文学の教授を務めました。
森鴎外(もり おうがい)
明治から大正にかけての文豪で、『舞姫』や『山椒大夫』などの作品が有名です。軍医としても活躍し、後に東京帝国大学で医事学や文学の教鞭を執りました。
坪内逍遥(つぼうち しょうよう)
明治から昭和初期にかけて活躍した文芸評論家、小説家、劇作家で、『小説神髄』などが有名です。早稲田大学(当時は東京専門学校)で教鞭を執り、後に文学部の教授となりました。
正宗白鳥(まさむね はくちょう)
大正から昭和にかけて活躍した作家で、代表作には『何処へ』や『人間の運命』があります。教職としては、明治学院大学で教鞭を執った経験があります。
これらの作家たちは、日本文学の発展に大きく貢献し、また教職を通じて多くの後進を育てました。
良く書かれた文ですがWikipedia で調べ直すと、森鴎外が東京美術学校(現東京美大)、東京専門学校(現早稲田大学)、慶應義塾で教鞭をとった記録はあるものの、東京帝国大学で医事学や文学の教鞭を執りましたといった記録はありません。
正宗白鳥が教鞭をとったという記録も、明治学院大学に限らず、ありませんでした。同大学のサイトに「ゆかりのひと」というページがあるのですが、佐々木邦・増田孝・島崎藤村・高橋是清・井深梶之介といった有名人に並んで正宗白鳥の名がないところをみると、やはり無関係なのでしょう。
2007年10月、当時の明治学院大学学長が、フランス・リモージュの市長にあてて送ったという書簡がネットに残っています*1。明治学院の卒業生である島崎藤村が留学時代に住んでいたリモージュの下宿が、市長の尽力のおかげで市の保護下に置かれたことに対し、学長として感謝の気持ちを表したものです。その中に「彼(藤村)の住んだ家の裏手には大きな庭があり、そこでは友人の画家、正宗得三郎(同じく有名な作家、正宗白鳥の弟)がよく仕事をしていたようです」の一文があります。もしかしたらこれを手掛かりに、瞬時にウソをでっち上げたのかもしれません。
ついでに言えば「人間の運命」は正宗白鳥ではなく芹沢光治良の代表作。この芹沢光治良には大学の講師だった経験がありますが、それは明治学院大学ではなく中央大学でした。この件も単に間違ったのではなく、瞬間に作り上げるウソの材料にされたのかもしれません。
ほんの1年前、ChatGPTの性能は低く、正答を持って来ないばかりかつくウソもすべて明らさまでした。ところが現在は性能が上がって、正答を持って来ないばかりか、ウソばかりが巧妙になっている感じです。
ChatGPTは「使えない」を越えて危険ですらある――。
【生成AI Copilot(コパイロット)という助っ人】
オンライン飲み会でN君に「生成AIってどう?」問われて、待っていましたとばかりに私は生成AIにどれほどウソをつかれてきたか、まくしたてるように話しました。すると横合いから徳島のK君が、「じゃあ、ChatGPT じゃなくてCopilot(コパイロット)っていうのはどう?」と入ってきます。
「マイクロソフト社がオープンAI社に何兆円だかを払って版権を買い、エッジ(マイクロソフト社のブラウザ)の乗せている生成AIで、これだと参照サイトを示してくれるので簡単に確認できますよ」
地域の理科センターに今も務めて実験を担当しているKくんは、余っていた大型水槽で何かできないかとCopilotに相談したところ、たちどころにいくつか実験を提案してくれたといいます。
「あまり優秀とは言えないが、真面目で頑張り屋の助手を雇っているようなものだ」
と、そんな言い方もしていました。
【質問:名前に数字の入っている都道府県はどこ?】
いいことを聞いたのでさっそくエッジを開いての右上のボタンを押し、ネットの向こうに気づかれないよう飲み会を続けながら、Copilotの質問窓に書き込みをしてみました。
「名前に数字の含まれている都道府県名をすべて拾い上げてください」
「日本の地理」に関する小学校の授業で、地図をしっかり見てもらうために出すクイズのひとつです(他には動物名の入っている都道府県名、「福」の字の入っている都道府県名など)。「数字の入る県」については「三重県」が見つかればよし。「しがけん」という答えも必ず出て来るので「しがけん」は「滋賀県」であって「四」で始まるわけではないと押さえ、「まだあるよ」と言うと子どもたちは目を皿のようにして地図上を探し続けます。
やがて見つかる「千葉県」。それで終了とします。相手が大人だったらさらに「東京都」「京都府」も正解とします(そうしないとうるさいので)。
では生成AIは何と答えたか――。画面にはこんなふうに出ます。
Copilotが送信しました。
東京都
北海道
名前に数字の入っている都道府県はこのふたつだけで、他にありません。
!!!
(この稿、続く)